人类反馈≠人类想要什么 目标不一致 + 优化 = 风险 “为了解决优化错位问题，我们需要每个人都关心并采取行动避免这些威胁模型。” @ancadianadragan警告说，即使有良好的反馈，奖励模型也会错过重要的细节。 编程严选网 人工智能 奖励模型 微调