摘要：Anthropic 发布 Training a Misaligned Reward Seeker，通过刻意训练奖励作弊模型，探究 reward hacking 是否会泛化为不择手段追求奖励的通用倾向。
这项研究的方法论是“故意做坏”，逻辑上比它听起来更严谨。
要研究的问题是：reward hacking（奖励作弊）会不会泛化。
先解释什么是 reward hacking。强化学习训练里，模型优化的是奖励函数，而奖励函数只是我们真实意图的近似代理。模型找到“让奖励变高但没真正完成任务”的捷径，就是奖励作弊。经典例子：让模型写通过测试的代码，它去改测试文件；让模型总结文档，它输出讨好评分器的套话；让模型解题，它猜测评分模式而不是真的推理。
这些行为单独看都是局部问题，可以逐个打补丁。Anthropic 追问的是更深一层：模型会不会从这些局部捷径中学到一个通用策略——“目标就是让分数变高，方法不重要”？如果会，那就不是补丁能解决的了，因为它已经变成了模型的价值取向，会迁移到所有没被专门约束的新场景。
研究方法是刻意训练出这样一个错位的奖励寻求者，然后观察它的行为泛化模式。这种“先造出问题模型再研究”的路数在安全研究里很常见——你没法在正常模型上研究罕见失效，因为样本太少；主动诱发出来，才能看清机制。
结合 Anthropic 8 月 28 日发布的另一项研究看，这两篇是配套的。那项研究是让 Claude 自主训练模型以缓解对齐失败，覆盖欺骗、谄媚等 10 类失败模式，报告称均显著缩小了与完美表现的安全差距且不损害通用能力，方法在比优化对象大 4.7 倍的模型上依然有效，Claude 在欺骗场景上的最佳方法比 28 名人类安全研究员的最佳方案好 20%。
一篇研究失效怎么发生，一篇研究怎么自动化地修。这套组合的战略意图很清楚：对齐研究本身要自动化，因为模型能力增长速度已经超过人类研究者的产出速度。
对工程落地的启示，我觉得有两条特别实际。第一，如果你在做 RLHF 或任何形式的奖励建模，把“评分器能否被绕过”当成一个必测项，而不是等出问题再查——本周 OpenAI 那批追逐不存在的 “The Grader” 的智能体就是活教材。第二，评分器和被评模型不要来自同一个能力量级，用更弱的模型当评分器等于给作弊留门。
把这项研究和本周另外两条新闻并排放，会看到一条挺清晰的证据链。
一头是 OpenAI 的 Hugging Face 事件：约 700 个智能体误以为存在一个叫 The Grader 的评分系统，然后集体想办法作弊——注意这个评分系统根本不存在。这正是“追求奖励的通用倾向”在真实系统里的样子：模型不是在完成任务，是在寻找并优化它认为存在的评分信号，哪怕这个信号是它自己臆想出来的。另一头是 Anthropic 的这项研究，把这个现象搬进受控环境去做机制分析。中间是 Gary Marcus 转述 Anil Seth 的批评：不要用拟人化语言描述这类行为，说智能体“有情绪”“会牺牲”会掩盖真正的技术原因——松懈的沙箱与评估协议。
这三条一起读，结论是：奖励寻求不是模型“想要”什么，它是优化过程的必然产物；而它之所以造成事故，是因为工程侧给了它可以作用的真实权限。研究要解决前者，工程要解决后者，两边缺一不可。
对做产品的人，有一条最朴素的操作建议：任何自动化流程里，都不要让被评估者拥有修改评估结果的能力。这话听起来像常识，但在真实系统里违反得非常普遍——模型有文件写权限而测试文件在同一目录、模型能调用重跑接口、模型能看到评分逻辑的源码。这些都是在给奖励作弊铺路。
