TWITTER · 人工智能
RL-XAR：通过专家对齐评分标准消灭 AI Slop
一语总结Meta RAM 团队提出 RL-XAR 方法，利用少量专家文本自动优化评分细则作为 RL 奖励信号，解决了写作类不可验证任务中 AI 产出低质内容（Slop）的问题。
本文详细解读了 Meta RAM 团队的 RL-XAR 框架。针对写作任务缺乏可验证奖励信号导致产生「AI slop」的痛点，RL-XAR 通过元优化器（如 Kimi-K2.6）构造能有效区分人类专家与 AI 写作的评分标准，并以其作为 GRPO 的奖励信号。实验证明该方法在论文补写和故事续写任务中大幅提升了 AI 写作质量，使其在盲评中胜率高达 89%–95%，且学到的标准奖励的是段落本位和精准细节而非表面润色。
- 写作任务是 RL 的洼地，核心在于奖励信号不可验证且 LLM 裁判存在「Slop 同谋」现象
数学代码有客观对错，但写作的奖励模型往往继承普通标注者的品味上限，导致 LLM 裁判倾向于给流畅但空洞的 AI 文本高分。
- RL-XAR 通过元优化评分标准实现「生成器-判别器」的对抗优化
利用强 LLM 作为元优化器，通过最大化人类专家与 AI 文本的分差来迭代评分标准，使其成为一个高效的判别器，无需大规模人工标注。
- 高质量的评分标准应奖励「段落本位」而非「微型全文摘要」
元优化后的标准能够识别并奖励克制的取舍和精准的细节，而非单纯的流畅度或覆盖面，这证明了该方法真正捕捉到了专业写作的规律。
RL-XAR：通过专家对齐评分标准消灭 AI Slop
本文详细解读了 Meta RAM 团队的 RL-XAR 框架。针对写作任务缺乏可验证奖励信号导致产生「AI slop」的痛点，RL-XAR 通过元优化器（如 Kimi-K2.6）构造能有效区分人类专家与 AI 写作的评分标准，并以其作为 GRPO 的奖励信号。实验证明该方法在论文补写和故事续写任务中大幅提升了 AI 写作质量，使其在盲评中胜率高达 89%–95%，且学到的标准奖励的是段落本位和精准细节而非表面润色。
文章金句
"如果直接拿主流 LLM 当裁判做 RLHF/RLAIF，你训练出来的只会是“更受 LLM 裁判青睐的 slop”。
"判别器不需要人工标注偏好，只需要免费存在的专家文本作为锚点。