ARTICLE · 人工智能
训练中自己生成的 Rollout，模型还能学到什么？小红书 AllSpark 提出 ROSS
一语总结小红书 AllSpark 提出 ROSS 方法，通过选择性监督微调让模型重新学习训练中生成的历史 rollout，在单轮 RL、多教师蒸馏及 Agentic RL 三类场景中均显著提升模型性能，且无需额外生成新轨迹。
大语言模型后训练（RL、On-policy 蒸馏）产生的历史 rollout 通常被丢弃，但小红书 AllSpark 团队发现这些轨迹保留了模型曾探索到却未稳定掌握的有效行为。ROSS（Relearning from Self-Generated Rollouts through Selective Supervision）首先验证轨迹结果，再用 LLM 审核器筛选值得模仿的片段，最后在保留完整上下文的前提下仅对选中 token 计算损失进行 SFT。实验基于 Qwen3.6-35B-A3B，在数学、代码单轮 RL、MOPD 及 SWE-bench Verified Agentic RL 中，ROSS 均超越继续训练与直接 SFT 基线，且从 Base 初始化仅用历史数据即可逼近 Upstream 效果，证明行为经验可作为可复用训练资产。代码已开源。
- 历史 rollout 并非过期废料，而是包含未稳定掌握有效行为的宝贵资产
实验显示最终模型对历史曾解决的难题单次成功率仅 37.7%（pass@1），但 pass@32 达 99%，说明正确解法仍在分布中但不可靠。历史轨迹与当前策略兼容性高（NLL 接近），且具备互补性，值得再学习。
- ROSS 通过「结果验证 + 片段审核 + 掩码 SFT」实现选择性再学习
流程：1) 任务验证器筛选成功轨迹；2) LLM Judge（GLM-5.2）定位可学习片段，排除错误判断、冗余探索；3) 保留完整上下文，仅对选中 token 计算损失。该设计保留了修正动作赖以发生的上下文，适合长程 Agent 轨迹。
- Token 级选择性监督是性能提升的关键，而非仅靠轨迹筛选
消融实验显示：MOPD 中轨迹筛选仅带来 0.79pp 提升，加上 token 级掩码再增 3.71pp。数学/代码 RL 同理。策略熵下降并未使排除率归零，说明成功轨迹内部始终混杂错误与绕路，需细粒度过滤。
- 行为经验可跨 Checkpoint 迁移，Base 初始化仅用历史数据即可追平 Upstream
Math RL、Code RL、MOPD 三实验均显示：从 Base（训练前模型）出发用 ROSS 学习历史 rollout，最终成绩与从 Upstream（训练后模型）出发相当。验证了「权重」与「行为经验」是两种可独立复用的训练积累。
- 在单轮 RL、多教师蒸馏、长程 Agent 三大后训练范式中均获增益
数学平均分 +1.79pp，代码 +2.12pp；MOPD 均分 +3.80pp；SWE-bench Verified 解决率从 64.20% 提至 68.40%（+4.20pp）。覆盖数学推理、代码生成、指令遵循、软件工程任务，泛化性强。
训练中自己生成的 Rollout，模型还能学到什么？小红书 AllSpark 提出 ROSS
大语言模型后训练（RL、On-policy 蒸馏）产生的历史 rollout 通常被丢弃，但小红书 AllSpark 团队发现这些轨迹保留了模型曾探索到却未稳定掌握的有效行为。ROSS（Relearning from Self-Generated Rollouts through Selective Supervision）首先验证轨迹结果，再用 LLM 审核器筛选值得模仿的片段，最后在保留完整上下文的前提下仅对选中 token 计算损失进行 SFT。实验基于 Qwen3.6-35B-A3B，在数学、代码单轮 RL、MOPD 及 SWE-bench Verified Agentic RL 中，ROSS 均超越继续训练与直接 SFT 基线，且从 Base 初始化仅用历史数据即可逼近 Upstream 效果，证明行为经验可作为可复用训练资产。代码已开源。
文章金句
"模型曾经做到过，并不意味着最终 checkpoint 能够可靠地再次做到。
"结果验证确认任务是否成功，片段审核判断哪些行为值得学习。
"Full context， selective targets。
"训练中发现的有效行为，可以经由保存下来的 rollout，在不同初始化的 checkpoint 中被重新学习和巩固。
"将模型自己生成的 rollout 保存为可复用的训练资产，就为已有探索多保留了一条转化为能力的路径。