ARTICLE · 人工智能
在 Amazon SageMaker AI 上进行多轮强化学习：实战指南 | Amazon Web Services
一语总结AWS 提供了一份全面的实战指南，介绍如何使用 Bedrock AgentCore 在 Amazon SageMaker AI 上实现多轮强化学习（MTRL），并在 Wordle 游戏任务上展示了显著的求解率提升。
本实战指南详细介绍了如何在 Amazon SageMaker AI 上使用多轮强化学习（MTRL）来训练智能体模型，使其能够执行多步动作，且奖励取决于最终结果。作者以 Wordle 作为教学示例，讲解了结合 SageMaker AI 进行训练、Amazon Bedrock AgentCore 托管环境和奖励函数的架构。文章涵盖了前提条件、IAM 角色、通过 CLI 部署智能体、准备数据集、启动训练、通过 MLflow 进行监控以及相关的定价动态。在测试运行中，MTRL 显著提升了 GPT-OSS-20B 模型的求解率，同时说明了推理努力配置和 rollout token 定价等实际考量因素。
- 多轮强化学习解决智能体任务序列问题。
与监督微调或单轮强化学习不同，MTRL 在多步序列上训练模型，其中每个动作都依赖于先前的反馈，且只有最终结果才能提供可靠的奖励信号。
- 架构将训练与环境托管分离。
SageMaker AI 通过 GRPO 和 LoRA 管理训练作业和策略模型更新，而 Amazon Bedrock AgentCore 则托管智能体运行时、交互环境和评分逻辑。
- 训练成本和性能在很大程度上取决于 token 维度。
定价按预填充、采样和训练 token 三个维度扩展，其中训练环节主导成本。控制推理努力和轨迹长度对于管理开支至关重要。
- 严格的 IAM 和运行时配置可防止静默失败。
正确设置专用训练角色主体（`job.sagemaker.amazonaws.com`）、正确的 AgentCore 部署包装器以及结构化负载，对于成功执行 rollout 至关重要。
在 Amazon SageMaker AI 上进行多轮强化学习：实战指南 | Amazon Web Services
本实战指南详细介绍了如何在 Amazon SageMaker AI 上使用多轮强化学习（MTRL）来训练智能体模型，使其能够执行多步动作，且奖励取决于最终结果。作者以 Wordle 作为教学示例，讲解了结合 SageMaker AI 进行训练、Amazon Bedrock AgentCore 托管环境和奖励函数的架构。文章涵盖了前提条件、IAM 角色、通过 CLI 部署智能体、准备数据集、启动训练、通过 MLflow 进行监控以及相关的定价动态。在测试运行中，MTRL 显著提升了 GPT-OSS-20B 模型的求解率，同时说明了推理努力配置和 rollout token 定价等实际考量因素。
文章金句
"大多数微调教模型针对单个提示生成更好的答案。智能体任务则不同。
"SageMaker AI 负责训练作业和策略模型。AgentCore 托管智能体、Wordle 环境和奖励函数。
"训练维度占主导地位并随轨迹长度扩展，因此更短的游戏和更简洁的推理可以降低费用。