ARTICLE · 人工智能
AutoResearch-LLM：让 Agent 接手 LLM 训练优化
一语总结本文介绍一套 Agent 驱动的 LLM 微调自动化框架 AutoResearch-LLM，通过三阶段流水线（场景诊断→方案设计→自动化实验）将调参经验沉淀为 SKILL.md，并在 1688 电商任务上落地验证，提供了从理论到工程的可复用方法论。
文章系统展示了 AutoResearch-LLM 框架的设计与实现。作者将 LLM 微调优化流程抽象为三个阶段：场景理解与基线分析（七维诊断+基线复盘）、实验方案设计（技术候选库+六级调参优先级）、自动化实验验证（分支管理+自动提交监控+指标提取）。全文覆盖数据接入（ODPS）、训练配置（TuningFactory 多模式）、自动评估（BLEU/ROUGE 集成）、实验隔离等工程细节，并记录 PyTorch 与 DeepSpeed 兼容性、Qwen3 thinking 模式影响、OSS endpoint 差异等踩坑经验。框架已在 1688 电商的 Query 改写、同款判定、重排打分三个任务上验证 SFT/DPO/蒸馏等训练方式，且平台问题与业务问题分离的架构思想可迁移至 K8s/PAI 等环境。文章核心价值在于将 Agent 自动化与 LLM 微调工程化结合，为同类项目提供了完整的参考范本。
- 三阶段流水线将 LLM 微调优化过程结构化，Agent 按阶段接力执行。
阶段一产出场景诊断报告，阶段二设计实验方案，阶段三自动化执行实验并记录结果，每阶段有明确输出物（analysis_report.md、improve_guide.md、final_report.md），Agent 在长上下文中有序推进。
- 通过 SKILL.md 沉淀领域知识和踩坑经验，Agent 可复用专家经验。
SKILL.md 不仅包含流水线参数和调参清单，还记录了 PyTorch 2.6 与 DeepSpeed 兼容性、Qwen3 thinking 模式关闭等关键经验，Agent 据此自动诊断常见错误模式。
- 实验方案按参数优先级分层，从最敏感的一级参数开始探索。
六层参数（LR/LoRA→batch→训练策略→数据→分布式→评估）保证 Agent 按序调优，避免无意义探索；基座模型在阶段一锁定后不可随意更换，防止越界。
- 平台级问题外挂给平台官方 skill，业务问题留在项目 skill，实现关注点分离。
星云平台错误使用官方 nebula-support skill 诊断，项目 SKILL.md 只维护专属调试表；这种架构可类比到 K8s/Slurm/PAI 等环境，降低项目维护成本。
AutoResearch-LLM：让 Agent 接手 LLM 训练优化
文章系统展示了 AutoResearch-LLM 框架的设计与实现。作者将 LLM 微调优化流程抽象为三个阶段：场景理解与基线分析（七维诊断+基线复盘）、实验方案设计（技术候选库+六级调参优先级）、自动化实验验证（分支管理+自动提交监控+指标提取）。全文覆盖数据接入（ODPS）、训练配置（TuningFactory 多模式）、自动评估（BLEU/ROUGE 集成）、实验隔离等工程细节，并记录 PyTorch 与 DeepSpeed 兼容性、Qwen3 thinking 模式影响、OSS endpoint 差异等踩坑经验。框架已在 1688 电商的 Query 改写、同款判定、重排打分三个任务上验证 SFT/DPO/蒸馏等训练方式，且平台问题与业务问题分离的架构思想可迁移至 K8s/PAI 等环境。文章核心价值在于将 Agent 自动化与 LLM 微调工程化结合，为同类项目提供了完整的参考范本。
文章金句
"不上来就调参，先做体检。
"如果训练这一环也能自动化，整个闭环就能转起来。
"平台问题交给平台 skill，业务问题留在项目 skill。