ARTICLE · 软件编程
腾讯 15 年资深后台工程师，转战大模型推理的抉择
一语总结本文分享了一位腾讯 15 年资深后台工程师在 AI 时代转型大模型推理工程的心路历程、技术路径及对未来趋势的深度思考。
作者作为拥有 15 年经验的资深后台工程师，记录了其在 AI 浪潮下转型大模型推理领域的过程。文章详细分析了资深开发者在面对技术变革时的困境，并提出了推理工程的入门建议：从理解 Transformer 结构入手，建立分层工程体系（业务、调度、算子层），并深入研究模型结构的演进趋势。同时，作者指出 AI Infra 本质上是通用 Infra 的延伸，而 Agent Infra 将成为传统后台工程师发挥分布式与系统设计优势的新战场。
- 资深工程师转型的核心挑战在于放下职级包袱，回归技术本质。
面对颠覆性技术变革时，高阶管理者往往陷入既想享受红利又无法深度参与技术细节的困境。作者认为决定价值的不是头衔，而是对项目解决解决问题的实际贡献。
- 大模型推理工程应建立“从总到分”的体系化认知。
建议将推理工程划分为业务层（SDK、部署）、调度层（分布式并行、KV Cache、Continuous Batch 等）和算子层（高性能计算单元），通过分层架构降低复杂系统的复杂度，让团队聚焦边界。
- AI Infra 本质上是通用 Infra 的演进与延伸。
AI Infra 并非仅是 GPU 加速，其底层仍依赖平台化建设、研效提升和稳定性保障，传统后台工程师在分布式、系统工程方面的积累可以实现无缝迁移。
- Agent Infra 将成为传统后台开发者最具价值的新战场。
随着底层底座标准化，创新重心上移。Agent 带来的长会话调度、状态持久化、长短记忆管理及工具沙箱等问题，正是传统系统设计能力的用武。
腾讯 15 年资深后台工程师，转战大模型推理的抉择
作者作为拥有 15 年经验的资深后台工程师，记录了其在 AI 浪潮下转型大模型推理领域的过程。文章详细分析了资深开发者在面对技术变革时的困境，并提出了推理工程的入门建议：从理解 Transformer 结构入手，建立分层工程体系（业务、调度、算子层），并深入研究模型结构的演进趋势。同时，作者指出 AI Infra 本质上是通用 Infra 的延伸，而 Agent Infra 将成为传统后台工程师发挥分布式与系统设计优势的新战场。
腾讯 15 年后台工程师自述转做大模型推理：为何归零、怎么入门 SGLang/分层工程，以及 AI Infra 与通用 Infra 的同源。适合想转推理/Infra 的后端。
适合谁：后端转 AI Infra、推理工程与 Agent Infra 关注者
文章金句
"决定一个人价值的，从来不是他的头衔，而是他正在做的事情。
"在 AI 时代，拥抱这波浪潮最好的方式就是选择离模型最近的方向。
"很多创新都是可想到的，当创新点子变得廉价，昂贵的就是验证思路的实验。