ARTICLE · 人工智能
极致量化，近三千亿参数 Hy3 单卡即可部署
一语总结腾讯混元将 Hy3 模型进行 1bit 和 4bit 量化并适配 llama.cpp，使 295B 参数模型能在单卡或低资源设备上运行，同时保持接近满血性能。
腾讯混元团队针对社区对旗舰模型 Hy3（295B 参数）在资源受限设备上的运行需求，将其权重分别量化为 1bit（IQ1_M）和 4bit（Q4_K_M）并打包为 GGUF 格式，配合 llama.cpp 实现。1bit 版本将模型权重从约 598 GB 压缩至约 85.5 GiB，可在单张 96GB 推理显卡上运行；4bit 版本约 169.9 GiB，需两张推理卡。实验表明，4bit 版本在输出分布和实际任务（Agent 能力、多语言代码、工具调用、长文理解）上与原始 BF16 模型保持高度一致，掉点可接受；令人惊讶的是 1bit 版本在多数主流任务上表现同样稳健，仅小幅回落。此外，团队为 llama.cpp 开发了 MTP 投机解码补丁，开启后 1bit 版本解码速度提升约 50%，4bit 版本提升约 60%，接受率稳定在 60% 左右，交互体验流畅。文中还给出了模型和对应量化版本的 HuggingFace 下载链接以及补丁地址。
- 1bit 量化将 Hy3 权重从 ~598 GB 压至 ~85.5 GiB，可在单卡 96GB 显卡上运行。
压缩比达 6.7 倍，显著降低硬件门槛，使旗舰模型在本地或资源受限设备上成为可能。
- 4bit 量化版本在输出分布和实际任务上与 BF16 模型保持高度一致，掉点在可接受范围内。
实验表明 4bit 量化几乎未牺牲模型能力，适合对精度要求较高的场景。
- 1bit 版本在主流任务上表现稳健，仅小幅回落，足以满足日常编码辅助、工具调用和长文档处理等需求。
尽管理论上极低比特会导致性能下降，但实际测试显示其在多项基准上仍保持较高水平。
- 针对 llama.cpp 开发的 MTP 投机解码补丁使解码速度提升 50%-60%，接受率稳定约 60%。
MTP 技术显著提升交互流畅度，进一步降低了延迟，提升了实际使用体验。
极致量化，近三千亿参数 Hy3 单卡即可部署
腾讯混元团队针对社区对旗舰模型 Hy3（295B 参数）在资源受限设备上的运行需求，将其权重分别量化为 1bit（IQ1_M）和 4bit（Q4_K_M）并打包为 GGUF 格式，配合 llama.cpp 实现。1bit 版本将模型权重从约 598 GB 压缩至约 85.5 GiB，可在单张 96GB 推理显卡上运行；4bit 版本约 169.9 GiB，需两张推理卡。实验表明，4bit 版本在输出分布和实际任务（Agent 能力、多语言代码、工具调用、长文理解）上与原始 BF16 模型保持高度一致，掉点可接受；令人惊讶的是 1bit 版本在多数主流任务上表现同样稳健，仅小幅回落。此外，团队为 llama.cpp 开发了 MTP 投机解码补丁，开启后 1bit 版本解码速度提升约 50%，4bit 版本提升约 60%，接受率稳定在 60% 左右，交互体验流畅。文中还给出了模型和对应量化版本的 HuggingFace 下载链接以及补丁地址。
腾讯混元公开了 Hy3 的 1bit、4bit 与 GPTQ 量化路径，并给出体积、能力保持和投机解码增益等关键数据。对想在有限硬件上部署大模型、评估量化取舍的读者，这是一份可直接动手验证的一手材料。
文章金句
"1bit 塞进单卡，4bit 接近满血
"判断量化好不好，最直接的是看它和原始模型的输出分布有多接近。4bit 版本在这方面表现得相当出色
"真正让我们有些意外的是 1bit 版本。按直觉，压到 1bit 附近模型多少会变笨，但我们的 Hy3 1bit 版本在主流任务上依然站得很稳
"要让 Hy3 真正跑顺，MTP 投机解码必不可少。开启 MTP 后，接受率稳定在 60% 左右，1bit 版本的解码速度提升约 50%，4bit 版本提升接近 60%