ARTICLE · 人工智能

SSR-Merge:把 LoRA 合并从'参数算术'变成'信号路由' | ICML 2026

作者:vivo互联网技术 来源:vivo互联网技术 2026-10-14 20:00 19 分钟 70 阅读 4527 字
AI 与智能应用模型训练与推理图像生成扩散模型ICML
一语总结

SSR-Merge 通过在信号空间进行路由,而非在参数空间进行算术,解决了多 LoRA 合并时的干扰问题,实现了高保真度的任务组合。

AI 总结

本文介绍了 SSR-Merge,一种基于子空间信号路由的 LoRA 合并方法,该方法通过统计估计直接解出路由器,实现了无训练、无调参的合并,并保持了高保真度和稳定性。

核心要点
  1. 传统合并方法的局限

    现有的 LoRA 合并方法,如任务算术和稀疏化,都是在参数空间进行操作,导致不同任务之间的信号相互干扰,造成画风串味和角色崩坏。

  2. SSR-Merge 的核心思想

    SSR-Merge 不在参数空间做算术,而是在信号空间做路由。它通过统计通道内信号的相关结构,反向拆解混合信号,并使用方向引导矩阵将信号路由到正确的出口,从而避免了干扰。

  3. 理论与实践优势

    SSR-Merge 的路由器 R 是由数据二阶统计量直接解出的唯一解析解,等价于最小二乘估计。这种方法不需要训练或调参,且可以重参数化为标准 LoRA,实现零额外推理开销。

  4. 实验结果

    实验表明,SSR-Merge 在单任务保真度、多任务组合生成以及人像精修等方面,均显著优于现有基线方法,展现出高稳定性和高保真度。

SSR-Merge:把 LoRA 合并从'参数算术'变成'信号路由' | ICML 2026

本文介绍了 SSR-Merge,一种基于子空间信号路由的 LoRA 合并方法,该方法通过统计估计直接解出路由器,实现了无训练、无调参的合并,并保持了高保真度和稳定性。

这篇 ICML 论文介绍以信号空间路由合并 LoRA 的方法,并强调无训练、无调参及高保真任务组合等设计目标。它为模型组合和生成模型研究者提供了明确的方法线索与实践参考。 可据元数据为关注相关主题的读者提供方法线索;本次仅核对标题、来源、摘要和核心观点,未读取正文。

文章金句

"

不在参数空间做算术,而在信号空间做路由。

"

路由器 R = QG⁻¹ 由数据的二阶统计量直接解出,等价于最小二乘的唯一解析解,无需训练、无需调参。

"

SSR 证明了一种新的可能性:合并可以是无训练、有理论保证、零推理开销的标准操作。