ARTICLE · 人工智能
SSR-Merge:把 LoRA 合并从'参数算术'变成'信号路由' | ICML 2026
一语总结SSR-Merge 通过在信号空间进行路由,而非在参数空间进行算术,解决了多 LoRA 合并时的干扰问题,实现了高保真度的任务组合。
本文介绍了 SSR-Merge,一种基于子空间信号路由的 LoRA 合并方法,该方法通过统计估计直接解出路由器,实现了无训练、无调参的合并,并保持了高保真度和稳定性。
- 传统合并方法的局限
现有的 LoRA 合并方法,如任务算术和稀疏化,都是在参数空间进行操作,导致不同任务之间的信号相互干扰,造成画风串味和角色崩坏。
- SSR-Merge 的核心思想
SSR-Merge 不在参数空间做算术,而是在信号空间做路由。它通过统计通道内信号的相关结构,反向拆解混合信号,并使用方向引导矩阵将信号路由到正确的出口,从而避免了干扰。
- 理论与实践优势
SSR-Merge 的路由器 R 是由数据二阶统计量直接解出的唯一解析解,等价于最小二乘估计。这种方法不需要训练或调参,且可以重参数化为标准 LoRA,实现零额外推理开销。
- 实验结果
实验表明,SSR-Merge 在单任务保真度、多任务组合生成以及人像精修等方面,均显著优于现有基线方法,展现出高稳定性和高保真度。
SSR-Merge:把 LoRA 合并从'参数算术'变成'信号路由' | ICML 2026
本文介绍了 SSR-Merge,一种基于子空间信号路由的 LoRA 合并方法,该方法通过统计估计直接解出路由器,实现了无训练、无调参的合并,并保持了高保真度和稳定性。
这篇 ICML 论文介绍以信号空间路由合并 LoRA 的方法,并强调无训练、无调参及高保真任务组合等设计目标。它为模型组合和生成模型研究者提供了明确的方法线索与实践参考。 可据元数据为关注相关主题的读者提供方法线索;本次仅核对标题、来源、摘要和核心观点,未读取正文。
文章金句
"不在参数空间做算术,而在信号空间做路由。
"路由器 R = QG⁻¹ 由数据的二阶统计量直接解出,等价于最小二乘的唯一解析解,无需训练、无需调参。
"SSR 证明了一种新的可能性:合并可以是无训练、有理论保证、零推理开销的标准操作。