2014年的Adam、2015年的残差连接、2017年的全注意力——Transformer时代沿用了近十年的三个基础组件，正在被一家中国公司逐个换掉。

在GTC 2026的演讲《How We Scaled Kimi K2.5》中，月之暗面CEO杨植麟没有只讲产品，而是把过去一年多团队想清楚的一件事摊开了。他认为，要推动大模型智能上限的持续突破，必须对优化器、注意力机制及残差连接等底层基石进行重构。他把整条技术路线拆成三个方向：让每个Token更值钱、让更长的上下文真正有用、让多个Agent同时协作。更关键的是——三项替代方案全部开源。

一、MuonClip：让同样数据“学两遍”

Adam优化器自2014年以来一直是行业标配，但在超大规模训练中，寻找更具Token效率的替代方案已成趋势。月之暗面给出的答案是MuonClip。

它基于Muon优化器，核心思路是在更新参数时尽量让不同方向的信息保持独立，减少重复和浪费，从而提高训练数据的利用效率。实验结果是：用同样数量的数据，训练效果接近把数据量增加一倍。杨植麟打了个比方——手里若有50万亿个高质量Token，效率提高一倍，就等于又多出50万亿Token。

但Muon有个棘手的问题：模型扩展到万亿参数后，注意力层里的数值容易失控，最大logit会突然飙升到1000以上（正常范围通常只有50到100），训练曲线直接发散。月之暗面为此设计了QK-Clip——在模型前向计算时实时检查每个注意力头的最大logit，一旦超过安全范围就同步缩放Q和K的投影把数值压回来。

靠着QK-Clip，Muon被成功扩展到万亿参数规模，训练了超过15万亿Token，整个过程没出现过一次loss spike。团队将其开源为MuonClip，计算效率达到传统AdamW的2倍。

二、Kimi Linear：把全注意力从“必须”变成“可选”

Transformer的注意力机制计算量随上下文长度平方增长——上下文扩大十倍，计算量可能增加一百倍。到百万Token级别，成本高得吓人。

月之暗面的解法是Kimi Linear，核心是一种名为KDA（Kimi Delta Attention）的线性注意力机制。传统线性注意力只有一个全局衰减系数，所有内容共用同一个遗忘按钮；KDA把一个衰减系数拆成多个，不同信息通道用不同遗忘速度——慢衰减的通道保留长距离信息，快衰减的通道及时腾出空间吸收新内容。

实际使用中，Kimi Linear按3比1的比例把线性注意力层和全注意力层混合。杨植麟称这是第一个在短上下文、长输入和长输出任务上都能全面超过全注意力的架构。在128K甚至1M的超长上下文中，解码速度提升5到6倍。

三、Attention Residuals：让每一层自己决定“听谁的”

残差连接是Transformer最基础的结构之一，十年来基本没变过。传统的残差连接对每一层的输出进行统一求和，信息在逐层传递中不断丢失和稀释。

月之暗面引入的Attention Residuals方案，将固定加法累加替换为对前序层输出的Softmax注意力。每一层不再被动接收所有前序层的叠加总和，而是根据输入内容有选择地聚合信息。经过改进的48B模型训练效率提升了1.25倍。

四、Agent Swarm：从一个人到一支队伍

第三个方向是从一个Agent变成一支Agent团队，月之暗面称之为Agent Swarm。组织方式像一家公司：一个主Agent充当CEO，负责理解目标、拆解任务并分配给多个子Agent——分别扮演研究员、程序员、数据分析师和事实核查员，完成后由主Agent汇总。最大价值是把串行任务改成并行。

Kimi K2.5引入的Orchestrator机制，能将复杂的长任务拆解给数十个子Agent并行处理。为防止协作中出现单点依赖导致“串行塌缩”，团队设计了全新的并行RL奖励函数，激励模型真正学会任务分解与并行执行。

五、跨模态反哺：视觉训练让文本更聪明

演讲中还有一个值得关注的观察：在原生的视觉-文本联合预训练中，视觉强化学习能够显著反哺文本性能。消融实验显示，经过视觉强化学习训练后，模型在MMLU-Pro和GPQA-Diamond等纯文本基准测试上的表现提升了约2.1%。空间推理与视觉逻辑的增强，可以有效转化为更深层的通用认知能力。

六、为何全部开源？

杨植麟在演讲中透露了一个判断：十年前的研究受限于算力，很难通过不同规模的实验验证想法。而现在有了足够的资源和“缩放阶梯（Scaling Ladder）”，研究者可以进行严谨的规模化实验。这也是Kimi能够从那些看似“冒险”的底层重构中得出可靠结论的原因。

把三个替代方案全部开源，不只是技术自信——它意味着全球开发者都可以用这些组件重构自己的模型。前OpenAI联合创始人Karpathy评价这项工作时直言：“看来我们还没把‘Attention is All You Need’这句话按字面意思理解透。”