摘要:Sakana AI 提出 PC-ALM,用层局部动力学与 PI 反馈控制器替代全局反向传播,可训练 1000 层神经网络而不依赖全局前向/后向传播,缓解信号衰减,开辟训练新路径。
训练大模型那条"金科玉律"——反向传播(backpropagation)——今天被 Sakana AI 递了一把挑战书。他们提出的 PC-ALM,用层局部(layer-local)的动力学来替代全局 BP:给每一层配一个 PI 反馈控制器和双神经元结构,让监督信用(supervisory credit)在网络内部逐层传播,而不再依赖全局的前向和反向传播。按团队说法,这能克服标准预测编码在深层窄架构里的"信号衰减"问题,训练多达 1000 层的神经网络。

为什么这件事重要?反向传播虽强,却有公认的硬伤:它需要存全图梯度、依赖对称权重假设、在生物 plausible 上站不住脚,且超深网络里梯度易消失/爆炸。PC-ALM 这类局部学习路线的价值,不在"马上取代 BP",而在它指向两种可能性:一是更省内存、更适合边缘设备和 neuromorphic 硬件的训练;二是更贴近生物学习的机制,可能带来更好的持续学习和泛化。当模型越做越大、训练成本越来越高,任何能降低训练复杂度的新范式都值得盯。
我的判断:对关注前沿架构的读者,这条该当作"长期期权"来看,而不是"下周就能用的技术"。局部学习的研究已持续多年,Sakana 的贡献是把千层训练这个具体难关往前推了一步,但离在万亿参数大模型上替代 BP 还远。真正的信号是:行业开始认真寻找后 BP 时代的可行路径,这和数据中心能耗、HBM 短缺、算力成本是一道暗线。今天另一则硬件消息(CXMT 量产第五代 DRAM、三星翻倍 HBM4)也指向同一命题——当单点算力受制裁和物理极限挤压,"换个训练/推理范式"可能比"堆更多卡"更划算。方向值得长期跟踪。
