Insight Article

AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分

围绕重点信息、阅读节奏与内容沉浸感进行版式组织,让长内容浏览更清晰,也让关键观点更容易被捕捉。

AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分

AI亲手改写Transformer架构!DeepSeek自我改造暴涨7分

新智元报道 AI看着自己的脑子改写自己 ,这一天还是来了! 7630亿参数的DeepSeek-V4.1-Flash,直接读取了自己做数学题时最深7层的内部激活状态。 摸清「快要算偏」的信号规律后, 它在不改半个权重的前提下, 亲手写了一段Python代码塞进推理流程「读脑自救」! 只要发现思路跑偏就当场回滚重算,在AIME与HMMT 2026数学竞赛上, 准确率原地暴涨7个百分点! 而这,还只是今天刷屏AI圈的DoubleAI重磅研究里的一个切面。 这家由Mobileye创始人Amnon Shashua创立的AI机构, 首次提出了一个颠覆传统深度学习的新范式—— 「机制干预」 。 相比以往模型只能在写死的架构里硬调权重,这套方法把编程Agent放进了训练与推理现场。 在训练中途 ,哪一层网络卡壳了,Agent就当场写几行Python代码塞进模型主干,实时接管计算! 靠着这手绝活,预训练模型只塞入20行代码,就在单次前向推理里跑起了梯度下降。 连塞10层代码后,30种经典算法的准确率更是从55%狂飙到 84% ! 研究一经发布,迅速在AI圈引发刷屏热议。 创始人Amnon Shashua放话,深度学习已经彻底跨过了「只调权重」的旧边界。 现在, 连神经网络架构本身都能在训练中自主进化,人类手搓模型架构的时代翻篇了! 联创Gal Beniamini更是感叹,当放手让大模型边训练边改写自己,最后长出来的架构连研究员都觉得不可思议。 它不再是纯粹的神经网络,而是 一半来自训练学出的权重,一半来自半路拼接的Python代码! 在进入实验细节之前,我们先来看看这套「机制干预」到底是怎么运作的: 第一步是找瓶颈 , Agent实时读取每层网络的梯度信号,揪出靠调权重学不会的短板。 第二步是写代码 , Agent现场生成几十个候选Python函数,实测哪段代码最能帮模型降误差。 第三步是热插拔 , 把胜出代码挂在初始值为0的门控后面并入网络,由后续训练自动把门控推开。 塞入20行代码,前向传播跑起梯度下降 第一组实验从语言模型预训练切入,验证训练中途塞入Python代码,能否帮模型更快压低预测误差。 在12层模型nanochat的1500步训练中,Agent先后三次出手塞入Python代码层。 每次代码一并入,模型预测误差(bpb)就 随之 连降三次 ! 训满1500步后,加代码层的模型相当于 白赚了15%的训练进度 。 而打乱逻辑的「假代码对照组」与常规训练完全重合,证明提分全靠AI写出的代码逻辑。 面对12层网络,Agent之所以能找准往哪一层塞代码,靠的是 「幽灵梯度」 。 它假想在某层后加个新模块,测算往哪个方向推能让误差下降最快。 滤掉常规噪声后, 第2层和第4层 的高需求热区便清晰显现出来! 锁定瓶颈层后,Agent写出几十个候选函数,在单批数据上实测谁最契合第2层的梯度方向。 接着,最高分函数挂在 初始值为0的门控 g 后面并入网络。 刚插入时门控输出为0,原有网络不受影响。 但短短100步内,梯度下降发现这段代码真能降误差,便自动把门控调整到了 0.58 ! 靠着这套流程,Agent在第1000步往末层塞进了一个最惊艳的 「错误记忆层」 。 这短短20行代码之所以震撼,是因为它 打破了以往「前向只能推理、反向才能改错」的定式 ! 不用等反向传播,模型边往后读就能边核对前文答案,当场算出预测误差,找出64个最相似的犯错位置。 紧接着,它直接在脑子里迈出一步梯度下降,在 单次前向传播内实现了边读边纠错 ! 训练半路插代码,比天生自带强17分 既然Python代码层这么管用,那么从训练第0步就把代码层装进模型行不行呢? 然而,第二组实验却测出了一个 完全反直觉的惊人反转 。 团队把模型的记忆窗口锁死在500词以内,考它能不能找回几千词之前的变量赋值。 同时,Agent写了一个能跨窗口查字典的「代码缓存层」,分三种时机装入模型: 常规训练基线 , 超出500词窗口的变量全部忘光, 召回率考 0% 。 第0步天生自带组 , 开训前就装好代码缓存层, 召回率停在 55% 。 第1200步半路插入组 , 先练1200步再半路塞入同一个缓存层, 召回率冲上 72% ! 同样的Python代码层, 训到半路才插进去,竟然比天生自带高出整整 17个百分点 ! 这个反转揭开了深层原因,如果开训第一天就给现成的代码捷径, 神经网络就会「偷懒」依赖外部字典 ,不去打磨底层表征。 相反, 先强迫模型在500词限制下把基础表征练扎实 , 撞上天花板后再接上Python代码,神经权重与符号代码才能发挥最大合力! 连塞10层代码,填平算法0分盲区 验证了「半路插入」的优势后,第三组实验挑战30种经典计算机算法,检验连塞10层代码能带来什么质变。 传统Trans

about image
觉得有用?分享给朋友

让更多人看到这篇内容