关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1354人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

美的空界M5空调上市,国补后2499元,还能鸿蒙互联!

IT之家 浏览 1596

大型SUV“搅局者”:奇瑞风云T11叫板头部玩家

一品汽车 浏览 2478

年销破28万辆!一汽解放斥资百亿元买理财,商用车龙头变“投资大户”?

时代周报 浏览 1372

1万亿订单再加3500-5000亿美元!OpenAI“停不下来”,“当你欠每家数千亿美元,钱的问题自己会解决”?

华尔街见闻官方 浏览 2876

关于生成式AI,这三个问题很关键

经济观察网 浏览 2577

欧洲多国向格陵兰岛派遣军事人员 白宫回应

大象新闻 浏览 1483

泽连斯基:与美国的谈判并不容易

新华社 浏览 1953

纵贯一整年的精彩:柏林电影节佳作在中国

幕味儿 浏览 1881

春节档对决张艺谋吴京,成龙能不能救港片?

娱乐圈笔娱君 浏览 1410

连爆2大行业瓜!大花回应只字不提影帝

大龄女一晓彤 浏览 2330

严屹宽老婆41岁生日,婆婆送杜若溪万元大红包

爱八卦的晓请 浏览 1347

利物浦官方:库伊特、斯科特尔等人参加对多特传奇的慈善赛

懂球帝 浏览 1357

六王赛:辛纳2-0阿卡夺两连冠获600万 德约0-1后退赛无缘季军

醉卧浮生 浏览 2683

“十五五”提到的量子科技,商业化落地到哪一步了?

BT财经 浏览 2510

曝涉案俱乐部罚分不降级 国安名宿上禁足名单 苏宁名将或就此退役

我爱英超 浏览 1445

高芙输球后更衣室摔拍遭外界批评,萨巴一句女人比男人耐热惹争议

网球之家 浏览 1455

每体:腓骨骨折的邦马蒂将接受手术,或将伤缺5个月

懂球帝 浏览 2034

省委书记、省长等18位省领导 一下火车直奔企业车间

政知新媒体 浏览 7960

以色列强调人质释放 加沙停火第一阶段协议达成

环球网资讯 浏览 2753

意媒:尤文完成备战皇马最后一练,米雷蒂和热格罗瓦回归合练

懂球帝 浏览 2558

卫报:帕奎塔希望本月离队,弗拉门戈愿意为他付4000万欧

懂球帝 浏览 1590
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1