关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1318人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

福建舰已完成多次海试 进度远超预期

央视新闻客户端 浏览 2491

三元锂和磷酸铁锂二合一?揭开零跑D19超混电池黑科技

吴佩频道 浏览 2699

冬天要有的鞋子!显高!显腿长!还显瘦!

Yuki女人故事 浏览 2009

美国"全面封锁"受制裁油轮 一艘油轮狂发75次求救信号

红星新闻 浏览 29071

一城商行支行行长离开原岗位13年后被查

湘财Plus 浏览 1581

娜扎被抢休息室,网友扒出疑似林允

萌神木木 浏览 2709

金银"大跳水" 深圳水贝有档口单日卖出200万元金条

红星新闻 浏览 6077

“9系”旗舰+1 上汽大众的战略反攻

网易汽车 浏览 1579

印度尼帕病毒拉响警报,尚无疫苗和有效疗法,检测试剂盒受关注,多家上市公司回应

红星资本局 浏览 1399

媒体人:绿军双探花我会选杰伦-布朗,塔图姆已不是熟悉的他了

懂球帝 浏览 1694

伊姐周六热推:电视剧《暗河传》;电视剧《天地剑心》......

伊周潮流 浏览 2596

伊朗多座储油设施遭袭 美官员"甩锅":都是以色列干的

极目新闻 浏览 31927

媒体:美作错误示范 未来突破"底线"的事或更频繁发生

新民晚报 浏览 8880

香港浸会大学推出AlphaApollo:AI实现协同推理突破

科技行者 浏览 2499

徐峥这一出手,若不出意外,这部耗资7亿的大片估计得“封神”

娱乐圈笔娱君 浏览 1294

拉什福德渴望永久转会愿大幅降薪!暗讽曼联,称巴萨让他重获新生

罗米的曼联博客 浏览 2724

新版《保管合同(示范文本)》发布 进一步明确权责促进交易公平

央视财经 浏览 1861

媒体:日本或让美F-35战机带核炸弹部署 以"威慑中国"

枢密院十号 浏览 42758

诺和诺德再现高层震荡!董事长等7名高管将集体离职,近一年市值蒸发超千亿美元

时代周报 浏览 2617

智元机器人回应赴港上市传闻:不实消息

财联社 浏览 2759

50+女性秋季穿搭新思路:告别卫衣,这4类上衣让你显嫩又有质感

静儿时尚达人 浏览 2512
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1