关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者1317人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

林俊贤景区打工,如今成了这样

动物奇奇怪怪 浏览 2700

E句话|说错话,张凌赫ins发文道歉了

仙女事件簿 浏览 620

铜师傅的资本突围与增长焦虑

北京商报 浏览 2173

保时捷纯电卡宴即将首发,PPE平台打造

车评网 浏览 1955

2026年最火单品,竟然是一只20年前的机车包?

LinkFashion 浏览 1672

以色列总理称将召集内阁批准停火协议

央视新闻客户端 浏览 2731

苹果发布iPhone 17e

澎湃新闻 浏览 756

女人“会穿衣”才更美,看看这些穿搭就知道,穿对了真显气质

静儿时尚达人 浏览 762

美国宣布对伊朗最新制裁措施

央视新闻客户端 浏览 1345

上新|| 我心中的“人生衬衫”,它终于来了

黎贝卡的异想世界 浏览 588

卢浮宫抢劫案两嫌疑人均30多岁 一人试图登机离境被抓

极目新闻 浏览 7558

鸿蒙版微信一周年:从“能用”到“好用” 超2000万下载量背后的进化史

快科技 浏览 2672

刘一诺承认跟檀健次恋爱过!称被司晓迪刺激才公开,檀健次刚否认

萌神木木 浏览 1353

曾1600元一粒难求的片仔癀,如今跌至六七百元!药房:买得多可以优惠

红星资本局 浏览 2492

退出春晚、被综艺开除,贾玲的下场竟然如此?

阅识 浏览 2430

韩专家:韩国建核潜艇被大国幻觉冲昏头 可能刺激中国

澎湃新闻 浏览 13255

意甲12月最佳候选:霍伊伦、劳塔罗、普利希奇、弗拉希奇在列

懂球帝 浏览 1551

高市早苗自嘲:有人说我是当不上首相的可怜女人

澎湃新闻 浏览 6153

专家:演习5个区域形成"三面围岛"之势 传递明确信号

环球时报 浏览 23164

宁波方正携手山东未来机器人,聚焦深海机器人业务

财闻 浏览 2620

这波操作太狠了!剪辑连夜删除邓莎路行镜头

娱乐圈笔娱君 浏览 2478
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1