猫眼电影记者 康忠良 报道w3u7903ejky2ywls

长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。

但是，LM 通常只在较短窗长下进行训练，可能产生过拟合，只学习到指定范围内的位置关系，但是无法理解没学习过的位置关系。为了缓解这个问题，当下最流行的便是引入具有周期性的旋转位置编码（Rotary Position Embedding，RoPE）。由于周期性编码每间隔一定距离就会出现数值重复，所以 LM 可以使用在少数几个周期内学习到的经验泛化到更多的周期当中。

但奇怪的是，使用 RoPE 的 LM 依然难以直接在训练长度之外起效，必须依靠其他算法（如 YARN）来辅助其进行外推。 那么，到底是什么限制了 RoPE 的周期延拓，进而限制了 LM 的长度外推呢？

于是，清华大学讲席教授、上海AI Lab主任/首席科学家周伯文教授的团队对这一问题进行了深入探索，使用傅里叶分析工具解读了使用 RoPE 的 Transformer 模型长文本泛化能力不足的原因之一是 RoPE 带来的周期性延拓受到了频谱破坏的影响。进一步地，该文章提出的傅里叶位置编码（Fourier Position Embedding，FoPE）大幅提升了Transformer的长文本泛化能力。

论文标题：Fourier Position Embedding: Enhancing Attention’s Periodic Extension for Length GeneralizationarXiv 链接：https://arxiv.org/pdf/2412.17739代码链接：https://github.com/TsinghuaC3I/Fourier-Position-Embedding

研究亮点

发现 —— 频谱损坏限制周期延拓

作者们通过观察 RoPE 的公式可以发现，它为 Hidden States 的每一维都指定了单一的频率，并假设这一维度的语义信息按照这个波长影响其他位置的语义。所以，RoPE 周期延拓性的起效前提是 “Hidden States 的每一维只存在单一频率的语义”。如果每一维明明存在不同频率的语义，却仍然按照单一频率的波长来估计这部分语义的传递规律，RoPE 所带来的周期延拓将产生混乱，进而无法实现长文本泛化。

遗憾的是，在使用 RoPE 的 LM 中，这个假设只在 LM 的第一层中成立，但在后面的所有层中都不成立。因为后面的所有层中，每一维中都掺杂了除主频之外的其他频率分量，这个现象可以被称作频谱损坏（Spectrum Damage）。频谱损坏主要有三个来源：① 线性函数；②激活函数；③时域截断。

线性函数

激活函数

这个结论可以通过泰勒展开进行简单证明，也可以任意地推广到存在更多频率的情况。可以看到，经过线性层之后，每一维本就掺杂了多种频率。在经过激活函数之后，这种掺杂会变得更加严重。

时域截断

给定一个被截断为长度N的单频率函数

通过傅里叶变换可以得到（详见文末）这个函数的频谱是：

算法 —— 频域鲁棒性是长文本泛化关键

在以往的研究中，大家普遍认为只有 Attention 才会影响长度外推。但从上面的分析可以看出，整个模型中的线性层、激活函数和时域截断也都会对长度外推产生影响，并且是不利影响（也就是上文提到的频谱损坏）。为了改善频谱损坏对长文本泛化的不利影响，这篇论文提出了傅里叶位置编码（FoPE，Fourier Position Embedding）来提升模型的频域鲁棒性和周期延拓性，进而提升长文本泛化。

FoPE 的核心思想是 “打不过就加入”。考虑到线性层和激活函数可以带来更强的表征能力，时域截断又是受到硬件限制无法改变，FoPE 索性就仍然保留了各层中的频谱损坏，转而提出了对于频谱损坏更加鲁棒的位置编码。鲁棒性的提升主要源于两方面：① 既然每一维中不可避免的混杂其他频率的分量，那就干脆在一开始就把每一维都建模成一个傅里叶级数（Fourier Series）。即使这样的建模不会避免频谱破坏，FoPE 却可以在每一维中解码出更多频率的信息（利用三角函数的正交性）；② 既然极低频的分量周期过长，会导致这些频率分量的周期特性无法被学习到，那就将他们裁剪成频率为 0 的直流分量。考虑到直流分量的良好性质（既可以看作周期无限短，又可以看作周期无限长），这个新加入的频率既保证了周期性，又可以让每个词汇的信息向无限远的词汇传递；

综上，FoPE 的公式可以写作：

实验

进一步地，文章在困惑度、大海捞针准确率以及很多下游任务 Benchmark 对不同方法进行了对比，实验发现 FoPE 在这些任务上都有稳定的表现，在绝大多数远超过使用 RoPE 的模型。

潜在影响

论文中使用傅里叶工具得到的分析结论和算法可能存在更广泛的潜在价值，有潜力应用在更多的领域和任务：① AI 领域内：长视频生成、kv-cache 压缩、多模型协同等；② AI 领域外：语义通信、光计算和脑机接口。

作者简介：华尔默，清华大学博士生，研究方向是基础模型的架构设计与训练算法设计，在 ICML、ICLR、NeurIPS、ACL、EMNLP、COLM、AAAI 等顶级会议上发表过论文。

  时事1：原神芙宁娜裸体❌喷水

  05月09日,中国首位F1车手周冠宇获邀成为上海国际旅游形象公益推广人,

　　历史的脚步永不停息。在时代进步的浪潮中，包括在座各位在内的广东国税青年始终是一支朝气蓬勃、充满生机活力的有生力量，特别是近年来，全省国税系统广大青年在省局党组的正确领导下，围绕中心，服务大局，依法治税，竭诚奉献，为全省国税系统的改革、发展、稳定做出了积极贡献，全面展示了新时期广东国税青年的崭新风貌和良好精神状态。但青年人也有弱点，一般阅历较浅，缺乏社会实践经验，心理承受能力较弱，还容易心浮气躁，甚至有的时候眼高手低、好高骛远、急功近利。人贵有自知之明，青年朋友们也要正视自身弱点并努力加以克服。借此机会，我代表省局党组向省局机关及全省国税系统广大青年提几点希望：

,白洁与大狼姁1～5TXT下载。

  05月09日,短道速滑世界巡回赛加拿大站 中国队男子5000米接力摘银,

　　青鳞鹰振翅，化成一股狂暴的风，瞬间扑了过来，两翅一展，一下子护住了三枚蛋，而后仔细的盯着那枚斑纹交织、晶莹闪亮的特别的蛋。

,део+16一18,色欲XXOO久久久精产国品,我要操逼。

  时事2：欧洲人GAyGAyGAy

  05月09日,第十届“文荣奖”颁奖典礼红毯仪式在浙江横店举行,

　　今天，我们在这里举行新团员入团仪式，见证一批优秀青少年学生的成长和进步，我感到十分高兴!在刚才 名同学肃穆的神情、雄壮的歌声、激昂的誓言和热烈的掌声中，我们可以体会出同学们内心的激动。站在烈士们用鲜血染红的团旗下，进行庄严的宣誓，这对每个同学来说都是在经历一次心灵的洗礼，一次严肃而庄重的教育。它意味着自己不仅享有一个光荣的称号，更意味着自己承担了团结和带动同学们一同进步的光荣责任和使命。

,美女把给我看还让我模,丰满大肥奶肥婆BBBwww,男男自慰AV大片大尺度猛男。

  05月09日,保安劝阻游客搭帐篷被威胁工作不保？涉事酒店：忠于职责，未辞退,

　　石渊须发皆张，眸蕴雷电，浑身发光，自其体内冲出一只太古凶禽，浑身赤红，翎羽鲜艳亮丽，展翅击天，扑杀向石子陵。

,白鹿白丝❌❌jk爆乳❌❌,wallpaper网站入口埃及猫,女警脱👙给我揉🐻游戏。

  时事3：免费高清🔞❌♋性巴克

  05月09日,贵州“村超”“村BA”流量变现 “五一”假期持续火爆,

　　与此同时，箭如蝗虫过境，飞矛似流星，密集的落下，狈村那里传来成片的惨叫声。

,啊〜用力〜嗯〜轻一点苏新皓视频,Boruto❌Sakura18禁Hentai,被室友狂c躁到高潮失禁软件下载。

  05月09日,和谐共生丨从地球视角看中国生态保护贡献,

　　我们先从这两个词的起源说起：“文明”二字最早见于古代一本叫《易经》的书，其中有这样的话：“见龙在田，天下文明”，意思是阳气上升到地面，天下的人都能够看到它的文采光明。“文明”就是“文采光明”的意思。现在一般用“文明”与“野蛮”相对，表明社会的进步程度。也常常用来指良好的生活方式和风尚。

,色成人网站www永久在线视频,霉霉裸被❌视频Al,3d裸体初音未来被❌吸乳羞羞。

  时事4：欲梦直播奶头走光视频

  05月09日,中新教育丨贵州推出“冬季研学大礼包” 让“研学游”实现“研学优”,

　　“那就战吧！”石飞蛟怒吼。

,梅花十三去掉内裤让人摸,中国少妇⭕⭕⭕⭕美国漫画,陈美娇1v7无码免费视频。

  05月09日,中甲联赛大连一赛场发生球员暴力事件 中国足协通报,

　　管事顿时脸色发白，补充道：“那几个老怪物都先后过世了，剩下的最后一个也活不了几天了，那个小孽畜应该也活不长了。”

,地下偶像红毛和蓝毛第1季,Free❌❌❌国产天美MDX,女同又爽❌又黄❌漫画。