这项由慕尼黑工业大学、牛津大学和德克萨斯大学奥斯汀分校聚拢完成的计议，发表于2026年第43届海外机器学习大会（ICML 2026），论文编号为arXiv:2605.31559v1，于2026年5月29日公开。

当一位厨师需要把一齐经典食谱改编给100个东谈主、1000个东谈主、以至10000个东谈主的宴席时，聪惠的作念法不是把每一才略都重迭10000遍，而是找到食谱背后的"中枢章程"，然后用这个章程批量带领烹调。计议团队在这篇论文中想惩办的，恰正是雷同的问题——只不外他们的"食谱"是数学上头孔自然界章程的方程，而"厨师"是东谈主工智能。

具体来说，这支团队濒临的挑战叫作念"算子学习"。所谓算子学习，等于教化AI去掌捏一类特殊的映射关系：输入是一个连气儿变化的函数（比如某片区域的温度散播），输出亦然另一个连气儿变化的函数（比如该区域的气压散播）。这类问题日常存在于工程缱绻、物理仿真、材料假想等规模，是科学缱绻的中枢任务。现存的AI作念这件事时，大多是把连气儿函数零乱化成一堆点（就像用好多小方格近似一幅画），然后让AI处理这些点。这种作念法有一个树大根深的差错：处理点的数目一朝增多，缱绻量会急剧延迟，何况AI皆备不眷注这些点背后荫藏的"举座结构"，就好比一个厨师只记取了每一勺盐的分量，却不睬解"咸淡平衡"这个更根底的烹调原则。

计议团队将他们的顺序定名为FUNCATTN（Functional Attention，功能注意力），并围绕这个中枢念念想构建了一套齐全的表面框架与工程完结。他们的基本目的是：与其让AI逐点比较数据（就像两个东谈主相互检讨对方身上的每一颗痣），不如让AI在"函数空间"的层面进行交流（就像两位话语学家通过比较话语结构来深切相互，而非逐字对照辞书）。

一、注意力机制的"老差错"：为什么逐点比较是个艰巨事

要深切这个计议惩办了什么问题，先得弄了了现存的主流作念法是若何运作的，又出了什么岔子。

当今，AI规模最流行的架构叫作念Transformer，其核神思制等于"注意力"（Attention）。它的职责神情不错这么深切：假定你有一段音乐，需要分析其中哪些音符相互呼应。注意力机制会让每个音符去问其他统统音符："你和我有多大关系？"然后证据这些关系的强弱，综合出每个音符的"语境含义"。这个过程很远大，但有个致命劣势——要是这段音乐有1000个音符，就需要缱绻100万对关系；要是有10000个音符，就需要缱绻1亿对关系。跟着数据量增长，缱绻量以"平方倍"爆炸式增长，这在处理高精度的科学缱绻问题时间价极高。

更深层的问题是，这种逐点比较的神情皆备残暴了数据背后的举座结构。在物理仿真中，流体的速率场不是立地洒落的点，而是恪守精准数学章程的连气儿函数，它有内在的"局势"和"章程"。把它打碎成零乱点再处理，就像把一幅精粹的油画剪成小纸片再再行拼接——不仅恶果低，还可能在拼接过程中丢失原画的神韵。

此外，当你在低分辨率网格上教化好的AI模子，移植到高分辨率网格时，由于教化和测试的"点的数目"不同，模子时时进展大幅下落，需要再行教化。这就好比一个只在小黑板上学过数学的学生，换到大黑板后就不贯通题目了——清晰不够聪惠。

二、几何学的启示：从"点对点"到"函数对函数"

计议团队的灵感来自一个皆备不同的规模——三维局势匹配。

在缱绻机图形学中，有个经典难题：如何判断两个东谈主体雕镂上的"膝盖"对应并吞个位置？暴力作念法是逐点比对，缱绻量极大。2012年，来自斯坦福大学的数学家Ovsjanikov等东谈主提议了"函数映射"（Functional Maps）框架，提供了一个优雅的解法：无用奏凯匹配点，而是匹配界说在这些局势上的"函数空间"。

打个比方，假定你有两座山，一座是珠穆朗玛峰，一座是乔戈里峰。你不需要一一比对每一块岩石，而是不错先给每座山作念一组"特征面孔"（比如高度函数、坡度函数等），然后找到一个线性变换，让珠峰的特征面孔能够映射到乔峰的特征面孔。这个线性变换就叫作念"函数映射矩阵C"。因为它是线性的，正本复杂的组合问题就革新成了一个不错用最小二乘法求解的浅易优化问题。更妙的是，只需要用k个"特征函数"就能示意这个对应关系，而k远远小于点的数目n，缱绻复杂度从O(n?)奏凯降到O(k?)。

计议团队贯通到，注意力机制骨子上亦然在作念雷同的事情——它在"查询空间"和"键值空间"之间确立对应关系。那么，为什么不把函数映射框架的念念想移植过来呢？与其缱绻一个n×n的逐点相似度矩阵，为什么不奏凯学习一个紧凑的k×k的函数空间对应算子？

三、FUNCATTN的中枢旨趣：用"最小二乘拟合"替代"softmax打分"

深切FUNCATTN的职责旨趣，不错用一个调音台的比方来勾搭弥远。

假定你是一个音乐制作主谈主，手头有两个乐团演奏的并吞首曲子，你的任务是找到两个版块之间的对应关系（比如第一个版块的饱读点对应第二个版块的哪些乐器），然后用这个对应关系来混音。

传统注意力机制的作念法是：把统统乐器的每个音符两两比较，打出相似度分数，再用softmax归一化，临了加权乞降。这个过程相等邃密，但也相等耗时。

FUNCATTN的作念法例是：先用一组"频谱滤波器"（称为"基函数"，Basis Functions）把两个版块各自压缩成紧凑的频谱统统示意，然后在频谱层面找到一个线性变换矩阵C，使得第一个版块的频谱统统经过C变换后，能最佳地吻合第二个版块的频谱统统。找这个最优的C，用的是统计学中的"Tikhonov正则化最小二乘法"——这是一个有闭合解析解的优化问题，既快速又肃肃。

在数学上，通盘过程如下进行：给定输入X，分别缱绻查询矩阵Q、键矩阵K和值矩阵V（这一步和普通注意力机制交流）。接下来，通过两组可学习的基函数矩阵Φ和Ψ，分别缱绻Q、K、V在各自函数空间中的频谱统统，得到Q、K、V。然后求解最优函数映射算子C*，使得C*K能最佳地重现Q，正则化项λ‖C‖?防止过拟合。临了，用C*把V映射到查询空间，再通过Φ"解码"回原始空间，得到输出。通盘缱绻复杂度是O(ndk + dk·min(k，d) + min(k，d)?)，对序列长度n是线性的，远优于普通注意力的O(n?d)。

一个关键细节值得解释：这里的正则化参数λ不是爽气拍定的，而是通过一个可学习的标量参数α（令λ=sigmoid(α)）在教化过程中自动调理。计议终结表露，λ的具体取值对最终精度影响较小（不同启动化下流弊相反小于0.02%），它主要起数值富厚作用，确保矩阵求逆时不会出现数值爆炸。这少量也被表面上的Lipschitz连气儿性分析所印证——Lipschitz常数正比于1/λ和1/λ?，唯有λ严格大于零，模子等于富厚且可教化的。

四、"调音台"的旋钮：如何学习好用的基函数

介怀的读者可能会问：那组"频谱滤波器"（基函数）是若何来的？固定用傅里叶基或者拉普拉斯基不可吗？

自然不错用固定基，就像你不错给统统乐器都用并吞套平衡器预设。但问题是，不同类型的音乐（摇滚、古典、爵士）需要不同的平衡竖立。固定基在某些问题上进展很好，但在另一些问题上可能皆备不匹配。

FUNCATTN的惩办决策是学习一组自恰当基函数，其缱绻神情为：B = Softmax(Linear(X))，即先用一个全勾搭层把输入特征映射到k维，再对k个维度作念softmax归一化。这么得到的每个基函数都是输入自恰当的，不同的输入会产生不同的基。

从表面上讲，这组基函数有一个优好意思的性质：它们组成"单元理解"（Partition of Unity），即对放荡输入点，k个基函数的值之和恰巧等于1。这个性质保证了权重弥远有界，不会出现极点值，防止退化解。更真谛的是，当温度参数τ趋向于0时，这组基函数会退化为经典的分段常数基（P0 Elements）——每个点只属于一个"区域"，就像把乐器目别汇分地放到不同的房间里。跟着τ增大，这种硬分拨酿成软分拨，允许每个点在多个"区域"中同期有所包摄。这一性质既稀有学上的严格保证，也有直不雅的物理风趣。

实验还发现一个真谛场所：给基函数加上正交性不休（将就基函数相互垂直，就像正交基底）反而会让性能变差。原因可能是：在正交不休下，优化变得更难（需要在Stiefel流形上作念梯度下落），而目田学习的基函数自然不正交，但优化器能更容易找到好的局部最小值。这与其他规模（如局势对应学习）的不雅察一致。

五、Transolver与FUNCATTN：相似的外在，不同的灵魂

在读这篇论文时，好多东谈主可能会逸料想另一个叫作念Transolver的职责（2024年），因为两者在结构上看起来颇为相似，都有"把输入投影到某个低维空间、在低维空间作念缱绻、再投影回来"的要害。计议团队特别在论文的附录顶用一张经由图对比了两者的骨子区别。

Transolver的中枢念念路是：学习一组"物理感知的切片"（Physics-Aware Slices），把输入数据分红k组物理上关系的秀美（tokens），然后在这些秀美之间作念标准的scaled dot-product attention（带softmax的那种）。换句话说，Transolver是在"减少token数目"上作念著作，但保留了注意力机制的基本局势。

FUNCATTN则不同：它的基函数投影不是为了减少token数目，而是为了把注意力操作皆备栽植到函数空间层面，用最小二乘线性算子取代了softmax打分机制。这意味着FUNCATTN的注意力权重不错是负数（因为线性追思的解莫得非背信束），这为模子提供了"对比才气"——某个基函数不错同期被另一个基函数正向强化或负向阻拦，这在细粒度分割任务中尤为灵验。

浅易说：Transolver是"用物理常识减少职责量，然后照常打分"；FUNCATTN是"从根底上蜕变打分的神情，奏凯求最优线性对应"。

六、实验考据：从流体仿真到RNA分子的全面测验

计议团队在五大类任务上对FUNCATTN进行了系统评测，涵盖追思、偏微分方程求解、三维分割、散播外泛化和超分辨率等多个维度。

第一个测试场景是正弦函数的少样本追思。计议团队师法元学习规模的经典竖立：给AI看4个不雅测点，让它揣测整条正弦弧线。这个测试看似浅易，世界杯滚球app中国官方下载实则很能区分模子的"结构感知才气"。终结表露，普通的scaled dot-product attention和Transolver在教化前都输出一条平线，毫无正弦波形的迹象；而FUNCATTN在教化前就能输出具有正弦局势的弧线，阐发其归纳偏置自然得当函数拟合任务。在泛化性能上，跟着不雅测点数目从5增多到40，FUNCATTN的流弊弥远比普通attention低2-3个数目级，比Transolver低约1个数目级，比另一个强基线Intention也低约1个数目级。具体来说，FUNCATTN用5个不雅测点就能达到普通attention用40个不雅测点才能达到的精度。

第二个亦然最中枢的测试场景是偏微分方程（PDE）求解，共涵盖六个标准基准任务，横跨流膂力学和固膂力学两大规模，包括地下渗流（Darcy）、湍流（Navier-Stokes）、空气能源学（Airfoil、Pipe）以及弹性变形（Elasticity）和塑性变形（Plasticity）。FUNCATTN在六个基准中的五个上达到最优，在第六个（Pipe）上与最优终结持平。与最接近的竞争者Transolver比拟，相对流弊降幅在6%到26.3%之间，举例在Elasticity任务上从0.64%降至0.50%，在Plasticity任务上从0.13%降至0.11%，在Navier-Stokes任务上从9.44%降至8.00%。频域顺序（如FNO系列）在复杂几何上浩荡进展较差，原因是固定的傅里叶基在非章程网格上对皆贫瘠；早期的注意力顺序（如Galerkin Transformer）奏凯在网格点上操作，难以高效捕捉全局物理关系性。

第三个测试场景颇为尽头：在RNA（核糖核酸）分子的三维点云上作念语义分割，将4096个点分类到259个功能类别。这个任务与PDE求解看似毫无关联，但骨子上都是"函数到函数的映射"。FUNCATTN以89.0%的准确率杰出了统统基线，包括特别为三维点云假想的PointNet++(74.4%)、DiffusionNet(85.1%)和Transolver(87.5%)。计议团队揣测，线性最小二乘求解允许注意力权重取负值，这种"对比才气"在细粒度分割中尤为进犯——它能明确区分周边类别，而softmax天生是正权重，只可作念"加权羼杂"，难以作念"主动区分"。

第四个测试场景测验的是散播外泛化才气，使用AirfRANS数据集（高精度Reynolds平均Navier-Stokes仿真）的两个难子集：OOD Reynolds（测试集含教化时未见过的雷诺数鸿沟）和OOD Angles（测试集含未见过的攻角鸿沟）。在OOD Reynolds上，FUNCATTN的升力统统相对流弊为23.4%，而最接近竞争敌手为32.2%，最初幅度达8.8个百分点；Spearman名次关系统统为99.4%，高于竞争敌手的98.7%。在OOD Angles上，流弊降至13.3%（竞争敌手22.8%），名次关系统统达99.7%（竞争敌手99.0%）。这阐发FUNCATTN学到的是物理场的"内在结构"，而非对特定参数鸿沟的挂念。

第五个测试场景是在复杂几何域上的PDE求解，使用带缺口的三角形域Darcy流问题。缺口尖端会产生犀利的局部特征，这对固定基的频域顺序极为不友好（dgFNO+的相对L2流弊高达7.82%）。FUNCATTN达到0.64%，比专为复杂几何假想的WNO顺序（0.92%）低30.9%，显流露自恰当基函数在处理非章程域时的上风。

第六个测试场景是零样本超分辨率：在2048点的Burgers方程数据上教化，奏凯测试到8192点（分辨率提高4倍），不作念任何微调。FUNCATTN的相对L2流弊为1.081×10??，优于FNO的1.195×10??、Galerkin的1.175×10??和Transolver的1.243×10??。这考据了FUNCATTN在函数空间层面操作带来的分辨率无关性。

七、恶果考量：线性复杂度与试验进展

说FUNCATTN好，也得说了了它的代价。计议团队提供了详备的缱绻复杂度分析和实验测速。

表面上，FUNCATTN的总复杂度是O(ndk + dk·min(k，d) + min(k，d)?)。当序列长度n很大时，主导项是O(ndk)，即对n是线性的。比拟之下，普通softmax attention是O(n?d)，平方增长。实验考据（在NVIDIA A40 GPU上，d=128， k=64，序列长度从128扫到16384）表露：当序列长度进步约4000时，FUNCATTN的运行技能和内存占用就脱手彰着优于普通attention；在序列长度16384时，FUNCATTN是当今统统对比顺序（包括Performer、Linformer、Nystromformer、Galerkin）中运行技能最短、内存占用最少的，差距随序列长度增大而不竭扩大。

对于基函数数目k的聘用，计议团队提供了详细的消融实验（在Elasticity、Darcy、Airfoil、Pipe、Navier-Stokes、Plasticity六个任务上测试了k=16到k=512的七个竖立）。论断是：k=64在统统任务上都是肃肃的默许值，与最优终结比拟流弊不进步5%。对于平滑场（Darcy、Pipe），k=32-64仍是实足；对于高频场（Elasticity、Navier-Stokes），k=128-256能带来罕见收益。络续增大k（如512）反而略微变差，可能是因为基函数过多导致过拟合，也会增多缱绻支出（k=512时推理技能约为k=64的5.5倍）。

对于转置投影与伪逆投影的聘用（将基矩阵Φ投影到Q/K/V上时，应该用Φ?如故(Φ?Φ)??Φ?？），实验表露：未正则化的伪逆会导致梯度爆炸，即使加了Tikhonov正则化的伪逆也会使后续矩阵求逆的条目数在教化初期飙升到4000以上（而转置版块弥远守护在10以内），最终精度还略低于转置投影。因此，计议团队聘用了更浅易肃肃的转置投影，并在附录中给出了详细的表面解释（两者在Φ正交时等价，在一般情况下转置投影对应缱绻内积?Φ_{:，j}， Q?，仍然是正当的函数空间示意）。

八、表面保险：FUNCATTN为什么不会"失控"

计议团队不闲适于实验终结，还花了尽头篇幅诠释FUNCATTN的表面性质。

起头是局部Lipschitz连气儿性。泛泛地说，这个性质保证了"输入稍稍动一下，输出不会剧烈抖动"——这是神经收集教化富厚性的基本要求。计议团队严格诠释了，当输入变化量为ΔX时，FUNCATTN的输出变化量闲适‖?A‖_F ≤ (C?/λ + C?/λ?)·‖ΔX‖_F，其中C?、C?是与输入范数和各层权重范数多项式关系的正常数。这阐发唯有λ>0，模子等于Lipschitz连气儿的，且Lipschitz常数由λ限度——正则化参数不仅是数值富厚性的器具，亦然表面富厚性的保险。

其次是与积分算子的等价性。计议团队通过蒙特卡洛积分近似的论证，诠释了FUNCATTN等价于在域Ω上的一个可学习积分算子，积分核为κ(g?， g?) = (ΦCΨ?)??。这意味着FUNCATTN不错被深切为对输入函数作念了一次"核顺序追思"，从而领受了积分算子框架的精粹靠拢性质。

第三个进犯的表面终结是FUNCATTN与Intention注意力机制之间的关系。Intention是2023年提议的一种基于正则化最小二乘的注意力机制，其公式为Q(K?K + λI)??K?V。计议团队诠释，当FUNCATTN的基函数Φ=Ψ选为放荡正交基（闲适Φ?Φ=ΦΦ?=I）时，FUNCATTN退化为Intention。这阐发FUNCATTN是Intention的严格实行——Intention是FUNCATTN在特殊基聘用下的特例，而FUNCATTN通过学习自恰当基函数获取了更强的抒发才气。

九、可视化洞见：AI到底学到了什么样的"基"

论文附录中有一组直不雅的可视化，值得单独先容。计议团队把不同模子学到的基函数（或等效的注意力形态）画出来进行比较。

FUNCATTN学到的基函数呈现出平滑的、局部化的激活形态，每个基函数对应输入域中的一个大约连气儿的区域，就像把一张舆图离别红多少自然区域，每个区域内的特征是相似的。这种平滑局部性相等得当示意物理场的区域结构。

Transolver的基函数则呈现出高度稀少的点状激活，多数能量靠近在少数几个洒落的点上，区域连气儿性很差。计议团队以为这可能收尾了Transolver示意平滑解场的才气。

当给FUNCATTN强制加上正交性不休后，基函数酿成了全局撑持的、雷同傅里叶形态的回荡函数，与固定傅里叶基相等相似。这印证了正交不休会把模子"推回"到经典谱顺序，失去了自恰当学习的风趣，也解释了为什么加不休反而变差。

这些可视化不仅是真谛的补充，也匡助计议者直不雅地深切了不同假想聘用的含义。

---

归根结底，FUNCATTN作念的事情不错用一句话概述：把AI注意力机制从"逐点打呼唤"升级为"用共同话语对话"。传统attention像是让两个生分东谈主相互查验对方的每一根头发，而FUNCATTN让他们先各自翻译成并吞种"数学话语"，再在这种话语层面找到最优的对应关系。这个蜕变带来的刚正是多方面的：缱绻量从平方增长降为线性增长，模子对分辨率变化愈加鲁棒，在少样本情况下泛化更好，在新的参数鸿沟上推断更准确。

自然，计议团队也坦诚地指出了这项职责的局限方位。自恰当基函数用的是相对浅易的softmax投影，更复杂的结构化假想大概能进一步栽植性能。表面上，FUNCATTN的靠拢流弊界（压缩比k/n与精度之间的量度）尚未严格确立，这是留给后续职责的进犯问题。另外，L1正则化（饱读吹稀少解）大概在某些利用中比Tikhonov正则化更合适，值得进一步探索。临了，把这套念念想用到自然话语处理这么"函数空间解释不那么奏凯"的规模，亦然一个真谛但未知的标的。

要是你是一位工程师，在用AI作念流体仿真、材料缱绻或者表象推敲，这项计议大概值得关注——它意味着相通的缱绻资源不错处理更邃密的网格，或者相通的网格不错作念出更准确的推敲。要是你仅仅对AI如何"深切"寰球感到意思意思，那么这项计议提供的视角也很启发性：AI不必非要把寰球打碎成无数个并立的点才能处理，它不错学着像数学家一样，在更抽象的"函数层面"念念考问题。成心思深入了解的读者不错通过编号arXiv:2605.31559v1查询齐全论文。

---

Q&A

Q1：FUNCATTN与传统Transformer注意力机制比拟，最中枢的区别是什么？

A：传统Transformer注意力机制（scaled dot-product attention）需要缱绻统统token两两之间的相似度，缱绻量随序列长度平方增长，且皆备残暴数据背后的函数结构。FUNCATTN则将注意力栽植到函数空间层面：先用可学习的基函数把输入压缩为紧凑的频谱统统，再通过最小二乘线性追思求解最优的函数空间映射算子C，临了通过逆变换还原输出。这么缱绻复杂度对序列长度变为线性，且模子能捕捉数据的举座函数结构，对分辨率变化也愈加鲁棒。

Q2：FUNCATTN在PDE求衔命务中的进展如何？

A：FUNCATTN在六个标准PDE基准中的五个达到最优，第六个与最优持平。与最接近的竞争敌手Transolver比拟，相对L2流弊降幅在6%到26.3%之间。举例Elasticity任务流弊从0.64%降至0.50%，Navier-Stokes从9.44%降至8.00%，Plasticity从0.13%降至0.11%。在散播外泛化（AirfRANS）测试中，FUNCATTN在OOD Reynolds和OOD Angles两个难子集上分别以大幅度最初统统对比顺序，显流露更强的物理章程泛化才气。

Q3：FUNCATTN中基函数的数目k应该若何选？

A：证据论文的消融实验世界杯官方滚球app下载安卓/苹果/手机版，k=64是适用于大多数任务的肃肃默许值，与最优终结比拟流弊不进步5%。对于解场较为平滑的问题（如Darcy流、管谈流），k=32到64仍是实足；对于含有高频特征的问题（如弹性变形、Navier-Stokes湍流），k=128到256能带来罕见的精度栽植。络续增大k（如512）反而可能略微变差（过拟合风险），同期显赫增多缱绻支出：k=512时推理技能约为k=64的5.5倍，而精度栽植聊胜于无。