英伟达最大的不确定性，在很少人关注的角落里！

ansformer遭遇的难题

同时，Toews声引述，Transformer妥善处理的句子大小局限，已有的工具大都用于截断的手段，这则会造成反馈损失，因此如何做到宽重构的未及操练是现在的来得有难题。

而这场AI军备竞赛毕竟还将持续下去，如果 OpenAI、Anthropic或任何其他Corporation继续用于Transformer的系统，那么它们静态的重构碱基大小则会局限。

Toews声引述，人们已经完成了各种试图来来得另行Transformer的系统，仍然用于重心的系统，但能够来得极低地妥善处理宽碱基。然而，这些改进后的Transformer的系统（如Longformer、Reformer、Performer、Linformer和Big Bird）通常则会牺牲一小机动性，因此未有获得采用。

Toews凸显，没有一样表象则会是平庸的，历史的其发展也不则会走到脚步，尽管Transformer在过去囊括绝对的优势权威，但它也并非没有缺点，而这些缺点为另行的的系统打开了大门。

“王位”单打独斗者出现了？

Toews视为，过去寻找可以替代“Transformer”的的系统成了最有其发展前景的应用领域，而其中都的一个分析工具方向是用一种另行的函数替代重心的系统。包括Hyena、Monarch Mixer、BiGS、MEGA等设想了用Subquadratic工具来降低浮点log，下降算力效益。

Toews凸显，斯坦福和Mila的分析工具人员设想了一种名为Hyena的另行的系统，具有代替Transformer的其发展前景，它是一种无重心、卷积的系统，可以最简单重心静态的运动速度，同时可以降低量化成本。在次二次多项式NLP训练任务上平庸出色：

据引述，Hyena可降至与GPT-4同等的精确度，但用于的算力比后者下降了100倍。这是第一个能够在总FLOPS下降20%的只能与GPT运动速度相最简单的无重心的系统，具有成为图像分类的通用浅层研修浮点符的其发展前景。

Toews表示，非常需要注意的是，本来的“Hyena”分析工具是在相对于小的为数下完成的。最小的“Hyena”静态具有13亿个值，而GPT-3有1750亿个值，而GPT-4据说降至1.8万亿个值。因此针对“Hyena”的系统的一个关键测试将是，在将其扩展到当前“Transformer”静态为数的只能，它有否能继续平庸出强大的机动性和效率提升。

Toews视为，而氮气神经网路是另一个具有替换“Transformer”其发展前景的的系统。麻省理工学院的两名分析工具人员从非常大的玲珑隐杆线虫（Caenorhabditis elegans）中都汲取灵感，揭示了所谓的 “氮气神经网路” （liquid neural networks）。

据引述，氮气神经网路不仅低速来得较慢，而且极度稳定，这显然系统可以妥善处理大量的输出而不至于无法控制。

Toews视为这种较小的的系统显然氮气神经网路比“Transformer”愈发乳白色且来得容易人类文明理解：

也许，对于人类文明来说，来得容易解释具有253个连接的网路发生了什么，而不是具备1750亿个连接的网路。

当的系统慢慢改进，逐渐下降了对算力的依赖于，有否也显然则会对愿景英伟达的产品销售产生制约？

可能性提示及举例条款

市场需求有可能性，投资额需谨慎。本文不看成自已投资额提议，也未考虑到个别浏览器独有的投资额目标、财务状况或非常需要。浏览器应考虑本文中都的任何意见、观点或论证有否不符其特定状况。据此投资额，责任自负。

。

苏州皮肤病医院挂号
杭州看男科去哪个医院
颈肩腰腿痛用什么药好
米氟来特片是什么药
心肺复苏模拟人