transformer 是 ChatGPT 等人工智能工具背后大措辞模型的根本。
在 11 月 1 日提交给 ArXiv 的一篇新论文中，三名作者 Steve Yadlowsky、Lyric Doshi 和 Nilesh Tripuraneni 写道：“当任务或功能须要超出预演习数据的范围时，transformer 涌现了各种故障模式，创造纵然是大略的任务外延也会降落它们的归纳能力。
”

根据这篇论文的说法，深度神经网络 transformer 所善于的是实行与演习数据干系的任务，并不太善于处理超出这个范围的任务。

对付那些希望实现通用人工智能（AGI）的人来说，这个问题不容忽略。
通用人工智能是技能职员用来描述可以完成任何人类所干工作的假想人工智能。
就目前而言，人工智能非常善于实行特界说务，但不像人类那样能跨领域转移技能。

华盛顿大学打算机科学与工程名誉教授佩德罗・多明戈斯（Pedro Domingos）表示，新研究意味着“在这一点上，我们不应该对即将到来的人工智能过于猖獗。
”

人们将 AGI 吹捧为人工智能领域的终极目标，从理论上讲，其代表着人类创造出与自己一样聪明或比自己更聪明的东西。
许多投资者和技能职员都在为此投入大量韶光和精力。

本周一，OpenAI 首席实行官萨姆・奥尔特曼（Sam Altman）就与微软首席实行官萨蒂亚・纳德拉（Satya Nadella）共同登台，重申了他关于“互助打造 AGI”的愿景。

实现这一目标意味着让人工智能完成许多人类大脑可以完成的归纳性任务，包括适应不熟习的场景、创建类比、处理新信息以及抽象思维等等。

但是，正如研究职员指出的那样，如果这项技能连“大略的任务外延”都难以实现，那么显然我们离目标还很远。

普林斯顿大学打算机科学教授阿尔温德・纳拉亚南（Arvind Narayanan）在社交媒体平台 X 上写道：“这篇论文乃至与大措辞模型无关，但彷佛是冲破集体信念泡沫的末了一根稻草，让许多人接管了大措辞模型的局限性。
”“该是复苏的时候了”。

英伟达高等人工智能科学家 Jin Fan 质疑为什么这篇论文的创造会让人们感到惊异，由于“transformer 本来就不是灵丹灵药”。

多明戈斯表示，这项研究凸显出，对付一项被吹捧为通向 AGI 之路的技能潜力，“很多人都感到非常困惑”。

他补充说：“这是篇刚刚揭橥的论文，有趣的是谁会感到惊异，谁不会感到惊异。
”

虽然多明戈斯承认 transformer 是一项前辈的技能，但他相信很多人认为这种深度神经网络比实际要强大得多。

他说：“问题是神经网络非常不透明，而且这些大措辞模型都是在弗成思议的大量数据上演习的，这让很多人对它们能做什么和不能做什么感到非常困惑。
”“他们开始总认为自己可以创造奇迹。
”

更高等的人工智能可能会在归纳概括方面做得更好。
谷歌研究职员在研究中利用的是 GPT-2 比例模型，而不是更主流的 GPT-4 比例模型。

人工智能初创企业 Lamini AI 首席实行官莎朗・周（Sharon Zhou）认为，她自己并不以为 transformer 很难归纳概括是个问题。

“这便是为什么我创办了一家演习模型的公司，而不仅仅是向它们提问，这样它们就能学到新东西，”她说。
“它们仍旧非常有用，仍旧可以勾引和调度。
”

本文源自IT之家