这些AI模型的造诣预示着通用人工智能的曙光——一个曾经只存在于科幻小说中的观点。
然而,这些高等模型对打算资源的巨大需求,在本钱和资源花费方面都对科学家们提出了巨大寻衅,迫使他们寻求创新的办理方案以应对这些不断增长的问题。

量子+AI实用还需多久?_量子_变换器 文字写作

在一篇揭橥的博文中,Xanadu的科学家David Wakeham从量子机器学习(QML)和量子打算的视角出发,强调了将量子打算与天生式AI整合的潜力,以办理像GPT-4这样的大型措辞模型(LLM)面临的巨大打算瓶颈。

博文链接:

https://pennylane.ai/blog/2024/04/quantum_transformers/

让我们从涉及量子技能在人工智能领域的最直接论点开始谈论:打算瓶颈。

演习像GPT-4这样的大型措辞模型(LLM)本钱极高。
首先,我们须要整理大量文本,将其分割成D个不同的标记(即单词),然后通过繁芜的变换器(Transformer)架构进行处理。
这一架构涉及N个参数,是GPT等措辞模型的核心,我们须要在演习过程中通过梯度低落法对其进行更新。
全体演习过程大约包括nML∼6ND步,个中每个标记的每个参数大约须要进行6次浮点加法或乘法运算。

2月22日,揭橥在《Quantum》上的新研究证明,Transformer确实可以在大略的量子硬件上事情

论文链接:

https://quantum-journal.org/papers/q-2024-02-22-1265/

听说,GPT-4拥有大约N=1.76×10^12个参数,并且是在包含D=13×10^12个标记的数据集上进行演习的。
一个自然的打算单位是petaFLOP-millennium(或PF-millennium),即每秒10^15次浮点运算,连续运行一千年:

值得把稳的是,FLOP指的是“浮点运算次数”。
如果这些传言属实,那么GPT-4的演习大约须要4个PF-millennium。
为了比较,如果在普通条记本电脑上进行这项任务,将须要50万年。

这对付初创公司来说显然不是个可行的操持。
从对数尺度来看,这便是利用GPU与条记本电脑演习的韶光差异:

Sam Altman曾透露,这种规模的打算使公司丢失超过1亿美元。
只管GPT-4非常成功,且投资回报巨大,但对大多数企业来说,演习如此弘大的LLM的本钱仍旧高得令人望而生畏。

如今,无论是大公司还是小企业,都在积极探求这些耗资巨大的打算的可行替代方案。

一个可能的替代方案是量子机器学习。
在某些情形下,量子打算机能够以指数级速率减少打算所需的步骤数,因此自然引发了希望它们能帮助拓宽LLM演习的瓶颈的期待。

为了理解如何实现这一目标,我们首先须要将FLOP转换为相应的量子打算单位。
一种大略的方法是利用电路层操作数(Circuit Layer Operations per Second,简称CLOP),它实际上便是我们量子电路中的层数。

接下来,我们会将总CLOP数视为经典FLOP数的某个函数。
为了打算总韶光,我们可以估算每秒能实行的CLOP数。
这将取决于我们利用的量子打算机的类型,但为了简化问题,我们可以选择一个能够随意马虎估算每秒CLOP数的量子打算机。

正如Terry Rudolph所阐明的,对付基于物质的量子打算机,有一个基于海森堡不愿定性事理的大略方法。
教科书上提到,能量与韶光的不愿定性关系如下:

个中,ℎ=6.63×10^(-36)焦耳·秒是普朗克常数。
在量子打算的背景下,这可以被严格阐明为:如果利用一个能量分布为ΔE的哈密顿量将一个状态旋转到正交状态,至少须要ℎ/(4ΔE) 的韶光。

对付光量子打算机,我们不能利用ΔE来设定时间尺度,须要更细致地考虑架构。
对付超导量子比特、离子阱等,我们可以利用ΔE≈kBT,个中T是事情温度,kB≈1.38×10^(-23)焦耳/开尔文是玻尔兹曼常数。

CLOP(每秒的CLOP数)的公式为:

对付一个在10毫开尔文下运行的超导量子打算机,我们可以得到大约1吉赫的最佳CLOP数(只管实际设备可能因噪音等成分未能达到这一水平)。

因此,如果我们能用量子打算机演习一个与GPT-4规模相称的模型,并且实现了类似Grover搜索那样的“通用”二次加速,那么按假设打算,所需的CLOP数为:

这将对应于大约3小时的总演习韶光,而且这还未考虑到并行化!
比较之下,OpenAI用了三个月韶光和25,000个顶尖NVIDIA GPU完成演习。

以是,我们是否都该当转向研究量子变换器呢?这是一个值得寻思的问题。

在我们急于改变之前,我们应确保不是在用更快但更贵的办法更换掉既慢又贵的方法!

我们须要认识到,只有在参数规模足够大时,二次方(或其他多项式级别)的加速才显得有用,而“足够大”这一观点与每次基本操作的相对本钱密切干系。
通过GPT-4,我们可以估算出每次FLOP的本钱:

只管这种比较并不完备公正,但我们可以利用IBM的最大CLOP数(大约1500)和云做事的定价(每秒1.6美元),来推算每个CLOP的本钱大约为0.001美元,即十分之一美分。
接下来,考虑演习一个须要xFLOP的模型的经典(ML)与量子(QML)本钱,在多项式加速的指数为m的情形下:

当以下情形发生时,量子演习本钱更低:

对付一个超大规模数据集D约10^13和上述给出的每次基本操作的本钱,多项式加速m的量子演习具有本钱效益的条件是:

对付二次加速(m=2),我们须要的参数数量达到100万亿(比GPT-4大100倍)才能表示出本钱效益。

当然,随着量子打算机的规模增大、性能提升、运用遍及,每个CLOP的本钱也会相应低落。
如果cCLOP能减少一千倍旁边,那么演习GPT-4不仅会更快,本钱也会更低。
随着m的增加,本钱效益的临界值也会降落:对付较大的m值,纵然是在当前CLOP本钱下,利用量子打算机演习任何实际规模的LLM都将变得更经济;我们可能还须要更高的m值来抵消容错机制带来的额外本钱。

看起来我们已经找到自由之路:只要在算法上进行眇小的调度,量子打算机就能比经典打算机更快、更经济地演习大型措辞模型(LLM)。

但这里有一个遗憾的问题。
我们谈论的参数打算仅涵盖非嵌入参数,并未涵盖将单词、把稳力查询等元素嵌入到中间向量空间中的固定本钱。

为了简化问题,让我们将焦点放在“词嵌入”(word embedding)上。
在当代变换器中,词嵌入空间的维度约为d∼10^4,而在许多发起的量子变换器中,我们至少须要d个量子比特。
无论N多小,我们至少须要10^4个经由缺点校正的量子比特,才能摘取量子上风的低挂果实——这个数字令人望而生畏。

假设Hartmut Neven的定律成立,即缺点校正的量子比特数量每18个月翻一番(类似于摩尔定律)。
我们现在假设有一个缺点校正的量子比特,那么估量须要大约 18个月×log⁡2(104)≈20年18个月×log2(104)≈20年,我们才能利用当前技能为LLM进行词嵌入——20年后,传统方法可能已经无法知足需求。

当然,我们可以选择限定嵌入空间的大小。
但这里有两个问题:

a)纵然是过期的word2vec方法,利用d=640的维度,也须要大约14年韶光才能达到上述估计的量子比特数量;

b)正如最初的变换器论文所显示的那样,即便参数浩瀚,降落嵌入维度也会严重影响性能。
非嵌入参数虽然受到了广泛关注,但变换器的成功显然与嵌入的规模密切干系。

量子变换器在打算速率提升之前就会碰着这一瓶颈。
在未来5年内,我们有望实现大约30个逻辑量子比特,这看起来是一个实际的压缩目标。

办理嵌入问题彷佛很困难,但我们并不是从零开始。
振幅编码方法虽然只须要对数数量的量子比特,但其精确度远低于当代运用的需求。
然而,这些嵌入的架构哀求仍旧非常高。
这些性能和架构问题构成了瓶颈的一部分!

在另一个方向,量子机器学习(QML)现有的工具,如特色学习和量子核,供应了一种在指数级大的希尔伯特空间中隐式访问和嵌入数据的方法。
此外,变换器架构中至关主要的把稳层可以被视为查究法(kernel machine)的一部分,这表明我们的量子工具包可能让我们对变换器有更深的理解,这些都超出了我们的预期。

目前关于量子机器学习(QML)与变换器结合的研究正考试测验将经典变换器技能移植到量子领域,并寻求可能的量子加速。
如果上述数量级的剖析准确无误,它们表明任何形式的速率提升(如果可实现的话)都可能大幅缓解GPT-4等大型措辞模型(LLM)所面临的打算瓶颈。

然而,提速易实现性难。
当前,纵然是要演习或运行一个小型的LLM,我们也须要约10,000个量子比特来实行词汇和把稳力嵌入,这在可预见的未来内难以实现。
而且,到了那个时候,变换器可能会像之前的天生对抗网络(GAN)一样,逐渐被淘汰。

嵌入的瓶颈问题在于如何减少实行嵌入所需的量子比特数量,同时保留变换器架构的上风。
量子机器学习的现有先例和工具让这个问题变得可行;然而,这种焦点的转变也基于对量子打算不同的理念——不再是将量子打算机视为一个可任意扩展的通用上风机器,而是看作一个具有我们尚未完备理解的独特超能力的设备。

鉴于此,压缩嵌入(compressed embedding)应成为我们的研究重点,而非仅仅追求性能上风。

只管量子变换器的研究仍处于初期阶段,但它对AI的未来具有巨大潜力。
随着量子打算技能的不断成熟,可用的量子比特数量增加以及缺点率的降落,量子AI可能彻底改变多个行业。
这将使AI系统不仅更强大、更高效,还更加易于遍及,降落了小型实体进入高端AI技能领域的门槛。

总的来说,量子变换器代表了打算科学的一大飞跃,但这一探索之旅才刚刚开始。
量子力学与机器学习的结合有望重新定义机器的潜能,为未来的技能改造铺平道路。

参考链接:

[1]https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/

[2]https://quantumfrontiers.com/2023/06/21/what-is-the-logical-gate-speed-of-a-photonic-quantum-computer/

[3]https://pennylane.ai/qml/demos/tutorial_grovers_algorithm/

[4]https://www.scientificamerican.com/article/a-new-law-suggests-quantum-supremacy-could-happen-this-year/

[5]https://www.scientificamerican.com/article/quantum-computers-can-run-powerful-ai-that-works-like-the-brain/