人工智能与深度学习的三个问题

韶光：演习一个 CNN 或 RNN 常日须要数周的韶光。
这还不算上为了达到所需的性能表现，花在定义问题以及编程深度网络时迭代成败上的数周乃至数月的韶光。

本钱：数百块 GPU 连续数周的打算本钱高昂。
从亚马逊云打算做事中租用 800 块 GPU 一周的韶光花费在 120,000 美元。
这还没开始算上人力本钱。
完成一个 AI 项目每每须要要占用最精良人才数月、一年甚或更多的韶光。

数据：由于缺少足足数目标标注数据而使项目无法展开的情形比比皆是。
由于无法以合理的价格获取演习数据，很多好创意被迫放弃。

因此，取得较好商业表现的多是图像处理、文本和语音识别，并且那些借力谷歌、IBM、微软和其他巨子的初创企业成果更多。

通向未来人工智能的三条赛道

如果你关注这一领域就会创造，我们已经利用 CNN 和 RNN 做了一些运用，但是超越这些运用的进展才刚开始。
下一波的进展来自天生对抗网络和强化学习，并得到了问答机器（比如沃森）的一些帮助。
我们最近的一篇文章对此作了很好的总结（详见：人工智能的三个阶段：我们正从统计学习走向语境顺应）。

这是一个有关如何推动人工智能发展的最常见版本。
这这天益繁芜的深度神经网络，它与现在的 CNN 和 RNN 有着不同的架构。
仅仅是让它们运行更快。

实际大将来可能相称不同。
现在展现在我们面前的是基于完备不同技能的通向未来人工智能的三条赛道。
它们是：

1. 高性能打算（HPC）

2. 神经形态打算（NC）

3. 量子打算（QC）

个中，高性能打算是本篇文章关注的焦点。
芯片制造商以及以及谷歌等巨子正在开展竞争，争相打造深度学习专用芯片

其余两个，神经形态打算（也被称为脉冲神经网络）和量子打算看起来彷佛还须要几年。
但事实是商用神经形态芯片和商用量子打算机已投入运用于机器学习之中。
不管两者是冷是热，神经形态打算和量子打算都会使人工智能的未来之路变得更扑所迷离，但这是一件好事。

高性能打算（HPC）

高性能打算关注度最高。
它利用我们已知的深度神经网络架构，并使其更快更随意马虎被获取。
常日这意味着两件事：更好的通用环境，比如 TensorFlow；更多地利用更大数据中央中的 GPU 和 FPGA，大概不久之后会涌现更专业化的芯片。

现如今人工智能的新商业模式是「开源」。
2016 年上半年，人工智能的每一个紧张玩家都开源了其 AI 平台。
这些竞争者在数据中央、云做事、人工智能 IP 上进行了大量投资。
开源背后的策略很大略：平台用户最多者得胜。

同时，英特尔、英伟达及其他传统芯片制造商也正积极知足用户对付 GPU 的新需求，其他巨子如谷歌和微软则自己开拓了全新的专属芯片，从而使其深度学习平台更快，更具吸引力。
连同新近推出的 TPU，谷歌铁定了要把 TensorFlow 作为其主打的通用型办理方案。
微软则在兜售非专属芯片 FPGA 的利用，并发布了 CNTK 2.0 完全版；它供应了 Java API 可直接整合 Spark，同时支持 Keras 代码。
据称 CNTK 比 TensorFlow 更快更精确，且也供应 Python API。

整合 Spark 将持续成为一个主要的推动力。
雅虎已实现了 TensorFlow 与 Spark 的整合。
Spark 的紧张商业供应商 Databricks 现在有其自己的开源工具包，以把深度学习与 Spark 相整合。
这里的关键驱动力将至少办理三个障碍中的两个。
这些进展将会使编程更快更大略，从而带来更可靠的结果，尤其是更快速的芯片将会使机器打算的原始韶光变的更短。

问题是这些提升将会帮助我们到那一步（这和摩尔定律的局限性很像），是否可用于 GAN 和强化学习；答案很可能是，至少在本日我们知道如何利用这些深度学习架构。

神经形态打算（NC）或脉冲神经网络（SNN）

神经生态打算或脉冲神经网络是通向强人工智能的一条路径，它基于一些大脑运行的事理而设计，与深度神经网络的构造和事理有显著的不同。

神经形态打算最开始是由研究者创造大脑神经元并不是每一次都全部激活而启示。
神经元将选择性旗子暗记沿着突触传播，并且数据实际上因此旗子暗记的潜在脉冲办法传播。
实际上，这些旗子暗记是由一系列脉冲组成，以是研究者对信息是否编码在一系列脉冲的振幅、频率或延迟中做进一步磋商。

在现有的深度神经网络中，神经元根据相对大略的激活函数（如 Sigmod 或 ReLU 等）每一次都会全部激活。

神经形态打算相对付深度神经网络已经展示了一些巨大的提升：

由于并不会每一次都激活所有的神经元，以是大<单个 SNN 神经元可以替代传统深度神经网络中的数百个，因此在能效和规模上都有更高的效率样本。

早期案例展示了脉冲神经网络可以仅利用无监督技能（无标注）从环境中学习，而少量的样本可以令它们学习非常迅速。

神经形态打算可以从学习一个环境泛化到另一个环境，它能够影象并且泛化，这真的是一个打破性的能力。

由于神经形态打算能效非常高，以是可以进行小型化。

以是转变这种根本架构能够办理深度学习如今面临的三个根本问题。
更主要的是，如今我们能够购买和利用神经形态脉冲神经网络系统。
这并不是迢遥未来的一个技能。

BrainChip Holdings (Aliso Viejo, CA) 已经在拉斯维加斯最大的赌场运用了商业安防监控系统，并且它流传宣传还有一些其他运用也已经交付。
在拉斯维加斯，该系统的功能便是通过标准摄像头的***流自动监控 dealer 的缺点。
该系统完备通过不雅观察学习游戏规则。
BrainChip 表明它的 SNN 有 IP 专利保护，并借此推出了一系列赌钱监控产品。

现如今有很多科技进步，但 SNN 是开拓 AI 商业系统很有竞争力的选择。

量子打算

可能读者对量子打算并没有如下认识：

量子打算如今是可用的，Lockheed Martin 从 2010 开始就已经从事干系的商业运作。
还有其他几家公司都在推出基于 D-Wave 量子打算机的商业运用，D-Wave 的量子打算机是第一个发展的商业市场。

今年五月，IBM 声称他们的量子打算机 IBM Q 现在已经可以投入商业中。
在这是一种基于云真个订阅做事，它无疑将大大简化对这些昂贵且繁芜的机器的访问。
IBM 表示截止到目前，用户已经在 IBM Q 机器上进行了 30 万次实验。

谷歌和微软操持在两三年内发布他们的商业化量子机器，并全体作为独立的研究学术机构。

D-Wave 和其他一些独立的研究者已经引进了量子打算机的开源编程措辞，他们希望可以对量子打算机编程更加随意马虎。

量子打算机善于于办理现有所有类型的优化问题，包括整套基于随机梯度低落的各种算法。
量子打算机也很随意马虎仿照受限玻尔兹曼机，它是很多深度神经网络架构中的一个，并且还可以用于深度学习构造中以像 CNN 那样办理图像分类问题。
由于根本架构不一样，以是我们称其为量子神经网络（QNN）。

根据谷歌基准 2015 年的研究报告，D-Wave 量子打算机相对付传统打算机性能要精良 108 倍，也即快 1 亿倍。
谷歌工程主任 Hartmut Nevan 说：「D-Wave 在 1 秒中所做的，传统打算机须要花 1 万年打算」。

以是量子表征仍旧是第三条通向强人工智能的道路，它同样战胜了速率与本钱问题。

三条道路

事实是神经形态打算和量子打算都是很有潜力的方向，它们都有可能令深度学习乃至是新型人工智能更快地运行。

首先是韶光线。
高性能打算如今正在持续发展，并在接下来几年都基于前面先容的新型芯片而得到性能上的持续发展。
然而，随后几年很大一部分实验室和数据中央都会由更前辈的量子打算机和神经形态打算所替代。

像谷歌 TensorFlow 和微软 Cognitive Toolkit（CNTK）那样的深度学习平台正在发展，而其他竞争对手也在努力构建平台并得到用户。
因此随着量子打算和神经形态打算的能力得到传播，这些平台都会适应它们。

神经形态脉冲神经网络（SNN）和量子打算现在仅仅在商业上涌现，但它们都会授予人工智能非凡的能力。

SNN 有希望成为强大的自学习者。
通过更小的非标注演习集以及不同领域之间的知识迁移能力，极大地提升了效率。

量子打算机将彻底肃清韶光障碍，本钱障碍终极也将降落，基于韶光的办理方案从数月缩短至数分钟。
主要的是当前利用的学习风格被称作增强型量子打算，由于它是基于当前的深度学习算法，并提升了其性能。
然而将来会涌现基于完备不同能力（为这些机器所独占）的全新类型的机器学习。

我的个人觉得是在量子打算和神经形态打算上，我们现在的处情和 2007 年很像，那一年谷歌的 Big Table（译者注：谷歌设计的分布式数据存储系统，用来处理海量数据的一种非关系型的数据库）变成了开源的 Hadoop。
一开始我们确实不知道怎么对待它，但是三年之后 Hadoop 险些主导了全体数据科学。
我认为从本日开始，下一个三年也同样令人惊奇。