什么是神经网络？

神经网络技能起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层

许多涉及智能、模式识别和物体检测的任务都极难自动化，但动物和幼儿彷佛可以轻松自然地完成。
例如，小孩子如何学会区分校车和公交车之间的差异？我们自己的大脑是如何在不知不觉中每天下意识地实行繁芜的识别任务的？我们是如何一眼就能区分猫与狗的？

我们每个人都包含一个现实生活中的生物神经网络，它与我们的神经系统相连——这个网络由大量相互连接的神经元（神经细胞）组成。

“人工神经网络”是一种试图模拟我们神经系统中的神经连接的打算系统。
人工神经网络也被称为“神经网络”或“人工神经系统”。
常日缩写人工神经网络并将它们称为“ANN”或简称为“NN”。

对付一个被视为神经网络的系统，它必须包含一个带标签的图构造，图中的每个节点都实行一些大略的打算。
从图论中，我们知道图由一组节点（即顶点）和一组将节点对连接在一起的连接（即边）组成。
不才图 中，我们可以看到此类 NN 图的示例。

一个大略的神经网络架构。
输入呈现给网络。
每个连接通过网络中的两个隐蔽层承载一个旗子暗记。
末了一个函数打算输出类标签。

每个节点实行一个大略的打算。
然后，每个连接将旗子暗记（即打算的输出）从一个节点传送到另一个节点，用权重标记，指示旗子暗记被放大或减弱的程度。
一些连接具有放大旗子暗记的正权重，表明旗子暗记在进行分类时非常主要。
其他的具有负权重，降落了旗子暗记的强度，从而指定节点的输出在终极分类中不太主要。
我们称这样的系统为人工神经网络

人工模型

让我们首先看看一个基本的神经网络，它对输入实行大略的加权求和。
值x 1 、x 2和 x 3是我们 NN的输入，常日对应于我们设计矩阵中的单行（即数据点）。
常数值 1 是我们的偏差，假定已嵌入到设计矩阵中。
我们可以将这些输入视为神经网络的输入特色向量。

一个大略的神经网络，它采取输入x和权重w的加权和。
这个加权和然后通过激活函数来确定神经元是否激活。

在实践中，这些输入可以是用于以系统的、预定义的办法量化图像内容的向量（例如，颜色直方图、定向梯度直方图、局部二进制模式等）。
在深度学习的背景下，这些输入是图像本身的原始像素强度。

每个x通过一个由w 1 , w 2 , ..., w n组成的权重向量W连接到一个神经元，这意味着对付每个输入x，我们也有一个关联的权重w。

末了，右侧的输出节点取加权和，运用激活函数f（用于确定神经元是否“触发”），并输出一个值。
以数学办法表达输出，常日会碰着以下三种形式：

• f ( w 1 x 1 + w 2 x 2 + ... + w n x n )

• f (∑ n i =1 w i x i )

• 或者大略地说，f ( net )，个中net = ∑ n i =1 w i x i

不管输出值如何表达，我们只是对输入进行加权求和，然后运用激活函数f

激活函数

最大略的激活函数是感知器算法利用的“阶跃函数”。

从上面的等式我们可以看出，这是一个非常大略的阈值函数。
如果加权和 ∑ n i =1 w i x i > 0，则输出 1，否则输出 0。

沿x轴输入值，沿y轴绘制f ( net )的输出，我们可以看到为什么这个激活函数由此得名。
当net小于或即是零时，f的输出始终为零。
如果net大于零，则f将返回 1。

左上角：阶跃函数。
右上角： Sigmoid 激活函数。
左中：双曲正切。
中右： ReLU 激活（深度神经网络最常用的激活函数）。
左下： Leaky ReLU，许可负数的 ReLU 变体。
右下： ELU，ReLU 的另一种变体，其性能常日优于 Leaky ReLU。

然而，虽然直不雅观且易于利用，但阶梯函数不可微，这可能会导致在运用梯度低落和演习我们的网络时涌现问题。

相反，神经网络更常见的激活函数是 sigmoid 函数它遵照以下等式：

sigmoid 函数是比大略阶跃函数更好的学习选择，由于它：

处处连续且可微。
环绕y轴对称。
渐近地靠近其饱和值。

这里的紧张优点是 sigmoid 函数的平滑性使得设计学习算法变得更加随意马虎。
但是，sigmoid函数有两个大问题：

sigmoid 的输出不因此零为中央的。
饱和神经元基本上会杀去世梯度，由于梯度的增量非常小。

直到 1990 年代后期，双曲正切或tanh（具有类似 sigmoid 的形状）也被大量用作激活函数：tanh的方程如下：

f ( z ) = tanh ( z ) = ( e z -e -z ) / ( e z + e -z )

所述的tanh函数零为中央，但是，当神经元变得饱和梯度仍旧杀去世。

我们现在知道激活函数有比 sigmoid 和tanh函数更好的选择。

f ( x ) = max (0 , x )

ReLU 也被称为“斜坡函数”，由于它们在绘制时的外不雅观。
把稳函数对付负输入是如何为零的，但对付正值则线性增加。
ReLU 函数是不可饱和的，并且在打算上也非常高效。

根据履历，在RELU激活功能趋于超越sigmoid 和tanh在险些所有的运用功能。
ReLU 激活函数比之前的激活函数家族具有更强的生物动机，包括更完全的数学情由。

截至 2015 年，ReLU 是深度学习中最盛行的激活函数。
然而，当我们的值为零时会涌现一个问题——不能采取梯度。

ReLU 的一种变体，称为Leaky ReLU许可在单元不活动时利用小的非零梯度：

我们可以看到该函数确实许可采取负值，这与将函数输出为零的传统 ReLU 不同。

Parametric ReLUs，或简称 PReLUs，建立在 Leaky ReLUs 的根本上，许可参数α在一个激活的根本长进修，这意味着网络中的每个节点都可以学习与其他节点分开的不同“系数”。

末了，我们还有(ELU)勉励函数 。

α的值是常数，并在网络架构实例化时设置——这与学习效率α 的PReLU 不同。
对付一个范例的值α是α = 1 。
ELU 常日比 ReLU 得到更高的分类准确率。

具有 3 个输入节点、具有 2 个节点的隐蔽层、具有 3 个节点的第二个隐蔽层以及具有 2 个节点的终极输出层的前馈神经网络示例。

利用哪个激活函数？

鉴于最近深度学习的遍及，激活函数涌现了干系的爆炸式增长。
由于激活函数的选择数量浩瀚，当代（ReLU、Leaky ReLU、ELU 等）和“经典”（step、sigmoid、tanh等），它可能看起来令人生畏，如何来选择得当的激活函数。

然而，在险些所有情形下，建议从 ReLU 开始以得到基线准确度。
从那里可以考试测验将标准 ReLU 换成 Leaky ReLU 变体。

前馈网络架构

虽然有许多神经网络的前馈架构，最常见的构造是Feedforward网络

在这种类型的架构中，节点之间的连接只许可从第i层的节点到第i +1层的节点。
不许可向后或层间接连接。
当前馈网络包括反馈连接（反馈到输入的输出连接）时，它们被称为循环神经网络。

我们专注于前馈神经网络，由于它们是运用于打算机视觉的当代深度学习的基石。
卷积神经网络只是前馈神经网络的一个特例。

为了描述一个前馈网络，我们常日利用一个整数序列来快速简洁地表示每一层的节点数。
例如，上图中的网络是一个3-2-3-2前馈网络：

第 0 层包含 3 个输入，即我们的x i 值。
这些可能是图像的原始像素强度或从图像中提取的特色向量。

第 1 层和第 2层分别是包含 2 个和 3 个节点的隐蔽层。

第 3 层是输出层或可见层——在那里我们可以从网络中得到整体输出分类。
输出层常日具有与类标签一样多的节点；每个潜在输出一个节点。
例如，如果我们要构建一个神经网络来对手写数字进行分类，我们的输出层将包含 10 个节点，每个节点代表0-9。

神经网络有什么用？

当然，如果利用适当的架构，神经网络可用于监督、无监督和半监督学习任务。
神经网络的常见运用包括分类、回归、聚类、矢量量化、模式关联和函数逼近等等

事实上，对付机器学习的险些每个方面，神经网络都以某种形式得到运用。

1、无人驾驶汽车

无人驾驶利用到了很多人工智能方面的技能，个中一个打算机视觉便是利用CNN卷积神经网络让无人驾驶能够看到路面路况等

2、人脸识别

人脸识别的运用就比较广泛了，手机人脸解锁，人脸付款，人脸打卡等

3、机器翻译

随着人工智能学习能力的不断提升，机器翻译的准确性得到了大幅提高

4、声纹识别

生物特色识别技能包括很多种，除了人脸识别，目前用得比较多的还有声纹识别。
声纹识别是一种生物鉴权技能，也称为说话人识别，包括说话人辨认和说话人确认。

声纹识别的事情过程为，系统采集说话人的声纹信息并将其录入 数据库 ，当说话人再次说话时，系统会采集这段声纹信息并自动与数据库中已有的声纹信息做比拟，从而识别出说话人的身份。
声纹解锁APP，掌握智能家居等等

5、AI智能机器人

机器人的发展经历了漫长的发展，随着人工智能技能的发展，给机器人加上了智能的翅膀

6、智能家居

智能音箱，智能冰箱，洗衣机，空调，电视等等，随着人工智能技能的发展，现在的家庭家居貌似没有点人工智能的点缀，便不好意思立足家居行业

7、推举系统

大量的数据喂给人工智能，给人带来了更多的便利推举，个性化推举系统广泛存在于各种网站和App中，实质上，它会根据用户的浏览信息、用户基本信息和对物品或内容的偏好程度等多成分进行考量，依托推举引擎算法进行指标分类，将与用户目标成分同等的信息内容进行聚类，经由协同过滤算法，实现精确的个性化推举。

8、图像搜索

大量浏览器中的相似图片搜索，该技能的运用与发展，不仅是为了知足当下用户利用图像匹配搜索以顺利查找到相同或相似目标物的需求，更是为了通过剖析用户的需求与行为，如搜索同款、相似物比对等

9、大康健

未来医疗，大康健行业会越来越多地走入人类的生活，未来随着智能AI的加入，相信人类会提前预测自己的疾病，给人类带来更加美好的来日诰日。

以上等等都会利用到人工智能的神经网络技能，就像人类一样，未来的机器会越来越多的有自己的神经网络，也会越来越聪明。