在机器学习的发展进程中，K隔壁(KNN)、决策树(DT)、贝叶斯网络(BN)、支持向量机(SVM)等传统分类器都对手写数字识别产生了一定的影响力。

人工神经网络是基于物理构造的根本仿照人类大脑的一种打算模型，即利用打算机仿真的方法，从物理构造上仿照人脑,让系统具有人脑的某些功能。

基于智能优化算法的SVM在手写数字中的运用

支持向量机(SVM)是由VapnikV[7]等人于1995年提出的一种通用学习方法,成功通过核函数的思想把低维分类问题转变为高维空间线性分类问题，SVM基于潜在的构造性风险最小化原则和统计学理论根本。

成功通过核函数的思想将低维空间非线性分类问题转变为高维空间线性分类问题，SVM方法是在线性可分的情形下，通过最优分类面而提出的一种方法。

在非线性可分的问题上，设法通过非线性映射转化为另一个空间中的线性问题，求最优或广义最优分类面。

SVM不仅能够办理传统的二分类问题，还能处理现实中常常面临的多分类问题。
在求办理多分类问题时，首先布局出一系列的二分类问题，并建立相应的二分类机，核函数是SVM中主要的组成部分。

SVM在处理非线性问题的时候是通过核函数的思想把低维空间非线性分类问题转变为高维空间线性分类问题。
统计学理论指出，根据Hilbert-Schmidt事理，只要一种运算知足Mercer条件，它就可以作为累积利用。

当我们选择核函数的同时也不能忽略其核参数，选择不同的核函数其参数也不同，浸染也不同，纵然是选择相同的核函数。

将智能优化算法与SVM相结合的三个模型PSO+SVM、GA+SVM、SSA+SVM分别运用得手写数字分类实验中，紧张针对SVM中参数问题进行优化，将SVM与PSO算法结合建立PSO+SVM模型。

首先适应度函数设计为演习集与测试集的分类缺点率，同理基于GA算法，将SVM与GA算法结合建立GA+SVM模型。
首先适应度函数设计成演习集与测试集的分类缺点率；同理基于SSA算法，将SVM与SSA算法结合建立SSA+SVM模型。

首先适应度函数设计为演习集与测试集的分类缺点率。
在MNIST数据集下，分别打算四种常用的核函数在SVM中的分类准确率，选出其分类效果最好的核函数，并得到其稠浊矩阵。

选择不同的特色领悟方法会对分类效果产生主要的影响。
从特色提取方面的角度来看，当13点网格特色与小波系数特色并行领悟作为特色向量时，近年来干系极限学习机(ELM)的研究和扩展已有了高速的发展。

由于ELM模型大略、具有极快的学习速率和较少的人为干预，传统的基于梯度学习算法常日须要更多的演习样本和更长的学习韶光，每每会导致学习模型过拟合征象严重。

但众所周知ELM的学习速率慢，须要在运用中进行繁芜调度的参数等缺陷。
因此， 未来须要对该平台的这个功能进行补充，以支持在线对环境状态的赋值。

基于智能优化算法的KELM在手写数字中的运用

ELM采取的是履历风险最小化原则,演习的模型随意马虎产生过拟合征象。
在有限样本的情形下，从统计学的角度来看，履历风险最小化原则并不是令人满意的原则。
当LN时，即隐蔽层神经元个数小于演习样本的个数，此时I为LL单元矩阵。

当LN时，即隐蔽层神经元个数大于演习样本的个数，标准的ELM模型，但是当ELM的输入矩阵随机确定往后，可以看到ELM的单隐层恰好符合了一种非线性的显示映射。

在KELM的学习演习过程中，核函数的引入虽然替代了ELM隐蔽层参数的随机初始化，但选择什么类型的核函数在一定程度上会影响KELM的性能。

众所周知，为了让模型得到更好的分类精度和更强的稳定性，参数的选择十分关键。
关于如何才能得到最优的参数问题，常日来说有两种方法：第一种便是实验法，第二种是智能优化法。
将KELM与SSA算法结合建立SSA+KELM模型。

为了验证ELM及其干系模型在手写数字等分类性能的有效性，尤其是针对KELM中正则化参数和核参数的优化选择问题，构建了智能优化算法与KELM相结合的稠浊模型。
而神经网络对 于玩家的位置参数较为敏感，策略有差异影响智能体的效果。

随机选取MNIST演习集样本5000个和测试集样本2000个，USPS演习样本7291个，测试样本2007个。
在MNIST数据集下，设置以下实验参数：种群规模为20，最大迭代次数为50，正则化参数的取值范围C[0.01,30]，RBF核参数的取值范围[0.8,100]。

将SSA+KELM与无优化的KELM、PSO+KELM进行比拟。
随着隐蔽层节点个数的不断增加，ELM和RELM对应的演习集准确率和测试集准确率都有了明显提升，但是所花费的韶光也在不断增加。

SSA+KELM模型经由第8次迭代后可以快速达到最佳适应度函数值0.0515；而PSO+KELM模型在第12次迭代时可以达到最佳适应度函数值0.0645。

为了进一步直不雅观地反响出分类器的性能特点，统共打算了六类性能指标，分别为最佳适应度函数值、最佳参数组合、演习集均匀准确率、测试集均匀准确率，在实验三中加大样本数量，对SSA+KELM与无优化的KELM、PSO+KELM再一次进行了比较。

同理为了进一步直不雅观地反响出模型的分类性能，将这三种模型结果加以比较，卷积神经网络(CNN)是深度学习领域中一种强大的学习技能，CNN网络紧张是由输入层、卷积层、池化层、全连接层和输出层这5个基本部分构成。

由于CNN+SVM稠浊模型的设计，是基于深度学习CNN结合传统机器学 习分类器的一种思想，故也可以将SVM更换为其它传统分类器。

卷积层操作的示意图，输入样本的尺寸为NN3，对付输入的三维数据而言，卷积操作的本色便是一个步长为1、55卷积核的滑动滤波器进行卷积打算的全过程。

在全体CNN快速发展的进程中，按照韶光先后顺序以及依次递增的网络层数，相继推出了LeNet模型、AlexNet模型、VGGNet模型、GoogLeNet模型等，Alex等人在2012年ImageNet图像分类竞赛中所采取的AlexNet网络模型。

将1000类图像的Top-5分类缺点率从最初的26.172%降落到15.315%，由牛津大学VisualGeometryGroup实验组研究员们提出的一个VggNet模型，该模型共有16层网络构造，得到了2014年的ImageNet图像分类竞赛亚军。

ChristianSzegedy在2014年提出的一种全新的深度学习GoogLeNet模型的基本单元，采纳了多尺寸卷积再聚合的办法拓宽网络构造，为了更好的继续和发展CNN，在准确理解每种网络模型构造的搭建的根本上，学习和借鉴个中的思想是必不可少的。

由于LeNet5模型也存在一些不收敛、过拟合等问题，因此在深入剖析LeNet5模型的根本上，针对这些问题，设计了一种新的LeNet5+网络模型。
我们设定输入图像的尺寸是2828，且经由二值化处理后的手写数字图像。

对付改进的LeNet5+模型中各层参数设计，由于深度学习中CNN模型采取的是softmax分类器进行分类，但Softmax分类的结果只取决于输入特色的最大值，没有充分利用其它的特色。

网络模型是基于TensorFlow框架下利用python脚本措辞编写的神经网络，TensorFlow框架因此各数据流图为根本，为数值供应打算的一个深度学习的开源框架，本章实验分为两大类。

第一类是关于LeNet5+模型的仿真实验，由实验一到实验三组成，选择MNIST演习集样本60000个，测试集样本10000个。
为了验证LeNet5+模型的分类性能，在模型配置上选择利用Relu函数作为激活函数，丢失函数利用交叉熵丢失函数。

优化函数则利用Adam函数，在实验一中，激活函数包括两类：一类为传统的饱和非线性激活函数，紧张有Sigmoid函数和Tanh函数；另一类为更贴合生物学的不饱和的非线性激活函数，紧张有Relu函数。

在实验一中，对LeNet5+模型分别利用Sigmoid、TanH以及Relu函数，终极确定Relu函数作为该模型的激活函数，在实验二中添加Dropout层后，全体LeNet5+模型的识别率都有所提升。

不同取值下Dropout层的识别率大小，Dropout层在取值范围[0.2,0.6]之间，在实验三中，LeNet5+和LeNet5模型将从识别率和丢失偏差这两个指标来进行比拟，关于识别率方面，LeNet5+模型演习韶光须要463.51s，测试韶光须要2.37s，而LeNet5模型演习韶光须要494.38s，测试韶光须要2.52s。

总结

在极限学习机(ELM)方面，通过引入核函数的方法，把核函数与ELM相结合布局了KELM。
面对KELM中正则化参数和核参数选值问题，对深度学习中卷积神经网络(CNN)进行了研究和剖析。

对实现不同功能的网络模型进行了梳理，确定了基于手写数字识别的LeNet5+模型，只管本文提出的有关脱机手写数字识别的方法取得了不错的效果，但数字识别的道路远远没有结束。