AlphaGo降服了人类最强棋手，但条件是它先学会了人类棋谱，离不开人类辅导。

接着谷歌又推出了AlphaGo Zero，只让AI知道围棋规则，从零开始学下棋，结果再次登上棋艺顶峰。

AI既然能从零学习围棋，是否可以从零开始摸索机器学习算法？当然可以，谷歌大脑团队最新的研究成果已经做到了。

谷歌将这种技能称之为AutoML-Zero，意为“从零开始的自动机器学习”，已经在GitHub开源，并在Arxiv上提交了论文。

而且这一研究还是来自谷歌大脑的Quoc V.Le大神之手。

AutoML-Zero仅利用基本数学运算为根本，从一段空程序开始，即可自动创造办理机器学习任务的打算机程序。

AutoML是一种实现从数据集到机器学习模型的自动化方法，让你无需博识专业知识，就能自动支配ML模型。

虽说是自动，但现阶段的AutoML还要对搜索空间进行很大的限定，这使我们在利用AutoML的时候仍旧须要一些专业知识去设计神经网络的层。

谷歌的目标是让AutoML可以走得更远，仅仅利用基本的数学运算作为构建块，就可以自动创造完全的机器学习算法，进一步降落机器学习的门槛。

只管AutoML-Zero巨大的搜索空间充满寻衅性，但进化搜索还是能创造具有梯度低落的线性回归算法、具有反向传播的二层神经网络。

值得把稳的是，可以AutoML-Zero的进化过程也是一个不断“发明”的过程阐明进化的算法，它已经找到了双线性交互、权重均匀、归一化梯度、数据增强等技能，乃至在某些情形下还创造了类似Dropout的算法。

下面我们先来看看，AutoML在CIFAR-10的二元分类任务上是如何一步步进化的。
它首先创造了线性回归，然后找到了丢失函数、梯度低落。

随着演习的进行，涌现了随机学习率、随机权重、激活函数ReLU、梯度归一化，末了得到了84.06 ± 0.10%精确率的终极算法。

只演习一个二元分类结果还不太具有说服力，作者又用3种极度情形稽核了Auto ML。

首先，当样本数量很少的时候，在80个样本上运行100个epoch。
AutoML竟然进化出另一种适应性算法，给输入数据加上了噪声，并开始利用Dropout来演习模型。

在快速演习的情形下，只有800个样本和10个epoch，结果导致学习率衰退反复涌现，这是一个我们在快速演习演习机器学习模型中常见的策略。

至于多类别的分类问题，作者利用了CIFAR-10数据集的所有10个类。
AutoML进化算法有时会利用权重矩阵的变换均匀值作为学习速率。
乃至作者也不知道为什么这种机制会更有利于多类任务，虽然这种结果在统计学上是显著的。

上面的所有测试全体过程中，人类没有见告程序任何先验的机器学习知识。

现在谷歌将AutoML-Zero的程序提交到GitHub，普通电脑只需5分钟就能体验一下它的实际效果。

安装好Bazel后，将代码***到本地，运行个中的demo程序：

gitclonehttps://github.com/google-research/google-research.gitcdgoogle-research/automl_zero./run_demo.sh

这个脚本在10个线性任务上运行进化搜索。
每次实验后，它都会评估在100个新的线性任务中创造的最佳算法。
一旦算法的适应度大于0.9999，就选择该算法作为终极结果，将代码打印在屏幕上。

在普通电脑上利用CPU在5分钟内就能创造类似于梯度低落进行线性回归的程序：

found: found:defSetup():s3=-0.520936s2=s2s3s2=dot(v1,v1)v2=s2v1s2=s3s2v1=s0v2s2=s0-s3s2=-0.390138v2=s2v0s1=dot(v1,v0)defPredict():s2=-0.178737s1=dot(v1,v0)defLearn():s1=s1s2s3=s3s2s2=s0s2s1=s1-s2v2=s1v0v1=v2+v1v2=s3v0v1=v2+v1

由人工设计的ML算法是，有兴趣的话，你可以比较这两段程序的差异。

defSetup():s2=0.001#Initlearningrate.defPredict():#v0=featuress1=dot(v0,v1)#ApplyweightsdefLearn():#v0=features;s0=labels3=s0-s1#Computeerror.s4=s3s1#Applylearningrate.v2=v0s4#Computegradient.v1=v1+v2#Updateweights.关于作者

这篇文章的四位作者分别是：Esteban Real、Chen Liang、David R. So以及谷歌大脑的大神Quoc V.Le。

前两位都是有物理背景的博士生。
Esteban Real毕业于哈佛大学，拥有物理学士学位和神经科学博士学位。
他的研究方向是视网膜的神经编码。

Chen Liang毕业于北京大学物理系，之后得到了西北大学的人工智能和机器学习博士学位，现在是谷歌大脑的一名研究员，研究方向是强化学习、NLP和AutoML。

传送门

论文地址：https://arxiv.org/abs/2003.03384

GitHub地址：https://github.com/google-research/google-research/tree/master/automl_zero

— 完 —

量子位 QbitAI · 号签约

关注我们，第一韶光获知前沿科技动态