作者 | 未来论坛

编辑 | 蒋宝尚

AI技能，特殊是机器学习和强化学习方法，基于实验或者打算产生的数据对所求解的问题进行可打算建模，从而得到繁芜问题的有效办理办法，这对当今科学打算领域的研究范式已经产生了巨大影响。

与此同时，以深度学习为代表的AI在内部机理、数学理论、根本算法等方面尚不清楚、不完善，AI方法的稳健性、精确度等尚缺少严格的数学论证，这正对其进一步发展造成严重阻碍。
然而，结合机理的思维办法将有可能对面向数据的AI技能，供应新的洞见与研究路子。

2020年5月9日，在未来论坛青创同盟YOSIA Webinar中，开展了AI+科学打算的主题谈论，共有五位高朋揭橥演讲，从AI for Scientific Computing和Scientific Computing for AI两个不同的视角进行前沿谈论。

个中来自北京大学的杨超教授做了题目为“浅论超级打算、人工智能与科学打算的领悟发展”的报告。
在报告中杨老师先容到：科学打算和超级打算之间相互促进、共同发展的闭环已经形成了几十年了，人工智能近年巨大的成功为科学打算带来了新思路、新方法、新工具，而科学打算的严谨体系则有助于提升现有人工智能技能的可阐明性。

其余，杨老师还以求解偏微分方程举例解释了神经网络这一工具为科学打算带来的帮助，并阐述了超级打算、科学打算、人工智能从模型、算法、软件、硬件多方位领悟发展的不雅观点。

编者：感谢杨超教授对本文的审核与校正。

从主流的科研范式来看，认识天下创造天下的三种最紧张的科研手段是实验、理论和打算，最近十来年随着数据科学的兴起，基于数据的科学创造被认为是第四种主要的科研范式。
而环绕打算和数据有三个非常独立但又相互关联很大的方向，超级打算、科学打算和人工智能。

从打算科学出身之初，超级打算和科学打算的关系已经建立起来。
它们之间的关系可以概括为：超级打算是支撑科学打算发展的主要工具，为了支撑科学打算的发展，科学打算作为需求牵引、拉动超级打算机性能不断提升。

早在电子打算机出身之前，超级打算的思想抽芽就已产生，个中一个代表性的事情是英国数学家理查德森1922年提出来“预报工厂”的观点，这个观点被称为“理查德森之梦”。

为什么说是一个梦？由于1922年当时没有电子打算机，他提出的“预报工厂”紧张用于预报景象。
众所周知，景象预报是科学打算领域最有代表性一类运用。
预报工厂包括64000台Human Computers，每台“打算机”由一个人完成干系打算。
预报工厂中还有专人用旗子暗记灯指挥不同的“打算机”进行数据交流。

“预报工厂”的打算目标是大气，把打算区域分成64000个部分，每个人卖力一块，大家分别打算，并有人去折衷指挥，这实在表示了早期人们畅想超级打算的一种朴素思想。

随着天下第一台电子打算机ENIAC的问世，理查德森之梦终于得以实现，ENIAC重达几十吨，占地面积非常大，并且耗电惊人。
听说每当ENIAC开机的时候，全体费城的灯都暗了。
1950年，冯诺伊曼和他的助手改造了ENIAC的可编程性，并在这个根本上编写了天下上第一个景象预报程序，成功完成了24小时预报，实现了理查德森之梦，也成为了科学打算的发达发展的一个主要开端。

如今，历经几十年的发展，超算已经在科学打算的方方面面，例如航空、航天、景象、能源、材料、安全、天文等领域中发挥了不可取代的支撑浸染。
2013年美国能源部曾经统计过一些范例的科学打算运用中的打算需求，这些打算需求即便放在本日来看仍旧是很大。

在科学打算巨大需求的牵引之下，超级打算机的打算性能按照“十年千倍”的速率迅猛攀升。
我们都知道摩尔定律，摩尔定律的是说个人打算机的性能提升速率是每18到24个月性能翻一番，而超级打算机可以达到每年性能翻一番，“十年千倍”的发展速率。

现在超算发展的一个主要趋势是：异构众核，即同一个别系有不同类型的打算核心，而且每个芯片上要集成大量的打算核心。
为什么会沿着异构众核趋势发展？

实在这与打算需求关系不大，更多的是超级打算发展本身的技能条件限定作成的。
现在所有的超级打算机都是基于冯诺伊曼体系构造，冯诺伊曼体系构造的“算”-“存“分离特性会导致现有工艺下，为了知足打算需求，能够选择的设计方案十分有限。
这样的系统现在越来越多，同一个别系有很多打算核心，而且打算核心还不一样，从设打算法和研究软件角度来说面临很大寻衅。

例如求解偏微分方程的经典并行算法——区域分解算法，该算法一样平常假定每个子区域该当是大致相同，而且知足一些数学上的条件，例如子区域应具有凸性和的单连通性等。
在异构系统上，这些条件假定已经难以成立，须要从思想上打破传统算法的约束。

对此，我们提出了一套异构区域分解算法，在传统的区域分解思想根本上，对每个子区域进行第二次切分，切分时打消掉之前理论上的假定，包括凸区域、单联通区域之类的约束，目标便是要与现有的异构系统硬件配置相适配。

虽然理论上很难剖析这种异构区域分解算法的收敛性，但是在实际运用中，这种算法达到很好的运用效果。
HPCG是基于偏微分方程求解的高性能打算机的排名标准，我们把这个算法运用于HPCG优化里，取得了很好的效果，收敛性非常好，帮助天河2号拿到2016年的HPCG天下排名第一。

如前所述，科学打算和超级打算之间相互促进、共同发展的闭环已经形成了几十年了。
最近十来年随着大数据兴起，人工智能技能得到复兴并呈爆发式发展。
此时，人工智能作为一个“新”角色进来之后又起什么浸染呢？

至少两个方面的浸染，首先从超算角度来看，超算原来紧张用来支撑科学打算，现在有了人工智能这种新需求，超算一定也要为人工智能供应强大算力支撑。
反过来由于人工智能的本身特性又会改变超算的发展趋势。

第二，人工智能和科学打算的关系。
人工智能有一些好的数学工具和思想方法可以作为新思路、新方法、新工具供应给科学打算，科学打算又有多年景长的根本和较为完善的理论框架，可能帮助我们实现可阐明性的人工智能。

AlphaGo和AlphaGo Zero作为人工智能最近几年非常著名的打破，先后打败了人类的围棋冠军。
像AlphaGo Zero这种大型的AI运用，如果想一天之内完成它的演习，我们所须要的打算能力已经超过1E ops，事实上过去6年演习神经网络的算力需求已经增长了30万倍，这远远超出超级打算机“十年千倍”的打算性能提升速率。
以是现在有不雅观点认为打算能力是人工智能发展的非常主要的根本，乃至有人认为算力常胜。

与此同时，人工智能的发展深刻改变了超算发展趋势，尤其是在2017年前后，随着大规模AI运用的呈现，新型超级打算机设计也逐渐开始考虑人工智能这类运用，最有代表性的机器便是美国的Summit，打算性能天下排名第一的系统，这台机器科学打算的双精度浮点打算性能是148Pflops/s，但是它还通过配备分外的Tensor Core打算单元，可以实现3.4 Eops/s的AI打算性能。
与此同时国际上谷歌、IBM、寒武纪、华为等大厂也都先研发了各种AI处理器。
最近，谷歌Jeff Dean等人发展了采取AI设计芯片的新技能，大幅度提升芯片数据效率。
绝不夸年夜地说，AI已经对硬件设计产生方方面面的深刻影响。

在超级打算机系统设计方面，举个例子，牛津大学2018年出版了一个白皮书《解码中国的AI梦》，个中有一个不雅观点：“中国培植超级打算机方面的成功表明，它有可能遇上AI硬件领域天下领先的企业……如果其他国家专门开拓针对AI新型超级打算机，中国在制造传统超级打算机方面的卓越表现可能并不主要“。
顺着这个思路我们去思考，大概有一天，可能很快我们会看到专门用于AI打算的大型超级打算机。

现在让我们回到偏微分方程求解。
借助神经网络这类数学工具，我们是不是可以解一些之前难以求解的问题呢？

在这里，我列出了三个比较有特色的方程，它们都有强烈的非线性，并且打算区域具有不规则和高维的特点。
比如第一个方程的打算区域虽然是二维，但是区域边界非常繁芜。
中间是三维的例子，其打算区域是一个扭曲的torus形成，采取经典方法很难准确的刻划。
第三个是100维的超立方体，它高维的性子决定了经典的方法很难去求解。

通过神经网络的方法可以很好地求解这类问题，我们提出了一套新方法——PFNN，这一方法的最大特点是只须要求解无约束优化问题，不须要引入任何惩罚项。

传统的神经网络求解方法或多或少会引入惩罚项，但是通过采取一些手段去重新布局解空间，可以设法避免这个事情。
把一个约束优化问题变成完备没有约束的优化问题，数值打算结果表明，PFNN方法可以很好的改进问题的求解精度和打算效率。

下面考虑如何实现并行求解。
一个很自然的思路是直接做分布式演习，但这样的处理没有很好的利用问题本身的性子。
偏微分方程的求解，在经典的科学打算领域，有一个非常好的并行算法——区域分解。

我们将区域分解的思想用在神经网络求解偏微分方程中。
比如可把一个方形的区域一分为四之后，增加一点重叠度，就可以把单个神经网络演习问题分成子区域网络的演习。
通过实测创造，这样的手段不但能够供应很好的并行加速，同时问题的打算精度也同时得到改进，实现了打算精度和打算速率的双重收益。

从未来的发展趋势来看，人工智能、超级打算、科学打算会若何发展？三个方向共同目的是通过某种手段连接真实天下和数字天下。
真实天下便是人类在不断设法理解、改造的客不雅观天下。
数字天下是我们能够操作、能够任意实验的基于打算机的数字化虚拟天下。
从真实天下到数字天下，至少存在四个角度，人工智能可以与科学打算和超级打算结合，发挥浸染。

第一，模型角度。
经典的科学打算方面，很多问题是建模方面很困难，或者模型很准确但是不可打算或者很难打算，或者是模型可以打算但不足准确。
这时候基于人工智能的手段也容许以布局更好的模型，比如现在湍流模型，分子力场模型，景象预报领域的物理过程参数化等都有成功案例。

第二，算法角度。
刚才举的PFNN的例子便是算法角度，人工智能的发展有很多的很好的数学工具，思考问题的视角。
借鉴里面好的数学工具，比如神经网络，可以运用在一些科学打算领域的经典问题，比如线性方程求解、微分方程组求解、最优化问题求解等。

第三，软件角度。
光有算法和模型是不足的，还须要在打算机上实现，写成软件，实现出来。
这个过程涉及到大量的编程事情，而且很随意马虎出错。
这时候如果借助机器学习等手段，可以在编译优化，自适应调优，自动代码天生等方面把人们从繁重的体力劳动中开释出来。

末了便是硬件角度。
AI事实上已经深刻改变了超算硬件的发展，而且未来还会有更多改变，比如打算单元的设计、芯片的设计、处理器的设计、超算系统的设计等。

ACL 2020原定于2020年7月5日至10日在美国华盛顿西雅图举行，因新冠肺炎疫情改为线上会议。
为促进学术互换，方便海内师生提早理解自然措辞处理（NLP）前沿研究，AI 科技评论将推出「ACL 实验室系列论文解读」内容，同时欢迎更多实验室参与分享，敬请期待！