2023 年，ChatGPT 火出了圈，继 ChatGPT 之后，环球各行各业大模型千帆竞发。

在大模型的加持下，超自动化将会产生若何的“超能力”？

南京大学人工智能学院副院长、艺赛旗首席科学家黎铭教授在艺赛旗2024春季发布会上为我们了带来主题为《基于大模型的流程自动化》的分享。

洞悉流程的关键

流程挖掘

流程自动化的关键是要理清流程，在完成自动化之前，流程挖掘是非常主要的一步。

企业不管是要做数字化转型，还是要提升经营效率，首先都须要对全体公司的业务进行实时客不雅观的不雅观察和理解。

由于大部分企业的内部涉及多个异构的业务系统，数据每每分散在多个别系中，难以给出一个统一的高质量日志文件。

此外即便通过流程挖掘创造了业务流程中的瓶颈，优化建议的实行和效果验证仍旧依赖于职员进行，这须要和用户频繁沟通理解诉求，不同视角的人总结出来的流程可能存在差异，反馈的韶光可能较长，带来大量沟通本钱，终极导致项目难以推进。

如何破解这个问题成为当前的难题。

流程挖掘的智能化根本

机器学习

黎教授指出，机器学习是利用履历来提高系统性能的一种技能，它可以从业务数据中自动创造、配置并运行流程，并根据业务条件与变革对自身进行应时调度。
机器学习研究的紧张产物是算法，这些算法可以在各个行业有广泛运用，包括打算机视觉、人工智能和数据挖掘。

现如今机器学习已经成为人工智能领域的核心研究之一，在各个领域中展现出巨大的潜力和创新能力。
打算机领域的最高奖——图灵奖就连续付与了这方面的学者。

除了学术界，政府和工业界也对机器学习给予了高度重视，我国在《新一代人工智能发展方案》里，将机器学习列为需重点研究的关键根本理论之一，美国白宫印发的人工智能白皮书，也将其列为人工智能领域最主要技能之一。

基于深度学习模型的ChatGPT应运而生

机器学习是随着人工智能发展而兴起的，到了 90 年代开始逐渐受到重视。
机器学习的一个主要分支方向是深度学习，由学者 Jeffrey Hinton 在 2006 年提出。
深度学习的发展使得机器学习模型能够办理更繁芜的问题，例如2016年基于深度学习模型的AlphaGo 就打败了人类顶尖棋手，引起了全天下的轰动。

到了2022年底，基于深度学习模型的ChatGPT出身，再次引起了广泛关注，ChatGPT验证了大模型的巨大商业代价和科研代价。
ChatGPT不仅是一个对话机器人，它还在机器翻译、问答系统、创意写作、搜索和阅读理解等方面取得了许多成功案例。

为了提高模型的推理能力，OpenAI在2021年利用179G的代码数据对GPT3进行演习，希望通过这种演习提升模型的逻辑推理能力。

既然模型已经开始用代码进行演习，那么人们就开始思考 ChatGPT 这样的预演习模型是否可以更好地用于软件开拓？

ChatGPT能够用于

做更好的软件开拓吗？

我们很早就开始了在这方面的思考，针对代码的局部领域关系、线性依赖关系、语法依赖关系、掌握依赖关系、多层次构造交互关系等进行了研究，提出了多种学习模型。

研究过程中碰着了数据量不敷的问题，难以支撑演习出一个比较好的深度模型。
因此，我们开始在网上得到大量代码信息，做出一个通用的代码表征模型，并通过代码复用技能，将其运用到各个任务中，从而得到更好的性能

因此我们提出了一个基于模型复用的框架，基于此框架演习出一个可重用的软件毛病挖掘模型RUM，并将其运用于不同的毛病挖掘任务中。
这是最早的利用预演习模型来办理不同任务的思考模式，也为后续的研究方向奠定了根本。

ChatGPT便是这样一个经由措辞和代码演习的通用模型，在软件开拓过程中的具有很大的运用潜力。
工业界对此也有深入的跟进和思考，如Microsoft和OpenAI联合开拓的GPT代码天生模型CoPilot，以及GitHub和OpenAI互助开拓的代码天生模型Codex，都在代码天生领域取得了显著的成功。

在利用ChatGPT的过程中，它展现出了强大的措辞和逻辑推理能力，能够赞助开拓者编写高质量的代码。
例如，当须要编写一个Python版本的快速排序代码时，ChatGPT可以直接天生代码，并附带对该代码的阐明。

然而，当涉及到业务代码时，ChatGPT的性能就会受到寻衅。
在自动化流程挖掘中，天生相应的流程挖掘代码是一项关键任务，这须要办理ChatGPT在业务代码编写方面的短板。

个中碰着的寻衅

第一个寻衅是 ChatGPT 对措辞的过度依赖。
作为一个基于措辞的模型，ChatGPT在剖析代码（即编程措辞）时会碰着困难，由于编程措辞和自然措辞存在显著差异。
只管编程措辞可以通过程序员的哀求提高代码的可读性，但这并非逼迫性的。
换言之，纵然代码的可读性较差，它仍旧可以正常运行。
因此，如果用ChatGPT这样的模型去剖析这样的代码，可能会导致缺点。

为此，我们提出了一个相应的考试测验性办理方案—— VECOS。
这个模型可以对质量非常低的，乃至是反编译出来的代码进行语义剖析和理解。

另一个寻衅是虽然 ChatGPT 对措辞笔墨很敏感，但对编程措辞的功能语义建模能力有限。

对此，黎教授举例解释，有两段 Java 代码，可能在词汇表级别完备同等，但实际功能和语义却有显著差异。
这是由于在程序设计中，程序构造中的内在关系尤为主要。
如果要天生或理解代码的功能，就须要对这部分进行有效建模。
然而，目前的ChatGPT模型只捉住了笔墨层面的关系，却忽略了程序内蕴的构造联系。
因此，须要对相应的程序构造语义进行分外的建模。

应对方法

针对这一问题，我们开始磋商如何在以Transformer为根本模型的预演习大模型上考虑代码构造特色？

Transformer是目前最前辈的神经网络构造之一。
它通过自把稳力机制，能够捕捉到输入序列中的长间隔依赖关系，从而实现对繁芜语义的理解。
这种强大的能力使得ChatGPT能够处理各种繁芜的自然措辞任务，包括问答、文本天生、择要等。
并且针对代码的多层次构造特色，我们提出了基于新型“金字塔把稳力机制” Transformer 根本模型 PA-former。

以上所述的根本理论方法和技能已被运用到实际业务场景中，包括艺赛旗的流程挖掘技能及业务场景，以帮助其更好的进行业务流程的发掘。

南京大学与艺赛旗共同发起的智能研究院在人工智能及超自动化领域的研究成果，充分展现了其卓越的创新能力。
这些研究成果不仅在学术界受到高度认可，也在实际运用中取得了显著的成果。
随着科技的不断进步和发展，相信这些成果将在更多领域发挥主要的浸染。