人工智能法规和 V&V 过程将对安全关键型系统产生重大影响。
人工智能越来越多地用于系统设计，包括汽车和航空航天工业等领域的安全关键型运用。

基于人工智能的系统中的验证和确认

验证旨在确定人工智能模型是否按照指定的哀求设计和开拓，而确认则是检讨产品是否符合客户的哀求和预期。
通过采取 V&V 方法，工程师可以确保人工智能模型的输出符合规范，从而实现早期 Bug 检测并缓解数据倾向的风险。

在安全关键型系统中利用人工智能的一项上风是，人工智能模型可以仿照物理系统并验证设计。
工程师可对基于人工智能的全体系统进行仿真，并利用数据在不同场景中测试系统，包括离群值事宜。
如果在安全关键型场景中实行 V&V，则可确保基于人工智能的安全关键型系统能够在各种情形下保持其性能水平。

大多数开拓人工智能增强产品的行业，都哀求工程师在产品上市前遵照干系标准。
这些认证过程可确保此类产品中融入特定元素。
工程师可实行 V&V 来测试这些元素的功能，这使得得到认证更随意马虎。

在汽车行业中，ISO/CD PAS 8800 是一项拟制标准，旨在解释道路车辆的安全干系属性和风险成分。
在航空航天和国防领域，认证是逼迫性哀求。
机载系统和设备认证中的软件考虑成分（DO178C）等现行标准不一定能直接帮助应对人工智能所带来的独特寻衅。
因此，新的 ARP6983 过程标准正在制订中，旨在为开拓和认证明现人工智能的航空安全干系产品供应规范。

Deep Learning Toolbox™ Verification Library 和 MATLAB® Test™ 可以帮助工程师开拓有助于遵照行业标准的软件，并简化大型系统中人工智能模型的验证和测试，从而使他们在航空和汽车领域的 V&V 方面保持领先地位。

航空航天工程团队利用基于模型的设计来管理和折衷繁芜的需求，自动天生代码，并严格测试模型和系统。

安全关键型系统中的 V&V 人工智能过程

在实行 V&V 时，工程师的目标是确保人工智能组件既能知足指定的哀求，又能在各种工况下都表现出可靠性和安全性，因此可以随时支配。
与人工智能干系的 V&V 过程涉及实行软件担保活动，个中包括静态和动态剖析、测试、形式化方法和真实运营监控的组合。

各行各业的 V&V 过程可能略有不同，但 V&V 过程的紧张步骤都包括：

下述 V&V 过程中的步骤是迭代步骤。
随着工程师网络新数据、得到新深入信息和集成运行反馈，人工智能系统可以得到不断完善和改进。

剖析决策过程以办理黑盒问题

在利用人工智能模型为系统添加自动化功能时，工程师会面临黑盒问题。
理解基于人工智能的系统如何作出决策，对付供应透明度至关主要，由于这使工程师和科学家能够对模型预测建立信赖并理解决策。

特色主要性剖析方法可以帮助工程师确定哪些输入变量对模型预测的影响最大。
这种剖析方法的事情办法因模型（如基于树的模型和线性模型）而异，但是，一样平常过程会为每个输入变量授予一个特色主要性分数。
主要性分数越高，该特色对模型决策的影响就越大。
对付汽车行业的安全关键型系统，变量可能包括环境成分，如降水或其他车辆的存在和行为。

可阐明性方法有助于深入理解模型行为。
当模型的黑盒性子使我们无法利用其他方法时，这种方法尤其主要。
以图像为例，这些方法可用于识别图像中对终极预测贡献最大的区域。
这样，工程师便可理解模型在做出预测时的紧张关注点。

根据有代表性的数据集测试模型

常日，工程师会评估人工智能模型在真实场景中的性能，以确保安全关键型系统能够在这些场景中稳健运行。
他们的目标是找出各种限定，以提高模型的准确度和可靠性。
工程师首先会网络大量有代表性的真实数据集，并通过洗濯数据使实在用于测试。
然后，他们会设计测试用例来评估模型的各个方面，例如准确度和可再现性。
末了，工程师会将模型运用于数据集，记录结果并将其与预期输出进行比较。
模型设计将根据数据测试的结果进行改进。

实行人工智能系统仿真

凭借基于人工智能的系统仿真，工程师能够在受控环境中评估和评价系统的性能。
在仿真期间，工程师会创建一个虚拟环境，以在各种条件下对真实系统进行仿照。
首先，他们会定义仿真系统所需的输入和参数，例如初始条件和环境成分。
然后，他们利用 Simulink® 等软件实行仿真，该软件会输出系统对建议场景的相应。
与数据测试一样，仿真结果会与预期或已知结果进行比较，以便于模型得到逐步改进。

为了让人工智能模型安全可靠地运行，必须建立界线并监控模型的行为，以确保该模型在这些边界内运行。
如果模型已基于有限的数据集演习，并在运行时碰着前所未见的数据，则会涌现最常见的边界问题之一。
同样，模型可能不足稳健，有可能导致不可预测的行为。

工程师采取缓解数据倾向和增强数据的方法，以确保人工智能模型在可接管的范围内运行。

缓解数据倾向的一种方法是，让用于演习人工智能模型的数据具有多变性，这有助于减少模型对限定其学习的重复模式的依赖。
借助数据增强方法，可确保代表不同种别和人群的数据都能得到公正和平等的处理。
在自动驾驶汽车场景中，数据增强可能涉及利用不同角度的行人照片来帮助模型检测行人，而不管这些行人的位姿如何。
数据平衡方法常日与数据增强结合利用，包含来自每个数据类的相似样本。
以行人为例，平衡数据意味着，针对每种不同的行人场景，如不同体型、服装样式、光照条件和背景，数据集都必须包含与之对应数量的图像。
这种方法可以最大限度地减少倾向，并提高模型在各种现实情形下的泛化能力。

在安全关键型场景中支配神经网络时，稳健性是紧张考虑成分。
细微而难以察觉的变革会带来重大风险，使神经网络产生误分类。
这些滋扰可能会导致神经网络输出禁绝确或危险的结果。
在缺点可能导致灾害的系统中，这种情形尤其令人担忧。
一种办理方案是，将形式化方法纳入开拓和验证过程中。
形式化方法便是利用严格的数学模型来确立和证明神经网络的精确性属性。
通过运用这些方法，工程师可以提高网络对某些类型滋扰的抵御能力，从而确保安全关键型运器具有更高的稳健性和可靠性。

W 形开拓过程是一种非线性 V&V 事情流，旨在确保人工智能模型的准确度和可靠性。

结束语

在基于人工智能的安全关键型系统时期，V&V 过程对付得到行业认证和遵照法律哀求将变得至关主要。
若要构建和掩护值得相信的系统，工程师须要采取验证方法，为运行这些系统的人工智能模型供应可阐明性和透明度。
随着工程师利用人工智能来帮助实行 V&V 过程，他们必须探索各种测试方法来应对人工智能技能所带来的日益繁芜的寻衅。
在安全关键型系统中，这些事情可确保人工智能以卖力且透明的办法得到利用。

作者：MathWorks 深度学习首席产品经理 Lucas Garcia 博士