1999年正式提炼出了业内最早的设计流程CRISP-DM（Cross-Industry Standard Process forData Mining，跨行业数据挖掘标准流程）。

这个流程确定了一个数据挖掘项目的生命周期，包括以下六个阶段：

商业理解：理解进行数据挖掘的业务缘故原由和目标，细节应落实到算法各项指标的任务。

数据理解：深入理解可用于挖掘的数据。

数据准备：对待挖掘数据进行合并，汇总，排序，样本选取等操作。

建立模型：根据前期准备的（演习、测试）数据选取得当的模型。

模型评估：利用在商业理解阶段设立的业务成功标准对模型进行评估。

结果支配：利用挖掘后的结果提升业务的过程。

随着时期发展，人工智能项目开拓的基本流程在CRISP-DM根本上推陈出新，常被划分为四个阶段：需求剖析、数据采集&处理、模型演习&评估、模型测试&支配

需求剖析

人工智能项目需求剖析是确定我们开拓的项目须要做一些什么。

经由调研和剖析，准确理解用户和项目的功能、性能、可靠性等详细哀求。
是确定一个AI办理方案所需的功能和性能的过程。

关键步骤包括：

确定业务需求：理解须要办理哪些问题和实现哪些目标。
如，须要开拓一个能够自动分类文本的AI系统，须要一个能够识别图像并进行自动标记的系统。

网络数据： AI需求剖析中，数据至关主要，AI系统的性能很大程度取决于它所依赖的数据。
因此，须要确定哪些数据是必要的以及该当具有的属性和格式。

确定功能需求：明确了业务需求和数据需求，还须要确定AI系统该当具有哪些功能，例如自动化分类、预测、推举等。

确定性能需求：确定AI系统所需功能后，还要确定性能指标，如准确性、召回率、相应韶光等。

确定技能需求：末了，要确定AI系统的技能需求，如该当利用哪种算法、该当利用哪种编程措辞和开拓框架等。

需求剖析的过程中，要考虑实际的业务情形和数据情形，不纯挚追求技能上的完美。
需求剖析是一个不断迭代的过程，要不断地网络反馈并对需求进行更新和调度。

这个过程中，还要把需求进行剖析整理，确认形成完全、清晰、规范的文档。

数据采集&处理

数据是人工智能项目的紧张材料之一，不可或缺，得到良好数据是处理好数据的第一步，没有质量担保的数据，难以达到数据处理结果须要的标准。

数据哀求根据项目终极的哀求而定，比如：图像处理项目，模型须要图像数据，什么样的图像数据是好数据？利于模型学习？当然是对现实物体还原度越高越好，可以从图像的“色彩三要素”和“图像像素值"来判断。

数据来源紧张分为通用数据和行业数据两大类。

好的数据来源，能拿到和利用场景匹配度最高的数据。
现场实地采集数据这么做非常有必要。
由于采集数据的过程中，轻微不把稳的一些细节就能将模型的上风抵消。

比如：采集数据是从互联网上爬下来的，数据质量可能就不会太好。
如果去实际事情环境，室内或室外固定场景，采集到不同韶光、日期、景象情形下的数据。

后面做法采集到的数据资源，就算利用一样平常的模型，也能得到较好的结果。

反之，如果前种方法采集的数据，由于和实际运用处景的数据差异过大，就算利用SOTA模型，也很难达到预期的效果。

当然，再好的数据，采集回来也要做处理，数据处理的任务是过滤掉不符合哀求的一些数据，不符合哀求数据有3类：残缺数据、缺点数据和重复数据

残缺数据：指数据不完全，如供应商名称，客户区域信息有一部分缺失落

缺点数据：指数据值是错的、或编码、格式是缺点的

重复数据：是数据表中存在相同的数据

对付这3类数据哀求，数据处理完之后要从完全性、同等性和准确性三个方面评估数据是否达到预期设定质量哀求。

处理过的数据接下来要进行数据标注，数据标注在全体流程当中非常主要的一环。
数据标注前须要确定以下内容：

确定标注标准：这是担保数据质量关键的一步，确保有一个可以参考的标准。
确定标准标准有两种办法，一设置标注样例，或是用模版，如颜色的标准底色卡。

对不愿定的数据设置统一处理办法：犹如一器用或是统一进行标注。
并对标注形式进行确认，如定制能够识别问句的文本分类模型，这样可以对句子进行零或一的标注，一代表问号，零代表不是问号。

统一标注工具：对标注工具进行选择。

标注过程是为了构建一个像人类一样的人工智能模型，须要大量的数据，对这些数据针对特定用例进行适当的分类和标注，数据标注质量会直接影响网络性能质量。

模型演习&评估

数据是食材，模型是锅，好食材配好锅，才能做好菜。

模型发展是深度学习技能发展中主要的一环，早期卷积神经网络模型LeNet，后来的AlexNet，最新的Transformer模型，模型的发展都有一个共同的目标：

更高的mAp值、更高的演习效率、更快的推理速率、更大的平台适应性。

工程界和学术界对模型新技能发展的关注度有差异，一个是纯学术研究，一个落地运用。

学术界做研究时，部分条件是人为固定的，只须要模型的设计演习提高性能和效率。
，轻微提升，就可以揭橥一篇论文，乃至在顶层期刊。

工程界每个详细的项目哀求都不一样，不同项目的数据也是大相径庭，所有条件都是不愿定的，设备、数据、平台、外部环境等。

这时，同样的模型在不同条件下会涌现不同的结果，而且弱的模型效果有可能会好过精良模型效果，由于模型再好，变量带来负面影响太多时，模型一样搞不动。

模型演习最磨练实战履历的，比如主干模型、微调，选择优化方法、是否进行多阶段演习、是否对图像数据进行多尺度演习、如何提高演习速率等，都和详细的设备类型干系。

总之，为了得到一个满意的模型，须要反复调度算法参数和数据集，不断评估演习天生的模型。

有履历的演习职员演习模型时，常日先做小批量的数据演习，用小批量数据验证模型是否得当。
当确定模型没有问题了，再加载大批量的数据演习。

模型评估是和模型演习伴随而行的，可以说演习一开始，评估也随之开始。
模型演习卖力如何把模型演习好，演习到什么程度才算得当模型评估说了算。

模型评估一样平常可以通过验证集和演习集的丢失或精度的差距来做判断，常用模型评估指标有：准确率、精确率、召回率等。

模型测试&支配

模型测试是项目交付前的末了一次试验，测试的目的是和目标指标做比拟，如精度、速率等指标。

以是，测试数据最好从项目方实际事情场景采集，不仅质量要靠近真实场景数据，数量也要达到一定量级，测试结果才能更靠近真实场景下的结果。

大规模数据测试有2种情形：

测试结果和指标相差甚远：即模型测试出的指标比项目方哀求的指标低。
这时要对模型或样本数据调度后重新演习模型。

模型测试时指标连忙低落：这种情形和测试与演习、验证数据差距太大有关，即演习集、验证集数据差异不大，如都是互联网得到的数据，而测试集数据来自真实场景数据，数据差异造成测试集结果指标连忙低落。
这时，须要换掉演习集、验证集数据，也从真实场景采集。

最好的情形是演习集、验证集、测试集来自统一场景数据，测试结果达到满意的效果，这时支配后，常日不会涌现算法指标问题。

模型支配是把模型支配到真实的业务场景当中去，意义在于处理预测新数据，为公司供应数据决策或者对接其他需求部门供应模型支持。
这是全体人工智能开拓当中末了一部分。

模型支配包括不同编程措辞的支配，如C/C++、JAVA、Python，措辞特性不同支配时方法也不一样。

全体支配须要考虑的成分还是有很多的。
比如是支配在移动端还是做事器端，支配的环境选择CPU还是其他，以及内存要进行如何分配。

支配设备可以分为PC端（个人电脑）、Server端（做事器）、Mobil端（移动设置：iOS，Android）、IOT端（传感器、板卡：Android），各种支配的方法也是大同小异。

新上模型一样平常会测试能够返回正常数据，返回数据是否可信。
确定没问题，再进行小流量测试不雅观察一天，如果效果通过再进一步扩大流量。

一段韶光效果都没问题时，才会全扩或近百分之一百流量。