2024年数据治理在人工智能中的四大年夜趋势_人工智能_数据

2024-11-14 15:17:22 计算机

我们创造随着 ChatGPT 的引入，天下发生了不可逆转的变革。
人工智能的主流化连续以强劲势头推进，我们如何应对这些不断变革的时期须要信念的飞跃。
人工智能可能同时具有潜在的变革性和不准确性！
但我们的未来不仅仅是人工智能，由于我们仍旧须要连续提高数据管理水平。

2024年数据治理在人工智能中的四大年夜趋势_人工智能_数据计算机

用于天生高质量数据集的工具可以在人工智能模型开拓生命周期的各个阶段供应不断改进的模型。
以下是 2024 年的四个紧张趋势：

智能数据平台人工智能代理个性化人工智能堆栈人工智能管理

智能数据平台

如今的数据平台很大程度上是一个“记录系统”堆栈，它将来自各种企业数据库和运用程序的数据搜集到一个公共存储库中。
当前，该堆栈的紧张用例是报告和剖析，在极少数情形下是数据驱动的自动化。
还有什么比在数据平台中注入智能来加速人工智能数据产品和运用程序在全体企业中的采取更好的呢？

我们将智能数据平台定义为大措辞模型（LLM）根本举动步伐是核心数据平台一部分的平台。
该智能层可用于将智能注入两种运用程序：

核心数据运用程序：这些运用程序包括人工智能驱动的数据操作、语义搜索和创造代理、人工智能赞助摄取工具、人工智能赞助数据准备和转换以及用于数据剖析的对话式人工智能代理。
当代理通过从缺点中学习进行推理时，此类运用程序的自动化程度只会变得更好。
智能运用：智能化的人工智能代理是第二种运用趋势。

下图显示了智能数据平台以及 AI 代理和运用程序的示意图。

智能数据平台是当前以仓库/湖为中央的数据平台环境的下一个演进。
随着对简化消费界面的渴望，智能运用程序将推动未来十年的生产力。
到 2024 年，企业须要负责核阅当前的数据平台架构，并办理与数据孤岛、数据质量和重复以及堆栈组件碎片干系的寻衅。
高质量、精选的数据和元数据是天生式人工智能操持成功的关键。
智能数据平台以及干系的数据运用程序将为人工智能用例支持供应根本数据和建模层根本举动步伐。

人工智能代理

“人工智能代理”一词在 2023 年下半年景为一个盛行词。
人工智能代理是一个程序或系统，可以感知其环境、推理、将给界说务分解为一组步骤、做出决策并采纳行动。
像人类一样自主地完成这些特界说务的行动。

措辞理解的终极意味着人类可以通过自然措辞界面与人工智能程序进行对话、辅导和互动。
但人工智能程序除了帮助和回答与信息任务干系的问题（例如搜索、提取或天生代码和/或图像）之外还能做更多的事情吗？

人工智能代理能否扩大当今须要更多人工干预的任务自动化领域以及须要高层次思考、推理和解决问题的认知任务？例如，实行市场剖析、风险评估和投资组合优化等任务。
或者，实行迄今为止由于繁芜性或本钱而不太可能自动化的繁芜任务。
当今人工智能代理/技能承担显著提高业务生产力和人机界面的任务的能力紧张由于有经济价所值驱动。

早期的研究考试测验环绕数学干系活动、思想链/图和基于LLM的多步骤推理框架来展示自动化繁芜任务的能力。
这些早期的预言远未达到构建完备自主的信息代理运用程序所需的目标，但它们展示了可能性的潜力。

下显示了一种架构，该架构供应了一种通用范式，该范式结合了推理和行动的进步以及环绕该范式的早期事情，例如“思想链”，以办理各种措辞推理和决策任务。
这种推理和行动与措辞模型的耦合使这些程序能够实行决策任务。
这种范式被称为“ReAct”。

人工智能代理可以帮忙数据任务的自动化，例如数据剖析、BI 仪表板开拓、流程优化、数据输入、调度或基本客户支持。
他们还可以自动化全体事情流程，例如供应链优化和库存管理。
下面描述人工智能代理所采纳的步骤，利用户能够通过动态创建想法/操持并调度行动操持来动态实行推理任务，同时还可以与外部交互将附加信息合并到推理中。

该流程的第一步是选择一个任务，并提示LLM将一个问题分解为一堆想法（子提示）。
步骤2、3、4，进一步使LLM能够冲破这些一堆想法，并思考和推理出这些子想法。
第 5 步到第 8 步使 LLM 能够进行外部交互，例如根据完成想法/任务所需的信息提取信息。
自由形式的思想/行动集成用于实现不同的任务，例如分解问题、提取信息、实行知识/算术推理、辅导搜索制订和综合终极答案。

人工智能信息代理是一种趋势，这可能会持续多年；估量 2024 年将在代理根本举动步伐/工具以及早期采取方面取得重大进展。
须要指出的是，我们如何理解当古人工智能架构承担更繁芜任务的潜力，很大程度上仍旧取决于潜力，而且还有很多未办理的问题。

只管如此，企业必须以一种实用的方法来构建代理运用程序，并期望在某种程度上，与当古人工智能技能的差距将呈现出越来越繁芜的自动化，而且这种差距可能会逐年缩小。
它还必须考虑未来 12 个月内各个用例可能实现的自动化程度。
此类项目的进化路径/旅程可能会通过此类努力取得更好的成功。

个性化人工智能堆栈

第三个趋势包括通过三种方法个性化或定制模型和/或其相应：

利用更多高下文数据微调模型。
改进用于演习或微调模型的数据集，包括合成数据。
利用矢量搜索来利用具有干系数据的模型。

A 微调模型

虽然像 OpenAI 的 GPT-4 这样的根本模型为企业供应了一个机会来原型化天生式 AI 模型用例的潜力，但它们并没有充分办理企业数据的隐私和安全性、所利用的可视化数据的开放性等问题演习此类模型的能力，针对特定哀求对其进行微调的能力，实现任何给界说务所需的准确性以及总体本钱代价主见。

为了超越原型和得到更好结果的需求，我们可能会看到定制或特界说务的小措辞模型 (SLM) 的兴起，特殊是在利基和垂直运用程序中。
这些模型将利用根本/预演习根本模型作为演习 SLM 或利用领域/企业数据进行微调的出发点。
下图显示了模型微调的生命周期

简化定制 SLM 的开拓、实现此类模型的生命周期管理并将其从实验到支配仍旧是一项寻衅：

根本LLM选择：有多个、易于理解的选项，但缺少支持性的详细评估可能会使选择根本模型变得混乱和令人畏惧。
参考数据集：在演习和RLHF微调以及模型评估和测试过程中须要参考数据集。
参考数据集的可用性和创建仍旧很费力，常日是主不雅观的，并且很大程度上依赖于人类。
原始任务/领域特定或合成数据的可用性可以显著加快模型开拓的速率并缩短开拓韶光。
微调模型：将指令微调模型与现实天下对模型性能的期望进行调度和调度所需的关键演习步骤之一是运用人类反馈。
这一步骤使模型能够减少幻觉、偏见、危害并提高安全性。
参数高效微调 (PEFT) 和 RLHF 是盛行的常用技能，有助于根据任务/领域特定高下文微调根本 LLM。
只管现有技能得到了显著改进，但由于措辞相应验证的创造性，高质量的任务/领域特定提示相应对/数据集和参考数据集（包括所需的人类反馈）仍旧是手动的、费力的，并且随意马虎发生变革。
测试和评估模型：对处理繁芜的自然措辞的微调模型的评估取决于任务创造力和相应评估，这常日是手动和主不雅观的。
虽然现在可以利用各种指标和技能，但它们常日不敷以评估模型。
来自另一个参考或高等模型的相应等技能用于天生参考评估数据集，以帮助提高评估阶段的效率。
模型还必须经由安全性、偏差和危害测试。

微调模型所需任务的成功取决于仍不成熟的人工智能管理领域。
人工智能管理是一种上升趋势，须要供应模型的可阐明性，以建立信赖并知足监管合规性。
它还用于实时监控任何性能低落、负任务的利用、本钱和产品可靠性问题的及时相应。

环绕 AI 模型开拓、生命周期管理、支配和监控的工具可用性的兴起，办理上述寻衅并简化模型开拓和生命周期管理，是 SLM 和任务特定模型成功的关键。

请把稳，特界说务的人工智能模型仍处于实验阶段，还有很多未办理的问题。
这将导致大量此类实验可能会失落败。
只管如此，这个主题在 2024 年全体生态系统的投资将会增加。

B 高质量数据生态系统

虽然利用数万亿个参数进行演习的模型（例如 OpenAI 的 GPT-4）增加了它们的知识库，但最近的实验表明，利用更好数据的更小模型可能能够超越 OpenAI 现在所说的非常大的 LLM 的“前沿模型”。
”

通用模型和自定义模型的高质量数据集的可用性仍旧是一个大问题，且不受隐私和版权的影响。
大多数LLM预培训都是基于基于互联网的网络抓取数据集、书本和一些源于学术界或研究的实验数据集。
虽然可以为微调阶段获取一些数据集，但根据任务/领域，此类现成数据集的选择会进一步缩小。

常日，乃至没有足够的数据来演习模型。
以敲诈为例。
据推测，组织并没有充斥着专横獗的敲诈行为，因此对敲诈场景的理解有限。
但他们须要利用广泛的敲诈可能性来演习模型。
合成数据是供应高质量数据以提高LLM研究和开拓速率的答案。

合成数据可以定义为不是直接从任何现实天下数据得到的数据，而是模拟现实天下数据的属性和特色而人为创建的数据。
综合数据集可能是供应高质量数据的办法，以提高许多用例中的LLM研究和开拓速率。

利用合成数据的紧张优点之一是它可以保护终极用户的隐私，遵守版权问题，并使企业能够知足原始来源的隐私哀求。
也避免了信息的无意透露，同时模型研发不断取得进展。
合成数据对付知足演习大型措辞模型不断增长的需求非常主要。
通过精确的办理方案，可以以经济高效的办法办理大型措辞模型所需的高质量数据，并为人工智能研究、模型开拓和评估供应持续动力。
有一些想法可以利用前沿模型本身天生合成数据集。
只管如此，很明显，创建和利用合成数据集有可能办理日益饥饿的模型对更多数据的需求。

我们知道，考虑到任务的性子，这样的生态系统/做事线在办理高质量数据集的需求方面发挥浸染有很大的动力。
如今，各种初创公司和做事供应商专门致力于环绕通用培训数据需求供应带注释的图像和文本数据。
然而，有可能进一步扩展这些做事，以包含领域/任务特天命据集的需求，这一趋势可能会在 2024 年涌现势头。

C 集成向量数据库

选择矢量数据库具有寻衅性。
有多种成分在起浸染，包括可扩展性、延迟、本钱、每秒查询次数等。
传统数据库的紧张用例是关键字查询与利用高下文搜索。
大多数企业运用程序可能须要这两种功能。
因此，我们的选择是在传统 DBMS 中引入矢量数据库功能。

大多数未来的企业人工智能运用程序都须要处理构造化和非构造化数据。
管理多个数据库会导致效率低下、潜在的竞争条件、OLAP 数据与矢量数据库中的矢量索引之间的数据不一致以及导致数据不一致的管理开销。

因此，集成矢量数据库最适宜须要最佳查询功能和语义搜索的运用程序。
例如，矢量数据库不仅可以嵌入组织的财务报告，还可以对这些数据模型建立索引并将它们存储在同一数据库中，同时供应语义/相似性搜索功能。

许多 DBMS 和 Lakehouse 参与者正在将向量嵌入和搜索功能纳入其现有产品中。
随着企业构建和支配 LLM 用例，具有语义搜索功能的集成数据库/湖屋可能会在 2024 年得到进一步的关注。

构建人工智能运用程序的最常见技能是检索增强天生（RAG），它结合了LLM和组织业务数据来供应对自然措辞问题的相应。
RAG 集成了一个流程，在调用 LLM 完成 API 之前，首先搜索矢量化数据的相似性，从而提高相应准确性。

我们看到两个影响 RAG 用例的趋势。
个中之一与不断增加的 LLM 高下文大小有关，它可以直接获取输入数据，而无需通过数据库进行路由。
这降落了实行额外且繁芜的 RAG 步骤的须要。
然而，这并没有减少对矢量数据库的需求，由于它们预先过滤了LLM的提示，这使得人工智能运用程序具有本钱效益和高性能。
他们还可以缓存提示及其相应，从而避免对 LLM 进行不必要且昂贵的 API 调用以进行重复查询。
这些精选数据将来可用于微调组织的 SLM。

人工智能管理

高管们哀求他们的领导者快速跟踪人工智能项目，由于他们渴望从所有构造化和非构造化数据资产中提取前所未有的见地。
然而，IT 领导者知道，将人工智能运用到底层数据根本举动步伐绝非易事。
他们知道人工智能运用程序的成功取决于确保数据质量、安全性、隐私和管理。
因此，须要人工智能管理。
但它到底是什么？

人工智能管理，就像数据管理一样，须要一个共同的定义。
事实上，人工智能管理该当与数据管理齐头并进。

与传统人工智能比较，天生式人工智能的用户范围要广泛得多。
此外， AI代理还引入了向量搜索、RAG和提示工程等新观点。
因此，当代人工智能管理必须知足多种角色的需求，例如模型所有者和验证者、审计团队、数据工程师、数据科学家、MLOps 工程师、合规性、隐私和数据安全团队等。

在最高层面，人工智能管理须要跨两个层面运用

模型演习或微调：管理任务包括识别精确的数据源、其保真度、数据漂移、模型权重和评估结果。
比较版本之间的模型指标的能力可以进一步帮助理解模型性能的趋势。
详细来说，在 CPU 和 GPU 上利用不同模型的每次迭代的演习本钱是人工智能管理的主要考虑成分。
目前，由于资源哀求非常高，参与根本模型演习的厂商很少。
随着近年来这些本钱的低落，越来越多的团队正在进行微调。
随着本钱进一步低落，我们可能会看到更多的组织或部门演习自己的模型。
模型利用/推理：管理任务须要确保业务利用安全。
任务包括风险识别和风险缓解、模型的可阐明性、本钱以及利用人工智能模型实现业务用例目标的性能。

下图显示了人工智能管理操持的构建模块。

人工智能管理操持由四个构建模块组成：

1.模型创造

模型正在快速激增，反响了该领域的动态和不断扩展的性子。
到 2023 年底，Hugging Face 的模特数量已靠近 50 万。
问题是，当这些涌如今您的人工智能框架（如 Google Cloud 的 Vertex Model Garden 或 AWS Bedrock）中时，开拓职员将开始利用个中的一些，无论是否经由风险管理和合规团队的批准。
为了战胜这个问题，许多人开始采取模型目录。

在这里，目录的目的是创造正在利用的模型、它们的版本号和批准状态。
它还记录了模型的所有者、其目的和用场。
对付批准的模型，目录将显示用于演习模型的数据集、模型的评估办法及其公正性评分。
风险记分卡捕获模型的漏洞及其影响，并应定期审查以确保风险在阈值内。

空想情形下，模型目录该当是数据目录的扩展，这样就不存在数据和人工智能管理的碎片。

2.模型消费

在模型消费中，人工智能管理的重点是将业务用例映射到批准的模型并识别数据安全风险。
人工智能管理的这一部分处理对企业数据的不屈安利用、提示注入和数据丢失的担忧。

它还卖力跟踪全体模型生命周期谱系，包括法律、CISO、CDO、审计师等的批准，一贯到模型退役。
掌握到位后，它可以加快模型支配莅临盆中的速率。

管理工具不仅该当许可识别偏见、危害、透露、知识产权侵权等领域的风险，还该当记录风险缓解策略。
人工智能管理工具该当有助于供应模型的可阐明性。

3.持续监控

一旦支配了批准的模型，他们须要有一种机制来跟踪它们的大规模表现，并自动扫描相应中是否存在幻觉和其他不屈安内容。
人工智能模型的最大问题之一是它们的不愿定性反应可能会导致幻觉。
因此，监测准确性和干系性非常关键。
随着更多人工智能模型在 2024 年投入生产，跟踪其性能和本钱将变得至关主要。

须要不断监控上述风险领域是否存在无法阐明的变革和非常。
在检测到非常情形时，应智能地发出警报和关照，而不会造成“警报疲倦”。

只管数据安全和隐私任务贯穿人工智能管理的每个部分，但监控用户、他们的权利和干系的安全策略是一个主要组成部分。

4.风险管理

模型记分卡、推理/利用监控数据集和仪表板以及事情流程自动化对付坚持人工智能运用程序的康健以及及时采纳补救方法以应对预期性能的任何低落至关主要。
自动化事情流程可以帮助创建数据和模型推理 KPI，并根据须要触发警报，以确保模型所有者可以启动补救方法。