7月9日, 智猩猩联合 NVIDIA 策划推出的 NVIDIA 自动驾驶汽车技能公开课顺利完结。
在本次公开课中,NVIDIA 汽车行业开拓者关系经理李博先容了 AI 定义汽车这一前沿技能趋势,通过端到端自动驾驶领悟天下模型将自动驾驶技能推动到 AV 2.0。
详细先容了大措辞模型(LLM)在 AI 座舱与企业 AI 中的实践进一步解读 AI 定义的汽车。
末了,分享了加速 AI 开拓与支配的软件办理方案NVIDIA AI Enterprise。
本文内容来自于对李博老师的直播讲解进行的提炼总结。

加速向「AI 定义的汽车」的转变与进化 | NVIDIA 自动驾驶汽车技能公开课回忆_模子_汽车 智能问答

错过本次公开课直播的朋友,可以点击“阅读原文”不雅观看完全回放。

01 AI 定义汽车

目前,驱动全体汽车行业从软件定义汽车到 AI 定义汽车的发展紧张有以下三大缘故原由:

1)软件定义汽车这一趋势的成熟。
电动车的渗透率达到45%~50%,且在部分省份已经超过了50%;

2)自动驾驶的软件栈正朝着更 AI 化的方向发展,并越来越多地运用 AI 技能。
从最初的算法和基于规则的方法,到在量产车上通过 AI 增强的方案,再到天下模型、端到端(End-2-End)等技能不断发展,推动了自动驾驶行业的 AI 化进程。

3)天生式 AI(ChatGPT)横空出世之后,给全体行业带来新的可能性。

NVIDIA 环球副总裁吴新宙在 GTC 2024 上详细解读了“AI 定义汽车”,感兴趣的朋友可以免费注册不雅观看演讲回放 。
(https://www.nvidia.com/en-us/on-demand/session/gtc24-se63001/)

02‍ 从 AV 1.0 到 2.0 的蜕变

在自动驾驶 AV 1.0 阶段的软件定义汽车中,紧张采取集成深度神经网络(DNNs)的方法,通过标记图像数据进行演习,不同的模型能办理不同的问题。
而在 AV 2.0 时期,将会由一个大型云端模型(Multimodal LLMs)处理从数据到验证的全过程,这个中涵盖与自动驾驶干系的任务、数据处理任务以及安全性方面的需求等。

一些行业客户正在通过基于 VLM(视觉措辞模型)的 Foundation Model 来赋能端到端网络,以及用于仿真环境的天生。
同时,还可以反向用于 VLM Foundation Model 的演习和验证,形成双向闭环。

NVIDIA 在今年 CVPR 大会上发布的仿真方向成果:NVIDIA Omniverse Cloud APIs for Sensor Simulation,《端到端自动驾驶,CVPR 自动驾驶寻衅赛冠军论文解读》。

NVIDIA提出的 AI Factory (AI 工厂)观点则为 AV 2.0 的开拓供应了支持。
未来的算力根本举动步伐就像是持续制造 AI 的工厂。
它能够将从端侧网络到的数据用于演习模型,并将 AI 工厂演习好的模型支配到端侧,形成完全的闭环。
NVIDIA AI Factory 赋能的自动驾驶行业最佳实践案例:空想汽车、蔚来和小鹏汽车的互助案例。

03 天生式 AI 在汽车行业的运用

天生式 AI 在汽车行业的运用方向紧张包括两方面。
一方面是利用 LLM 在客户体验、内容天生、知识库构建和代码天生方面的运用;另一方面是将天生式 AI 运用于 NVIDIA Omniverse 中赋能的 3D 渲染管道,为汽车行业供应支持。

LLM 在汽车行业紧张有以下6个落地场景:

1)自动驾驶 AV 2.0 的根本模型;

2)改进汽车用户的利用和做事体验;

3)生产制造优化,提高效率和精度;

4)造型设计创新,并加速开拓周期;

5)RAG 构建知识库,用于问答系统和知识推理;

6)通过 LLM 进行数据剖析。

04 企业 AI 运用于汽车行业

2022年底是天生式 AI 爆发元年,随后,2023年企业纷纭开始探索天生式 AI,2024年将是天生式 AI 支配上线的量产之年。

NVIDIA 面向企业的端到端软件办理方案 NVIDIA AI Enterprise 涵盖了从数据准备、模型演习、仿真测试到模型支配的全体 AI 开拓流程,同时支持模型开拓支配和集群管理等事情负载,为企业供应一整套完善的功能。

当企业须要投入新的业务方向时,NVIDIA AI Enterprise 能够供应快速支配和上线的支持,帮助企业迅速适应市场变革。
个中包括演习框架 NVIDIA NeMo ,帮助轻松构建天生式 AI 运用。
而 NVIDIA NIM 则是 一套易于利用的预构建容器工具,帮助企业加速天生式 AI 的支配。