7月4日，2024天下人工智能大会暨人工智能环球管理高等别会议正式开幕。
高通公司中国区研发卖力人徐晧出席“AI赋工业，数智启未来”人工智能赋能新型工业化主题论坛并揭橥主题演讲，磋商AI如何为工业生产注入智能化的基因，实现高质量发展，推动人工智能技能在工业领域运用。

徐晧表示，异构打算、量化压缩等技能手段能帮助云端大模型落地终端，从而赋能广泛的工业运用。
5G与AI相结合，将助力打造更加智能的工业环境。
以工业场景中的机器人用例为例，现在的机器人紧张利用打算机视觉或者深度学习完成理解和功能实行。
随着天生式AI打破性的发展，未来机器人能够理解我们提出的哀求，加上机器人学科实现的出色定位、导航和机器臂掌握，可以打造非常智能的运用。
结合5G与AI，机器人能够实现网络连接，赋能运维和质检等生产环节，打造更加智能和当代化的工业环境。

以下为演讲全文：

大家好。
刚才的高朋分享了行业运用，我想分享一下更底层的算法设计，以及我们如何从终端侧把AI遍及到人们的日常生活中。
本日论坛的主题是人工智能赋能新型工业化，因此末了我会分享一些工业运用上的AI用例。

天生式AI的能力在不断增强，紧张表示在以下方面：

●语音UI，我们有更多更智能的语音支持，带来自然直不雅观交互;

●多模态大模型，除了早期与ChatGPT进行的笔墨对话，现在我们看到了更多的***/图像处理，以及图像/笔墨的共同处理;

●在***和3D方面，我们有更多的沉浸式体验;

●更长的高下文窗口，现在有越来越长的文章乃至于一整本书，都可以用AI处理一次性总结出来;

●个性化，终端侧的AI运用可以带来更加个性化的内容处理;

●智能体，人们可以根据自己的喜好来打造个人AI智能体;

●末了，现在可以看到越来越多由AI增强的高清晰度图像和***。

此前，我们带来了环球首个运行在Android手机上的Stable Diffusion终端侧演示，最近，我们还实现了环球首个在Android手机上运行的多模态大模型(LMM)演示。
比如用户可以给冰箱里的食材拍一张照片，然后问大措辞模型“你看到了什么?”，AI可以很快地识别所有物体。
然后用户可以接着问“基于这些食材，请给我推举一个菜谱”，AI就可以把菜谱展示出来。
这比最开始我们仅仅能问AI“本日景象怎么样”或者“给我讲一个笑话”要好很多。
这个是我们在手机端或者用户端，看到大措辞模型以及多模态模型能够支持的更多用例。

从技能上来说，哪些是我们把大措辞模型运用落地到端侧必须实现的核心技能?首先，很多最基本的大措辞模型都是10亿乃至30亿以上的参数规模，这种规模的模型想要在手机上运用实在具有一定寻衅。
以是，我们须要把云真个大模型算法，通过最大略、最有效且最节能地方式支配在手机和其他智能终端上。
如果我们的手机能够做一些最基本的天生式AI运算支持，这要比把所有的照片和***都传到云端运算再传回来更高效、更安全。

正如当年的云打算与在手机和电脑上打算类似，现在的大措辞模型能够在云端运行，今后我们希望同样的模型能够在手机、个人电脑、机器人、汽车上运行。
通过量化和压缩、推测性解码、知识提炼、高效的图像和***架构以及异构打算这5个主要的技能手段，能够帮助把云真个大模型，包括Llama、ChatGPT以及海内一系列大模型落地到终端，赋能包括工业运用、手机/平板电脑运用等等。

举几个大略的例子。
首先是量化，量化对付能耗、运算和存储都有很大影响，比如把32位浮点变成16位定点，看起来只是减少了两倍，但实际上，存储数据时占用的内存更少、传输数据量也更少、无论是加法还是乘法的运算量也更少，以是仅仅是从32位变成16位，就会带来4倍的能耗减少。
从32位到8位，能带来16倍的能耗减少;从32位到4位，能带来64倍的能耗减少。
这也是为什么所有的人工智能算法公司都在想办法把浮点变成定点，由于这会让运算的存储和数据的传输更简洁。

对付每一个类似的技能方向，我们都在积极努力考试测验。
比如，你可以先演习再量化;或者在演习的时候直接考虑量化的影响。

接下来是知识提炼。
我们可以将其算作“西席”和“学生”的关系。
比如可以将一个大模型想象成一个非常厉害的教授或者院士，但是每每在你的手机上，只须要一个小学生模型就能处理事情。
比如我们只问它“冰箱里有多少菜”，小学生就能回答这个问题。
如果大多数问题都在这个级别，你的手机只需一个“小学生模型”即可。
知识提炼即可以通过对“西席模型”的学习，将其改为一个“小学生模型”，这个模型在手机端很随意马虎运行。

接下来是推测性解码。
比如这个大措辞模型一次只能解码1个token，如果能用小模型，在同样的韶光和算力的情形下，可能可以天生4个token。
用一个小模型天生多个不太准确的token，然后把这些token直接送给大模型一次检讨并决定接管哪些token，这就比完备由大模型一个一个天生token要高效很多。
这个就叫做推测性解码。

下面是我们现在做的方案器(Orchestrator)。
如果用户见告他的手机“我本日要从上海飞到北京，请帮我查找我须要的航班和酒店”，那么手机须要调用不同的程序。
由于现在不存在能够把所有需求都安排好的一个程序，因此就须要智能体作为一个底层架构，把所需的程序调用起来、把所需的资源放在一起，然后安排可以知足用户需求的功能。
这便是在最基本的底层方面，我们对智能体进行的支持。

接下来，我将先容一下在机器人方面有哪些详细的AI运用。
我们看到，现在的机器人大多数时候都是利用打算机视觉或者深度学习完成理解和功能实行。
但是，随着近两三年来大措辞模型打破性的发展，实际上机器人是能够理解我们对它提出的一些最基本的哀求，那么它把“理解”这一环节办理之后，其他功能就更随意马虎实现了。

机器人的大脑可以利用大措辞模型，加上机器人学科实现的出色定位、导航和机器臂掌握，可以打造非常智能的运用。
结合5G与AI，机器人能够实现网络连接，赋能运维和质检等生产环节，从而打造更加智能和当代化的工业环境。
在这样的工业环境中，我们可以进行实时数据剖析、供应链优化、高可靠性智能掌握并带光降盆灵巧性。
我们看到在人工智能和5G的加持下，智能生产环境在中国及环球范围内可以得到日益广泛的推广。

末了，这是我们近期做的一个AI做事机器人展示。
我们如果见告机器人“我想喝水”或是“我口渴”，机器人会供应不同的饮料选择，当用户选择之后，机器人可以走到房间另一侧，识别出用户想要的饮料，比如水、茶或是可乐，然后拿给用户。
像这样由人工智能驱动的机器人，已经可以在日常生活中实现类似的操作。

未来，我们会看到越来越多这样的运用处景，我们希望人工智能不仅是在云端运行大措辞模型、也希望这些人工智能算法能够落地到终端，落地得手机、个人电脑、机器人、汽车、XR眼镜等等，创造出更丰富多彩的运用处景。
感激大家。