多模态大模型技能能使AI更好理解人类天下的繁芜信息，也能让AI落地运用时更符合人类的交互习气，在智能客服、自动驾驶、医疗诊断等多个领域展现出巨大运用潜力。

不过，当多模态能力让AI更像人时，也会带来很多隐忧。
被AI换脸后，谁能鉴别这个人不是我？

升级多模态能力，让AI更像真人

7月5日，蚂蚁集团公布了其自研的百灵大模型最新研发进展：百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并演习音频、视频、图、文等多模态数据。

从大会现场的演示看到，多模态技能可以让大模型更像人一样感知和互动，支撑智能体体验升级，比如百灵的多模态能力已运用于“支付宝智能助理”上，未来还将支持更多智能体升级。

据理解，百灵大模型多模态能力，在中文图文理解MMBench-CN评测集上达到GPT-4o水平，在信通院多模态安全能力评测达到精良级（最高），具备支持规模化运用的能力，能支持AIGC、图文对话、视频理解、数字人等一系列下贱任务。

发布现场，蚂蚁集团副总裁徐鹏展示了新升级的多模态技能可实现的更多运用处景：通过视频对话的自然形式，AI助理能为用户识别穿着打扮，给出约会的搭配建议；根据用户不同的意图，从一堆食材中搭配出不同的菜谱组合；根据用户描述的身体症状，从一批药物中，挑选出可能得当的药，并读出服用辅导，供用户参考等。

基于百灵大模型多模态能力，蚂蚁集团已在探索规模运用落地家当的实践。
同时发布的“支付宝多模态医疗大模型”，便是这一探索的实践。
据理解，支付宝多模态医疗大模型添加了包含报告、影像、药品等多模态信息在内的百亿级中英文图文、千亿级医疗文本语料、以及千万级高质量医疗知识图谱，具备专业医学知识，在中文医疗 LLM 评测榜单 promptCBLUE 上，取得 A 榜第一，B 榜第二的成绩。

AI换脸不用怕，鉴真功能来了

同一天，蚂蚁集团联合清华大学发布大模型安全一体化办理方案“蚁天鉴”2.0版。
蚁天鉴2.0新增AI鉴真功能，支持图像、视频等多模态内容真实性及深度假造检测；并在测评功能上持续升级，打造了大模型安全测评“智能体”，并新增大模型X光、大模型根本举动步伐测评两大测评功能。

至此，蚁天鉴2.0形成了包括大模型根本举动步伐测评、大模型X光测评、运用安全测评、AIGC滥用检测、证件假造检测、围栏防御等在内的完全技能链条，面向行业供应全方位智能化的大模型安全测评和防御办理方案。

从现场理解到，蚁天鉴2.0在防御端新增「AI鉴真」功能。
支持多模态内容真实性及深度假造检测，可快速精准鉴别图像、视频、音频、文本内容的真伪，图像识别准确率99.9%达到行业最高精良级（信通院测评）。

目前，蚁天鉴2.0依托天生模型自建百万量级音视图多模态合成数据集，覆盖主流天生方案，有效应对AI换脸、声音仿照、证件假造等各种深度假造风险场景。

而在测评端，蚁天鉴2.0研发了业内首个“测评智能体”。
该测评智能体供应全流程自动化的安全测评工具，支持各种形式模型和深度学习框架，可扩展测评垂类大模型、多模态大模型及Agent智能体，并能根据被测大模型的安全水位动态调度攻击策略和出具测试用例，保障测评效果和效率。

目前，蚁天鉴2.0有超300万高质量测评题库，支持最高50万/日的饱和式攻击和逐级勾引深度攻击，并实现了1事情日内完成测评，全流程自动化率＞99%。

与此同时，该智能体也增加了两项新功能。
一是「大模型X-ray」。
即大模型X光，可针对大模型的内在神经元进行X光扫描来做探查和判断，让研究职员理解大模型内部在发生什么、定位可能引发风险的神经元、并进行编辑改动，从而在模型内部管理幻觉，实现从源头识别和抑制风险。
二是「大模型根本举动步伐测评」。

此前蚁天鉴的测评能力紧张集中于大模型天生的内容安全、合规风险等检测。
蚁天鉴2.0从攻击者全链路视角出发，深入扫描模型算法组件及软件系统，可及时准确创造大模型供应链及运行环境安全问题，保障云到真个运用安全可控。