人工智能特殊是深度学习在糖尿病及并发症管理领域发挥着越来越主要的浸染，如2017年，时任新加坡国家眼科中央医学主任的黄天荫教授及其团队在国际上率先基于深度学习算法并在多种族人群上实现了自动诊断中重度DR病例，成果揭橥于JAMA，在智能医疗发展历史上具有里程碑式意义。

2015年来，贾伟平教授组织多学科团队开展20万人糖尿病眼病筛查项目，2018年，贾伟平教授和李华婷教授团队与上海交通大学电子信息与电气工程学院盛斌教授团队开展医工交叉协同创新，携手新加坡国家眼科中央等机构，在上海市科委和上海交通大学支持下，获批组建上海市代谢干系疾病聪慧防控“一带一起”国际联合实验室，致力于在代谢干系疾病防治领域开展广泛医工交叉和国际互助，携手打造人类卫生康健共同体。
联合实验室自建立以来，研制了迁移强化的多任务深度学习系统DeepDR，实现了对糖尿病视网膜病变（DR）从轻度到增殖期病变的全病程自动诊断，并能对眼底图像的质量进行实时反馈以及眼底病变的识别分割, 成果2021年揭橥于Nature Communications，该技能同时运用于国际糖尿病同盟“环球中低收入国家糖尿病视网膜病变筛查项目”，推广至48个国家。
2021年底，黄天荫教授受聘于清华大学担当讲席教授及医学学科带头人，积极开展人工智能赋能糖尿病及眼病并发症诊疗的转化研究事情。
“一带一起”国际联合实验室与黄天荫教授团队持续互助，成功构建基于Weibull稠浊分布模型的深度学习系统DeepDR Plus，在环球率先实现对DR进展长达5年的风险预警和进展预测，超越在该领域此前由美国Google拥有的技能，可在大幅降落筛查频率和公共卫天生本的情形下仍保持极低的漏诊率，成果于2024年1月揭橥于Nature Medicine。

然而，既往的人工智能系统研发紧张集中在糖尿病的并发症筛查或赞助管理的单一领域。
随着环球范围内以ChatGPT为代表的天生式人工智能技能的迅猛发展，多模态大模型正不断推动医疗领域的新运用处景和模式的呈现，但这些模型尚不能根据患者的医学影像和详细病情，供应准确且安全的糖尿病综合诊疗建议。
鉴于这种现状，如何有效整合糖尿病并发症的精准诊断与糖尿病诊疗见地的自动天生，构建出一个安全可控的多模态智能模型，以支持基层年夜夫供应一站式赞助诊疗做事，已成为国际医疗领域的前沿课题和重大寻衅。

针对当前的技能空缺和临床的实际需求，本研究成功研发了环球首个面向糖尿病基层诊疗的视觉-大措辞模型多模态集成智能系统DeepDR-LLM。

该系统由LLM模块和DeepDR-Transformer模块组成，科研团队创新性地提出领悟适配器（Adaptor）和低秩自适应（Low-Rank Adaptation, LoRA）协同优化技能，构建了DeepDR-LLM多模态大模型（图1），可适配包括LLaMA在内的大措辞模型，LLM模块将演习网络层与大措辞模型的固有权重参数相领悟，打破低算力资源约束下的多模态大模型优化的瓶颈，并进一步基于37.2万条基层慢病诊疗和慢病管理数据和知识实现了高效优化演习，使DeepDR-LLM系统可基于患者个体的临床信息天生精准糖尿病管理见地。

与此同时，DeepDR-Transformer模块引入Transformer模型架构针对超50万张眼底图像进行演习，精准实现眼底影像的质量检测、病变分割和DR分级诊断。
DeepDR-Transformer模块天生的DR等干系视觉特色信息可自动输入LLM模块，从而实现DeepDR-LLM系统的一站式多模态诊疗见地集成。

图1. DeepDR-LLM系统概览

DeepDR-LLM系统自去年研制成功后，科研团队对该系统开展了安全性、可靠性、可控性、公正性等多维度的评估（图2）。

研究团队约请喷鼻香港中文大学Juliana C. N. Chan教授、上海市第六公民医院包玉倩教授、澳大利亚Baker心脏病与糖尿病研究所Jonathan E. Shaw教授、美国约翰霍普金斯大学Justin B. Echouffo-Tcheugui教授、新加坡国家眼科中央Gavin Siew Wei Tan教授等糖尿病干系学科的著名学者组成国际多学科专家委员会，专家委员会首先从覆盖中国31个省区的中国糖尿病慢性并发症研究行列步队中随机抽取100个病例样本，专家针对每个病例形成诊疗共识，以此为标准答案，对DeepDR-LLM系统和基层年夜夫给出的诊疗见地进行盲法评分，创造DeepDR-LLM系统产出诊疗见地的质量达到或优于基层年夜夫的水平（图2a）。
DeepDR-LLM系统通过来自北京、上海、广州、武汉及喷鼻香港等中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦六个国家的超50万张眼底图像对DeepDR-LLM系统进行外部测试，其DR诊断能力达到专业眼科年夜夫水平（图2b）。
进一步通过面向中国基层年夜夫和新加坡读片职员的读片试验，利用从中国糖尿病慢性并发症研究、新加坡眼病盛行病学研究等数据库抽取的眼底图像，团队同时证明了基层年夜夫在DeepDR-LLM的赞助下能够更准确地判读DR（图2c）。
更主要的是，研究团队将集成的DeepDR-LLM系统运用于真实天下临床流程，开展了随访769名中国基层糖尿病患者的前瞻性研究，证明了在DeepDR-LLM系统纳入糖尿病诊疗流程后，可显著改进新发糖尿病患者的自我管理行为，并提高DR患者的转诊允从性（图2d）。

图2. DeepDR-LLM系统评估流程

目前环球基层糖尿病管理水平参差不齐，中低收入国家面临医疗资源不敷、缺少演习有素的基层年夜夫等寻衅。
DeepDR-LLM系统具备DR赞助诊断及糖尿病管理见地推举功能，将其纳入基层糖尿病管理诊疗流程有望提高基层DR筛查能力和糖尿病管理见地推举能力，进而改进糖尿病患者预后（图3）。

研究团队秉承以人为本、智能向善理念，通过医工交叉和国内外学术互助，先后奏响了糖尿病智能筛、防、治的DeepDR“三部曲”（DeepDR、DeepDR-Plus、DeepDR-LLM），为糖尿病管理的未来变革供应了新的高质量循证证据，推动“一带一起”及中低收入国家和地区的基层糖尿病管理模式的持续进步，为环球糖尿病管理更好地融入数字化、智能化、绿色化潮流贡献中国方案和亚洲聪慧。

图3. DeepDR-LLM系统纳入基层糖尿病诊疗流程的愿景

美国医学科学院院士、精准医学先驱、环球医学领域最高引用前十学者、美国斯克里普斯研究研究所（Scripps Research）所长Eric Topol教授评价：“For people with diabetes, multimodal AI provided high quality and empathetic guidance with enhanced self-management behaviors beyond the primary care physician alone”。

2023年沃尔夫医学奖得主、GLP-1研究领域的奠基人和精彩领袖、加拿大多伦多大学医学院教授Daniel J. Drucker教授评价：“DeepDR-LLM holds promise as a digital solution for enhancing primary diabetes care and diabetic retinopathy screening”。

亚洲糖尿病协会创始人、ADA国际糖尿病Harold Rifkin精彩奖得到者、喷鼻香港中文大学陈重娥（Juliana C. N. Chan）教授评价：“This is a very innovative project of combining language and image AI models to address a public health problem”。

清华大学黄天荫教授、上海交通大学盛斌教授、上海交通大学医学院附属第六公民医院贾伟平教授及李华婷教授、新加坡国立大学覃宇宗教授为本文共同通讯作者。
博士生李佳佳、博士生管洲榆、上海市保健医疗中央王静年夜夫为本文共同第一作者。
本事情还得到了来自国家基层糖尿病防治管理办公室、中国医学科学院北京协和医学院、都城医科大学、华中科技大学、中山大学、喷鼻香港中文大学等多个机构及专家团队的支持和帮助。
此外，英国、美国、新加坡、澳大利亚、西班牙、马来西亚、阿尔及利亚、乌兹别克斯坦、泰国、印度等国的多学科专家团队给予了帮助和支持。
该研究得到科技部国家重点研发操持、国家自然科学基金和上海市科委“一带一起”国际联合实验室培植项目等帮助。
DeepDR-LLM系统研发所需算力资源得到上海交通大学AI for Science科学数据开源开放平台的支持。