干系研究报告已揭橥于最新一期的《自然·生物医学工程》。

在医学临床实践中，年夜夫常日须要综合考虑多种不同模态的医学信息来做出诊断，比如病人病历、血液检讨、影像报告等等，这种综合剖析能力须要年夜夫有丰硕的医学专业知识和长期临床实践履历。

如果能利用人工智能得到这种综合剖析的能力，赞助年夜夫诊断，将极大提高医疗效率、缓解医疗资源短缺。
基于人工智能的医学图像诊断近年来取得了很大的进展，但如何让打算机将医学图像及其干系的临床信息综合起来解读仍是一个较大的难题。

为办理上述问题，澳门科技大学教授张康领衔的团队开拓了“IRENE”。
该模型包含了统一的数据输入处理模块和双向的跨模态把稳力机制模块，旨在通过共同学习不同信息间的整体特色和其关联性来做出决策。
该模型可以有效整合医学图像、非构造化的病历信息和实验室检测数据，利用统一的跨模态剖析流程，实现综合处理不同数据，从而做出更为准确的判断。

据张康先容，团队将统一模型运用到了识别肺部疾病和预测新冠不良临床症状。
相较于只利用图像的模型和非整合的多模态诊断模型，在识别肺部疾病方面的准确率分别提升了12%和9%，在预测新冠患者的不良临床结果方面提升了29%和7%。

张康表示，这一新开拓的医学赞助诊断方法，为缓解医疗资源紧张供应了有力工具，同时也为后续以医学人工智能整合任何多模态信息供应了新的思路。