Sora 等工具可以根据文本提示天生令人信服的***片段。

《自然》| 人工智能生成的图像和视频若何影响研究?_人工智能_图像 AI简讯

将文本描述转换为图像和***的人工智能 (AI) 工具正在迅速发展。

正如许多研究职员利用 ChatGPT 来改变科学写作的流程一样,其他研究职员也利用 Midjourney、Stable Diffusion 和 DALL-E 等 AI 图像天生器来减少制作图表和插图所需的韶光和精力。
然而,研究职员警告说,这些人工智能工具可能会刺激虚假数据和不准确的科学图像的增加。

Nature着眼于研究职员如何利用这些工具,以及它们的日益遍及对科学意味着什么。

文本转图像工具如何事情?

许多文本到图像的人工智能工具,例如 Midjourney 和 DALL-E,都依赖于称为扩散模型的机器学习算法,这些算法经由演习可以识别从互联网上抓取的数百万张图像与这些图像的文本描述之间的联系。
近年来,由于硬件的改进和用于演习的大型数据集的可用性,这些模型取得了进步。
演习后,扩散模型可以利用文本提示天生新图像。

研究职员用它们做什么?

一些研究职员已经在利用人工智能天生的图像来解释科学论文中的方法。
其他人则利用它们在社交媒体帖子中宣扬论文或为演示幻灯片增长意见意义。
“他们正在利用 DALL-E 3 等工具天生俊秀的图像来构建研究观点,”加拿大蒙特利尔 ServiceNow Research 的人工智能研究员 Juan Rodriguez 说道。
“我上周四就我的事情进行了一次演讲,我利用 DALL-E 3 天生吸引人的图像以吸引人们的把稳力,”他说。

罗德里格斯说,文本转***工具也在兴起,但彷佛没有被那些没有积极开拓或研究这些工具的研究职员广泛利用。
然而,这种情形可能很快就会改变。
上个月,位于加利福尼亚州旧金山的 ChatGPT 创建者 OpenAI 发布了由名为 Sora 的文本转***工具天生的***剪辑。
“通过我们在 Sora 身上看到的实验,他们的方法彷佛在快速得到结果方面更加稳健,”罗德里格斯说。
“我们在文本到***方面还处于早期阶段,但我想今年我们会知道它是如何发展的,”他补充道。

利用这些工具有什么好处?

天生式人工智能工具可以减少为论文、会议海报或演示文稿天生图像或图表所需的韶光。
常日,研究职员利用一系列非人工智能工具,例如 PowerPoint、BioRender 和 Inkscape。
“如果你真的知道如何利用这些工具,你可以做出令人印象深刻的数字,但这很耗时,”罗德里格斯说。

罗德里格斯说,人工智能工具还可以为那些创造很难将科学观点转化为视觉赞助工具的研究职员提高图像质量。
他说,通过天生式人工智能,研究职员仍旧可以提出图像的高等想法,但他们可以利用人工智能来完善它。

有哪些风险?

目前,人工智能工具可以天生令人信服的艺术作品和一些插图,但尚无法天生带有文本注释的繁芜科学图形。
“他们无法精确识别文本 - 文本有时太小、太大或旋转,”罗德里格斯说。
仲春中旬揭橥在《细胞与发育生物学前沿》上的一篇论文明确了可能涌现的问题类型,个中研究职员利用 Midjourney 描述了老鼠的生殖器官。
结果通过了同行评审,是一只卡通啮齿动物,其生殖器巨大得风趣,并附有胡言乱语的注释。

这个现在臭名昭著的人工智能天生的人物涌如今一篇后来被撤回的科学论文中。

“这是一只非常奇怪的老鼠形象,”加拿大埃德蒙顿阿尔伯塔大学古生物学学生古生物学家亨利·夏普说。
法国图卢兹大学研究人工智能天生敲诈文本的纪尧姆·卡巴纳克 (Guillaume Cabanac) 表示,这一事宜是“迄今为止涉及人工智能天生图像的最大案件”之一。
在研究职员的"大众强烈抗议后,该论文被撤回。

罗德里格斯说,人工智能工具也有可能使科学敲诈者更随意马虎产生虚假数据或不雅观察结果。
他说,论文可能不仅包含人工智能天生的文本,还包含人工智能天生的图形。
目前还没有可靠的方法来检测此类图像和***。
“从某种意义上说,这将变得非常恐怖,由于我们将受到虚假和合成数据的轰炸,”罗德里格斯说。
为理解决这个问题,一些研究职员正在开拓将旗子暗记注入人工智能天生的图像中以实现检测的方法。

为什么会涌现一些领域的强烈反对?

上个月,夏普在 X、Facebook 和 Instagram 等社交媒体平台上发起了一项民意调查,调查了约 90 名古生物学家对人工智能天生的古代生命描述的意见。
“只有四分之一的专业古生物学家认为人工智能该当被许可涌如今科学出版物中,”夏普说。

他补充说,人工智能天生的古代生命形式或化石图像可能会误导科学家和"大众年夜众。
“这是不准确的,它所做的只是复制现有的东西,它实际上不能出去阅读论文。
” 夏普说,与古生物学家协商,手工迭代地重修古代生命形式可以揭示合理的解剖学特色——这一过程在利用人工智能时完备丢失。
古艺术家和古生物学家利用#PaleoAgainstAI 标签对 X 表达了类似的不雅观点。

出版商如何适应这些工具的盛行?

期刊对付人工智能天生图像的政策有所不同。
Springer Nature禁止在大多数非专门关于 AI 的期刊文章中利用人工智能天生的图像、***和插图(Nature的***团队独立于其出版商 Springer Nature)。
科学系列期刊不许可在未经编辑明确容许的情形下利用人工智能天生的文本、图形或图像,除非论文专门涉及人工智能或机器学习。
PLOS ONE 许可利用人工智能工具,但指出研究职员必须声明所涉及的工具、他们如何利用该工具以及他们如何验证天生内容的质量。

参考文献

Carissa Wong. AI-generated images and video are here: how could they shape research? https://doi.org/10.1038/d41586-024-00659-8

Guo, X., Dong, L. & Hao, D. Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway. Front. Cell Dev. Biol. 11, 1339390 (2024); retraction 12, 1386861 (2024).

后记

如果您有什么想法,欢迎给@YiyiKing留言。