作者:潘云鹤

前沿研究丨人工智能的多重常识表达_常识_视觉 绘影字幕

来源:Multiple Knowledge Representation of Artificial Intelligence[J].Engineering, 2020, 6(3).

在新一代人工智能时期,知识存在三种表达,包括知识的言语表达、知识的形象表达和知识的深度神经网络表达。
个中知识的言语表达的特点在于利用符号数据,构造清晰,语义可理解,知识可推理,其范例例子如语义网络、知识图谱等。
知识的形象表达的特点在于适用于图形、动画等形状、空间、运动的数据,知识的构造清晰,语义可阐明,知识可推演,其范例如视觉知识等。
知识的深度神经网络表达的特点在于适用于图像、音频等非构造化数据的分类与识别,其范例例子如深度神经网络(DNN)、卷积神经网络(CNN)等。

本文提出了由知识图谱、视觉知识和深层神经网络等构成的人工智能三重知识表达机制,个中的知识图谱、视觉知识分别善于于处理字符性内容和形象性内容,DNN善于对感性数据作层次抽象,并分别对应于仿照人类大脑中对长期影象与短期影象中的信息加工与处理。
它们彼此能相互衔接、相互支持,从而有利于知识表达与推理等智能打算的可阐明性,可推演性和可迁移性的实现。

(1)知识图谱——语义的影象内容,宜用于字符检索与推理。

(2)视觉知识——情景的影象内容,宜用于时空推演与显示。

(3)深度神经网络——觉得的影象内容,宜用于对原始数据作逐层抽象的分类。

个中(1)和(2)与人类长期影象中的两大内容,言语的和心象的编码办法相对应。
个中(3)与人类短期影象中的感知内容相对应。
因此,上述三种知识表达具有犹如人类影象中的信息特点一样,具有内容系统互补的特点,在事情中,他们是须要被同时利用的,因此组成为三重知识表达。

除了信息内容与利用的互补之外,上述三重表达的另一主要性子是它们之间的相互联系与相互支持。
视觉知识通过投影变换可以将三维图形或动画信息转化为图像或***信息。
反之,通过3D重修技能,也可以将图像或***信息转化为3D图形或动画信息。

视觉知识的语义是很清晰的,因此,可以用符号检索与匹配等技能把视觉知识与知识图谱进行语义的对应,从而实现转化。
也便是说,视觉知识与知识图谱中的情景信息与语义信息的联系,可以通过表达的构造(指针)模型来实现;视觉知识与深度神经网络所用的图像与***数据的联系可以用重修与变换打算来实现。

上述三重知识表达之间的相互联系与支持关系,以“猫”为例,如图所示。

个中知识图谱表达了猫的种属高下关系;视觉知识表达了猫的形体、构造和动作等等时空特色;深度神经网络表达了对所供应的猫的正负样本图像判别的一种抽象。
实在,当猫的图像符合其某种系统哀求时(犹如猫的不同不雅观察视角),这些图像也可以重修为视觉知识。
视觉知识可以通过变换(几何投影、动作变换等)天生各种猫的图像供DNN学习。
通过视觉知识与知识图谱联系,可推知,由于猫、虎、豹同属猫科动物,以是具有类似的形体、构造与动作。
因此,猫的视觉知识可通过得当的修正而形成虎、豹的视觉知识,这就以随意马虎理解的办法实现了迁移学习的功能,也为小数据下的知识学习(如少样本、零样本学习)的小数据与模型的通用化打开了一扇大门。

改编丨吴飞

注:本文内容呈现形式略有调度,若需可查看原文。

改编原文:

Yunhe Pan. Multiple knowledge representation of Artificial Intelligence [J]. Engineering, 2020: 6(3).

作者先容

潘云鹤,打算机运用专家,中国工程院院士。

长期从事打算机图形学、人工智能、CAD和工业设计的研究,是中国智能CAD和打算机美术领域的开拓者之一。
在打算机美术、智能CAD、打算机赞助产品创新、虚拟现实和数字文物保护、数字图书馆、智能城市和知识中央等领域承担过多个主要科研课题,创新性地提出跨媒体智能、数据海、智能图书馆、人工智能2.0等观点,取得了多项主要研究成果。

☟ 更多干系内容,点击以下链接查看:

前瞻方案:人工智能+医药康健

人工智能:源于人、拓于工

中国工程院院刊

工程造福人类

科技首创未来

微信"大众年夜众号ID :CAE-Engineering

解释:论文反响的是研究成果进展,不代表《中国工程科学》杂志社的不雅观点。