龚健雅1, 张觅1, 胡翔云1, 张展2, 李彦胜1, 姜良存1
1. 武汉大学遥感信息工程学院, 湖北 武汉 430079;2. 武汉大学测绘遥感信息工程国家重点实验室, 湖北 武汉 430079
基金项目：国家自然科学基金重大研究操持（92038301）；国家自然科学基金青年基金（41901265）
择要：近年来, 随着遥感技能的快速发展, 遥感对地不雅观测数据获取量进步神速。在对海量遥感数据的特色提取与表征上, 基于深度学习的智能遥感影像解译技能展现出了显著上风。然而, 遥感影像智能处理框架和信息做事能力还相对滞后, 开源的深度学习框架与模型尚不能知足遥感智能处理的需求。在剖析现有深度学习框架和模型的根本上, 针对遥感影像幅面大、尺度变革大、数据通道多等问题, 本文设计了嵌入遥感特性的专用深度学习框架, 并重点谈论了其构建方法, 以及地物分类任务的初步试验结果等。本文提出的智能遥感解译框架架构将为构建具备多维时空谱遥感特性的深度学习框架与模型供应有力支撑。
关键词：遥感智能解译 深度学习 专用框架模型 遥感特性
引文格式：龚健雅, 张觅, 胡翔云, 等. 智能遥感深度学习框架与模型设计[J]. 测绘学报，2022，51(4)：475-487. DOI: 10.11947/j.AGCS.2022.20220027GONG Jianya, ZHANG Mi, HU Xiangyun, et al. The design of deep learning framework and model for intelligent remote sensing[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(4): 475-487. DOI: 10.11947/j.AGCS.2022.20220027
阅读全文：http://xb.sinomaps.com/article/2022/1001-1595/2022-4-475.htm遥感对地不雅观测技能的发展与地理国情普查等项目的履行，形成了时效性强、覆盖范围广、信息量丰富的海量数据[1-2]。随着大数据、人工智能等技能的发展，基于深度学习的遥感影像解译与监测技能表现出了一定的上风。但在实际运用中，遥感影像智能处理框架和信息做事能力相对滞后[3-5]，仍未形成与人脸识别、车牌识别等类似的可广泛实用化的智能系统。截至目前，开源的深度学习框架与模型尚不能知足遥感影像智能处理的急迫需求。遥感影像的智能解译涉及场景识别、目标检测、地物分类、变革检测、多视角三维重修等范例任务。在深度学习框架和模型方面，大多由通用图像识别的模型改造而来，一样平常只考虑可见光波段的图像特色，未顾及更广泛的遥感物理特性和地学知识等主要成分。在可扩展性方面，已有的深度学习框架大多只支持输入小尺寸影像，难以支持大幅面遥感影像整体演习[6]。例如演习语义分割网络，如果直接载入30 000×30 000像素的大幅影像，则会涌现内存溢出问题导致演习失落败。为担保正常演习，常日需将大幅遥感影像裁剪为512×512像素的固定尺寸作为语义分割网络的输入。然而，在这种处理办法下，现有深度学习框架难以挖掘到影像大范围空间高下文信息，使其扩展性受限；在尺度通道构建方面，普通影像包含场景范围小，尺度有限，而遥感影像受传感器、不雅观测平台影响，分辨率各不相同、地物尺度变革极大，例如水体、植被等[7]。现有深度学习框架缺少应对如此大尺度变革的优化方法；在数据通道选择方面，普通影像的三通道干系性小，无须繁芜的通道选取。遥感影像，尤其是高光谱影像，包含数百个通道，亟须深度学习框架具备优选能力[8-9]；在知识领悟与建模方面，深度学习过程存在“灾害性遗忘”[10-11]，难以同时保有新旧数据处理能力。遥感影像有“同谱异物、同物异谱”征象，仅靠学习的图像特色，难达到空想精度，不能利用先验知识集成地学抽象规则，做出可阐明、高可靠的决策。因此，亟须设计嵌入遥感地学先验知识的高效、可靠的智能遥感深度学习框架与模型。人工智能时期，智能遥感深度学习框架与模型是连通遥感硬件、软件、运用处景的枢纽与关键。由于遥感对地不雅观测与智能处理的计策代价，美国在2020年将基于人工智能的遥感技能列为敏感技能并限定出口，对我国形成新一轮封锁态势。鉴于目前尚无顾及遥感大幅面、多通道、知识领悟特性的深度学习框架，研究面向遥感运用、具备自主知识产权的专用深度学习框架与模型，盘踞遥动听工智能生态链的制高点已显得尤为紧迫。本文针对遥感影像特点以及目标识别与动态监测等运用需求，提出了兼顾遥感影像特性的智能遥感深度学习框架与模型的研究思路(图 1)，并基于该研究路线设计了具备多维时空谱遥感特性的遥感专用深度学习框架与模型。图 1 智能遥感深度学习框架与模型技能研究路线 Fig. 1 The technology roadmap of dedicated deep learning framework and model for intelligent remote sensing
图选项
遥感专用深度学习框架具备不限定遥感影像大小特点，具有多框架稠浊编程、可拖拽的可视化操作及数据与框架协同等功能，使其能够与样本库紧密结合，自动适应多类型、多尺度、多级别的大规模遥感影像样本的演习与测试。同时，该框架能够构建顾及遥感特性的优化剖析方法，为模型构造优化供应了科学依据。本文方法将形成尺度通道可灵巧创建、数据通道可自适应优选、多层级联合优化的遥感专用深度学习框架与模型，能为遥感影像智能处理新理论、新技能和新成果的验证奠定根本。自2012年ImageNet寻衅赛以来，面向通用图像处理的深度学习框架和模型迅猛发展。而现有的遥感领域影像处理模型，多由普通影像预演习模型迁移得到，并不具备遥感影像解译所需特性。目前开源深度学习框架种类繁多(表 1)。海内里国科学院打算所推出了人脸识别深度学习框架Dragon[12]，清华大学发布了计图(Jittor)，百度、华为、旷世、一流科技等企业相继开源了PaddlePaddle、MindSpore、MegEngine及OneFlow等框架。在国外，早期蒙特利尔理工学院开源了Theano[13]、伯克利大学研发了Caffe[14]，日本首选网络研发了Chainer框架, Google、Facebook、Amazon等先后开源了Tensorflow[15]、PyTorch[16]、MXNet[17]等框架。虽然通用深度学习框架数目浩瀚，但构建框架的核心技能呈收敛态势，包括：掌握流与数据流及操作符与张量；打算图优化与自动梯度打算；实行引擎、编程接口、支配运维及分布式演习等。
表 1 国内外紧张开源深度学习框架比拟
Tab. 1 The comparison of the current open-source deep learning framework
在掌握流与数据流方面，神经网络依赖关系表示为有向无环图。随着并发处理需求增多，函数式编程的框架正霸占主流。Tensorflow、PyTorch、MindSpore等框架侧重打算图的函数式求解办法，对完全模型一次性求解。在操作符与张量表达方面，Caffe等传统框架利用层(Layer)粗粒度的双向实行逻辑。在前向传播时，程序实行递增循环；在反向传播时，程序逆向做递减循环。Tensorflow将有向无环图的操作符和张量分开表示，其细粒度表示的开拓灵巧性更强。由于细粒度表示对编译器哀求较高，多数框架也支持粗粒度操作符，例如卷积、池化等操作符。因此，粗细结合算子是深度学习框架的发展趋势。此外，对张量打算的支持，可通过C++模板元编程提高效率。例如Tensorflow框架利用Eigen库，MXNet采取Mshadow库。在打算图优化方面，深度学习框架利用编译器技能对有向无环图优化重写。打算图优化包括编译器优化、无用代码与公共子表达式肃清、操作符领悟、类型/形状推导及内存优化等。在自动梯度打算方面，深度学习框架有两种构建办法，一种是静态图，例如Caffe和Tensorflow；另一种是Chainer等框架推出的动态图。静态图打算效率高、易优化，但灵巧性、易用性不如动态图。无论基于静态图还是动态图的框架，自动逆拓扑序推导链式法则的反向传播打算图已成标配。用户只需描述前向传播，反向传播由框架自动推导完成。在实行引擎、编程接口、分布式演习与迁移支配方面，Tensorflow、PyTorch等通过折衷CPU和GPU设备提高打算效率。底层基于C++开拓，同时供应Python等前端接口。从开拓到支配屈服“离线演习、在线识别”原则。其演习依赖分布式平台，利用数据并行的策略扩大处理规模。然而，设备数量不断增加会导致通信开销增长，涌现模型效率丢失等毛病。因此，将打算矩阵分块的模型并行策略以及GPU接力演习的流水线并行策略受到了重视。目前，主流开源框架都支持数据并行，但对模型并行和流水线并行的支持仍较困难。在框架支配与运维方面，普遍用Docker和Kubernetess结合方案。同时，随着开放神经网络交流标准(ONNX)的推出，极大方便了网络模型在不同框架之间进行切换。例如，主流的Tensorflow、PyTorch等框架都支持ONNX标准。在根本模型设计方面，蒙特利尔大学率先在GPU上实现AlexNet[18]，并在ImageNet[19]取得超过第2名10%的精度；牛津大学设计了VGG-Net[20]使top5缺点率降至7.5%；谷歌推出的GoogleNet[21]，使识别精度大幅提升；文献[22]提出ResNet，使top5缺点率降落至4.5%；康奈尔大学与Facebook FAIR实验室等推出DenseNet[23]，使相同精度下打算量降落；中国科学技能大学与MSRA开源了HRNet[24]，刷新了MS-COCO数据集[25]3项记录。在模型构造自动搜索(NAS)方面，数据驱动的搜索紧张包含基于强化学习[26]、蜕变打算[27]与基于梯度的方法[28]。基于强化学习方法通过代理模型辅导搜索方向，常用代理模型有循环神经网络[29]与近端策略优化等[30]。基于蜕变打算方法将模型构造编码为字符序列，天生新的构造。个中网络架构与模型参数分别基于蜕变与随机梯度低落方法迭代更新[31]。基于强化学习和蜕变打算方法具有出色性能，但对打算哀求很高；基于梯度的方法能提升效率，利用概率平滑使搜索空间可微。目前，遥感影像智能处理涉及的运用模型大多由打算机视觉领域的根本模型及搜索方法改造而来，例如在遥感目标分类任务中，大量研究者利用了基于ResNet和空洞卷积构造的DeepLab系列模型[32-33]。基于这些根本模型及搜索方法的运用模型，在遥感目标检索与场景分类[34-35]、遥感目标检测[36-37]、遥感地物要素分类[38-39]、遥感变革检测[40-41]、多视三维重修[42-43]等任务均有广泛运用，但针对小尺寸影像搜索的模型，未顾及大幅遥感影像“像素-目标-场景”多层级要素提取、变革创造等任务的特性。通过比拟国内外开源深度学习框架和模型可以创造，为平衡打算和灵巧性需求，主流深度学习框架各有其优缺陷。然而，主流深度学习框架与模型针对的是普通影像，即小像幅室内/外影像。现有遥感解译模型大多由通用图像识别的深度神经网络改造，一样平常只考虑了影像的可见光影像特色，未顾及遥感光谱特性、地学先验知识、数据与框架协同等成分，导致支持遥感地学特性的框架仍是空缺。面向幅面大、数据通道多的遥感影像，遥感专用的解译框架与模型应具备内存可扩展、尺度与通道的自适应优选机制，其总体架构如图 2所示。前端接口和硬件/数据接口将其分为3层：前端接口之上为运用层，包含多框架稠浊编程和可视化交互模块；硬件/数据接口之下为硬件后端和遥感数据层，由设备和样本库管理模块组织与管理；两大接口间的专用框架核心层，包括中间表示与优化、实行引擎、显存管理、遥感数据特性嵌入及遥感数据与框架协同模块。本节首先先容专用框架前端运用层、硬件/数据组织与管理层、框架核心层，随后详细先容框架核心层中嵌入遥感特性的方法，末了先容专用框架的实行流程。图 2 遥感专用深度学习框架总体架构 Fig. 2 The overview of the dedicated deep learning framework for intelligent remote sensing
图选项
2.1 专用框架构建
(1) 前端运用层。用于兼容已有框架，供应交互式模型搭建界面，包括：①多框架稠浊编程模块。利用中间表示(IR)和虚拟机(VM)技能，将Tensorflow、PyTorch、MindSpore等框架的模型翻译本钱框架的中间格式，在后端实现支配。用户可利用本框架的编程接口、数据读取接口、网络实行接口等，利用Python环境和遥感影像特性优化算子，实现模型创建与运行。②可视化交互模块。前端供应图形用户界面接口(GUI)。如图 3所示，利用GUI拖拽构建网络模型，利用图标展示梯度、丢失等信息，直不雅观地查看演习过程的标量、图像、直方图等。网络模型由可拖拽的算子组成，能供应算子关键内容；对付算子记录输入、输出参数；对付网络模型记录算子、超参数信息等。GUI可一键拖拽算子，并展示属性、数据流向信息。图 3 网络构造可视化交互模块 Fig. 3 The visual interaction module of neural network
图选项
(2) 硬件/数据组织与管理层。用于屏蔽硬件设备差异，管理遥感影像样本库，实现高效读写与存储管理，包括：①设备管理模块。硬件接口下是硬件后端，包含X86、ARM、CUDA等设备，由设备管理模块卖力并对设备抽象，内容包括抹除硬件版本差异等。②样本库管理模块。数据接口下是遥感影像样本库。同时，样本库管理模块也卖力框架与数据协同组织，包括对上衔接样本自动增广、容错与提纯等任务，对下调度样本库索引。(3) 框架核心层。用于构建有向无环打算图，通过中间层表示优化，并环绕数据流和掌握流嵌入遥感特性实行打算。包括：①模型中间表示模块。对Tensorflow、PyTorch等框架和本框架实现的算法模型，组成有向无环打算图(节点代表张量，节点间代表张量间依赖)。②中间表示优化模块。该模块引入3种优化策略，一种是层领悟(layer fusion)，例如对卷积与激活的连续层合为一层，减少读写次数。另一种是张量领悟(tensor fusing)，通过寻址将不同分支结果填入得当位置，减少内存搬运。第3种是无用层肃清(dead layer elimination)。通过解析模型肃清无用层以减少打算量。③实行引擎模块。该模块根据打算图的算子打算顺序实行。实行引擎迭代演习时，根据程序和显卡数量构建静态单流赋值图(static single assignment graph, SSA graph)，多卡间只在聚合梯度时同步。同时，结合静动态图，以增强静态图模式的调试功能与动态图模式的运行效率。④显存管理模块。该模块采取3种显存优化策略。一种是显存预分配机制。若分配需求requested_size不超过显存池chunk_size，则从显存池分出requested_size的块；若requested_size大于chunk_size，则调用cudaMalloc分配requested_size的显存。另一种是垃圾回收机制，其浸染是在运行阶段开释无用变量空间，以节省显存。第3种是显存复用机制(inplace)，使算子输出复用输入显存空间。例如，数据整形(reshape)操作的输出和输入可复用同一显存空间。2.2 遥感特性嵌入层构建
遥感特性嵌入层，紧张支持框架核心层对大幅面、多尺度、多通道遥感数据的处理。个中基于间接缓冲区分组映射的内存可扩展方法，用于处理大幅面影像整体载入问题；基于影象池的尺度通道灵巧创建方法，用于处理框架中尺度通道创建问题；嵌入场景知识的数据通道自适应优选方法，用于处理数据通道的优选问题。这3部分相互独立，通过迭代实行器(图 9)迭代调用并优化。(1) 基于间接缓冲区分组映射的内存可扩展方法。基于空间高下文构造的间接缓冲区分组映射方法可以构建全局与局部地理网格缓冲区，实现大幅面遥感影像整体载入、内存映射与空间高下文学习。全局地理网格缓冲区构建。如图 4所示，全局地理网格对大幅影像整体拆分，以合理利用内存空间。网格中保留适于内存的指针区域，即全局间接缓冲区(global indirect buffer)。同韶光接缓冲区指针，指向存储全局空间高下文处理单元(global context processing unit, GCP unit)，以保留大范围高下文。全局间接缓冲区是指向尺寸为H×W×C的指针，其大小Gbuf如下(1)
图 4 内存可扩展的间接缓冲区分组映射方法 Fig. 4 The indirect buffer group mapping in memory scalability module
图选项
式中，KM、KN是地理网格行列数，取值为1时，退化与Caffe等框架的im2col同等；MaxMem是最大内存空间；r为指定的内存利用率；p、fdim表示GCP单元的全局特色个数与维度。局部地理网格缓冲区构建。如图 4(b)、(c)所示，局部地理网格缓冲区是将全局地理网格中影像瓦片和标注映射至GPU设备的转换单元。其整合了GCP unit特色，同时利用局部间接缓冲区(local indirect buffer)检索瓦片指针，搜集局部瓦片影像高下文(local context processing unit, LCP unit)。通过GEMM单元为空间高下文加权，实现“全局-局部”高下文学习。如图 4(b)、(c)与图 5所示，局部间接缓冲区是大小为KH×KW的区域，共有HO×WO个。框架运行时，由该缓冲区取出瓦片影像及全局高下文特色指针，通过GEMM加权打算M×N规模的输出X。局部缓冲区大小Lbuf打算如下(2)
图 5 局部间接缓冲区 Fig. 5 The local indirect buffer area
图选项
式中，KH×KW为缓冲区大小；HO×WO为输出维度；q、ldim分别为LCP单元的特色个数与维度。由式(1)和式(2)可知，利用“全局-局部”地理网格缓冲区的指针，通过指针征采能降落CPU-GPU打算所需存储空间，使大幅面遥感影像可整体载入演习，同时融入全局与局部空间的高下文信息。(2) 基于影象池的尺度通道可灵巧创建方法。如图 6所示，尺度影象池(scale memory pool)在框架载入遥感影像时，自适应学习和选择各尺度堆叠特色(stacked feature)。其包含的关键技能有：①多尺度影像金字塔构建。引入高阶金字塔表示，降落尺度变革丢失。②尺度影象池构建。当前尺度(cur-scale)、前一尺度(pre-scale)以及下一尺度(next-scale)的邻域形成尺度影象池，通过池中的指针，快速检索形成堆叠的尺度特色。图 6 尺度通道灵巧创建的影象池自适应优化方法 Fig. 6 The adaptive memory pool optimization for constructing multi-scale features
图选项
多尺度影像金字塔构建。类似拉普拉斯尺度空间构建，多尺度影像金字塔的尺度空间编码集表达如下(3)
式中, Li=I(x/2i-1)-I(x/2i)是拉普拉斯金字塔的第i层；I为经尺度参数ki-1σ降采样的影像；L1为风雅尺度；LN为较粗尺度；G表示低通残差；Mi=|Li|是梯度幅值。通过打算各尺度编码Li(x)/Mi(x /2)，多尺度高阶金字塔由如下编码集迭代定义
(4)
(5)
由式(4)与式(5)的高阶编码集，可重修任意尺度的金字塔影像
(6)
(7)
式中，H1, i为式(4)的编码集；H2, i表示式(5)的编码集；H(i)-1表示重修的第i层尺度空间影像。
尺度影象池构建。为快速从堆叠特色中检索对应尺度参数，本文利用尺度影象池布局方法(图 7)。首先，在当前尺度(cur-scale)以2×2的网格邻域形成缓冲区，存储指向当前尺度重构的金字塔影像区域指针。然后，变换尺度参数，获取前一尺度及下一尺度的3×3邻域网格，存储前一尺度和下一尺度重构的影像区域指针，形成两个3×3缓冲池。此时，前一尺度、下一尺度与当前尺度缓冲池，共同构成了22个间接存储的影象缓冲池，随后可通过缓冲池指针检索相应尺度的重构影像区域。末了，经由堆叠的重构特色加权学习，实现尺度通道自适应创建。图 7 尺度影象池构建方法 Fig. 7 The construction of scale memory pool
图选项
(3) 嵌入场景知识的数据通道自适应优选方法。本文采取嵌入知识图谱和场景同等性策略，实现数据通道优选。如图 8所示，该优选策略由两部分组成：其一是场景嵌入单元，演习集按场景划分，与测试集的采样数据由编码-解码网络连接，打算采样与演习数据的场景相似度与丢失。其二是知识嵌入单元，利用样本库分类体系，构建知识图谱，得到预测结果干系的高层知识保持结果同等性，选择最优数据通道。图 8 嵌入场景知识的数据通道自主选优策略 Fig. 8 The adaptive optimization strategy for selecting data channels embedded with scene knowledge
图选项
场景嵌入单元。假设演习集为ϕ={ϕi}i=1N，N是场景种别；测试集为T={Ti}i=1K，M=C(F(Tk), F(ϕi))表示经编码-解码网络F(·)的特色。通过打分函数G(·)，得到场景优化表达式(8)
相应场景种别i的丢失为
(9)
式中，为前45%场景种别预测值；y为场景种别真值，取标签占比最大的种别。
知识嵌入单元。用建立的地学知识图谱，得到观点种别(高层知识)凑集L={l1, l2, …, lN}。元素li至lj间的干系度，采取随机游走方法确定
(10)
式中，α为重新游走的概率。语义同等性丢失如下
(11)
式中，χ2(·)表示Pearson卡方散度；yh为softmax函数打算的概率；P为由pij组成的相似度对称矩阵。终极LC与LH构成通道选择丢失
(12)
式中，λ是知识嵌入丢失的调度系数。通过通道丢失的整体调度，获取最优光谱数据通道打分，实现通道自动优选。
2.3 专用框架实行流程
遥感专用框架实行流程如图 9所示，图中以数字索引为任务实行顺序。玄色笔墨和箭头表示常规流程；蓝色笔墨和箭头表示的划分阶段；赤色笔墨和箭头表示实行阶段。完全实行流程分为3个阶段：图 9 遥感专用深度学习框架实行流程 Fig. 9 The execution flowchart of dedicated deep learning framework for intelligent remote sensing
图选项
(1) 网络模型准备阶段(步骤0—步骤1)。用户通过框架前端自定义算子和操作数，构建初始网络模型，为模型编译和优化做好相应准备。(2) 网络模型编译阶段(步骤2—步骤4)。得到初始打算图描述后，编译阶段根据用户设置，利用编译构建模块对初始打算图进行图优化、张量优化等编译优化，完成模型的编译构建。(3) 网络模型实行阶段(步骤5—步骤14)。编译阶段构建的打算图，在实行阶段通过环绕数据流和掌握流的实行构建模块详细落实。分以下子步骤：①模型的输入与输出配置(步骤5—步骤6)。框架根据吸收参数配置网络模型描述信息，为打算启动与实行做好配置与准备；②模型的启动与实行(步骤7—步骤9)。框架实行构建模块，将调度器模块的回调结果返回上层运用，上层运用利用回调结果等待打算结束。同时实行可视化剖析模块，监测迭代丢失、影像特色等；③异步打算的启动与结束(步骤10—步骤14)。模型启动与实行时，步骤8的命令(asyncStartCompute)通过循环调用迭代实行器完成。管理器通过设备驱动模块的信息，调用硬件设备支持模型打算。管理器中显存管理模块、遥感数据与框架协同模块反馈的内存和数据信息，通过遥感数据特性嵌入模块，无缝领悟遥感特性。此外，框架将打算信息通过遥感数据与框架协同模块反馈给样本库，以实现容错性处理、自动增广与提纯，使样本库具有协同精化能力。管理器实行完所有模块之后，发送命令关照迭代实行器。当迭代步骤完毕，asyncStartCompute线程会自动退出，终极结束打算并返回结果。以地物要素分类任务为例，本文利用ISPRS Potsdam、广东地区实际生产数据与高光谱影像数据集AVIRIS Indian Pines来验证专用框架的内存可扩展、尺度与通道自适应优选的可行性。本文将PyTorch作为与本框架进行比拟的基准框架，基于全卷积神经网络(FCN)，对三通道Potsdam数据、实际生产数据进行裁切与整幅载入处理剖析，以比拟框架的大幅面遥感影像处理特性。此外，本文还对四通道Potsdam数据、200通道AVIRIS Indian Pines高光谱数据进行了尺度与数据通道优选的比拟剖析。FCN网络模型在Potsdam、实际生产数据集下的演习参数如下：epoch=40, base_lr=0.001, decay=0.000 5, momentum=0.9, batchsize=2。AVIRIS Indian Pines高光谱数据的演习参数为：epoch=200, base_lr=0.1, decay=0.000 5, momentum=0.9, batchsize=100。3.1 大幅面处理特性试验结果
表 2和表 3是包含6类不同地物的ISPRS Potsdam、广东地区生产数据集的测试结果。在PyTorch框架下，原始影像被统一裁剪为513×513像素；在本文框架下，原始影像保持整幅载入演习。由表 2可知，引入大幅面影像处理机制，使本框架在Potsdam数据上的均匀交并比(mIoU)提升了2.71%，总体精度(OA)提升了2.77%。在实测数据上，本文框架的提取精度提升了3%~5%。图 10为两种数据预测结果。试验表明，利用大幅面影像的整体载入演习的办法，可使神经网络具备处理更大范围的空间高下文的能力, 同时有效缓解了“分块效应”。表 2 ISPRS Potsdam数据(分辨率0.5 m)处理结果 Tab. 2 Evaluation on ISPRS Potsdam (spatial resolution 0.5 m)
处理策略比拟(Backbone：ResNet101)mIoUOAPyTorch裁切处理(1×3×6000×6000→N×3×513×513)80.2582.26本框架大幅面整体载入(1×3×6000×6000→1×3×6000×6000)82.9685.03
表选项
表 3 广东地区生产数据(分辨率0.8 m)处理结果 Tab. 3 Evaluation on Guangdong dataset (spatial resolution 0.8 m)
处理策略比拟(Backbone：ResNet101)mIoUOAPyTorch裁切处理(1×4×36072×36312→N×4×513×513)42.2558.26本框架大幅面整体载入(1×4×36072×36312→1×4×36072×36312)46.0663.03
表选项
图 10 Potsdom数据与广东数据局部预测结果 Fig. 10 Partial predictions on Potsdam dataset and Guangdong data
图选项
3.2 多通道处理特性试验结果
表 4和表 5是基于Potsdam数据和AVIRIS Indian Pines数据(包含16类地物)的测试结果。图 11的第1列为影像，第2列为真值，第3列为基线模型处理结果，第4列第1行为数据与尺度通道优选结果，第4列第2行为数据通道优选结果。由于AVIRIS数据幅面较小，本文在试验中未引入尺度通道优选方法。从本文框架的处理结果推断，框架引入数据通道与尺度通道优选模块之后，在Potsdam数据上比基线方法性能提升约2%，在AVIRIS高光谱影像上的Kappa与OA可达99%以上。上述结果表明本框架在领悟尺度与数据通道的优选模块后，能够有效提升预测结果的精度和可靠性。表 4 ISPRS Potsdam数据(分辨率0.5 m)处理结果 Tab. 4 Evaluation on ISPRS Potsdam dataset (spatial resolution 0.5 m)
处理模型mIoUOABaseline(DeepLabV2)(Input=3×512×512)85.0686.24+数据通道优选(每一个类优选出1×256维度特色)86.2487.03+数据通道优选+尺度通道优选(1, 0.75, 0.5)87.2087.88
表选项
表 5 AVIRIS Indian Pines数据处理结果 Tab. 5 Evaluation on AVIRIS Indian Pines dataset
处理模型KappaOABaseline(ResNet18)(Input=200×11×11)97.2597.81+数据通道优选(每一个类优选出1×256维度特色)99.2099.40
表选项
图 11 Potsdom数据与AVIRIS数据局部预测结果 Fig. 11 Partial predictions on Potsdam dataset and AVIRIS dataset
图选项
本文在剖析目前遥感智能解译框架和模型现状的根本上，提出了顾及多维时空谱遥感特性的专用深度学习框架和模型，构建了遥感专用深度学习框架与模型的在线做事平台，初步实现了模型的在线可视化编辑、模型演习及测试功能等功能。此外，本文针对全要素地物分类任务，利用了不同的遥感数据集开展了初步试验验证。试验结果表明，本文提出的专用框架具有内存可扩展、尺度和数据通道灵巧优选的上风。然而，本文构建的遥感专用深度学习框架在大幅面影像加载和运行效率、基于网络打算图中间层表示的编译优化、对多类遥感任务的干系模型支持以及与在线开源共享做事平台前后端集成等方面还须要进一步提高和完善。因此，下一阶段将研究遥感特性的中间表示、算子分解与编译优化、大幅面特色的分布式打算方法、框架模型协同的自进化机制、交互式前端组件扩充及与后端神经网络接口集成功能，将全面剖析干系框架在遥感影像处理方面的性能，为面向遥感测图任务的实时解译机制供应有力的底层框架和运用模型支撑。第一作者简介：龚健雅(1957—),男,博士,教授,中国科学院院士,长期从事地理信息理论和拍照丈量与遥感根本研究。E-mail: gongiy@whu.edu.cn
通信作者：张觅, E-mail：mizhang@whu.edu.cn
○ 贵州省第二测绘院2022年公开招聘（地信、测绘遥感等干系专业）
○ 自然资源部国土卫星遥感运用中央正式对外发布卫星激光测高产品
○ 自然资源北京市卫星运用技能中央揭牌
○ 中国地质大学康志忠教授荣获国际拍照丈量与遥感学会主席名誉奖
○ 刚刚！
自然资源部印发技能文件，踏实推进新型根本测绘与实景三维中国培植事情
○《测绘学报》青年科学家沙龙（第1辑）报告日程
○ 关于举办《测绘学报》青年科学家沙龙(第1辑)的关照○ Geoinformatics 2022 暨CPGIS成立30周年年会（二号关照）○ 测绘学报 | 汤俊：2018年8月磁暴期间北斗GEO卫星电离层TEC时空变革剖析
○ 测绘学报 | 曹闻：顾及空间分布与注记干系性的点要素注记配置算法
○ 测绘学报 | 姚翔宇：数字环境下面状要素分级设色的适宜方案剖析
○ 测绘学报 | 王昊：GNSS水汽层析的自适应非均匀指数分层方法
○ 《测绘通报》2022年第3期目录
○ 《测绘通报》2022年第2期目录
○ 地市级实景三维城市培植及运用
○ 基于GIS的东川区生态环境敏感性剖析
○《北京测绘》2022年第2期择要推举
○《北京测绘》2022年第1期择要推举
○《北京测绘》2021年第12期择要推举
○《北京测绘》2021年第11期择要推举
○ 择要 |《测绘科学技能学报》2021年第2期择要推举
○ 择要 |《测绘科学技能学报》2021年第4期择要推举
○ 择要 |《测绘科学技能学报》2021年第5期择要推举
○ 择要 |《测绘科学技能学报》2021年第6期择要推举
○ 《地球信息科学学报》2022年第3期佳文推介
○ 龚健雅院士：环球位置信息叠加协议与位置做事网技能研究进展与展望
○ 专题征稿：地球信息科学技能在旅游休闲领域的运用
○ 专刊征稿：社会感知与地理大数据挖掘（征稿中）
○ 择要 |《测绘工程》2022年第2期择要推举
○ 择要 |《测绘工程》2022年第1期择要推举
○ 择要 |《测绘工程》2021年第6期择要推举
○ 佳文推介 | 单目视觉技能在室内定位中的运用研究
○《中国空间科学技能》2022年第2期择要
○《中国空间科学技能》2022年第1期择要
○《中国空间科学技能》2021年第6期择要
○《中国空间科学技能》2021年第5期择要推举
○《卫星运用》2022年第02期择要○《卫星运用》2022年第01期择要○《卫星运用》2021年第12期择要○《卫星运用》2021年第11期择要《Journal of Geodesy and Geoinformation Science》
○《测绘学报（英文版）》专刊征稿 | 舆图学与地球空间信息教诲：理论与实践
○ 《测绘学报（英文版）》专刊征稿 | 用于三维地理信息的拍照丈量和打算机视觉
○ InSAR专刊 | 《测绘学报（英文版）》（JGGS）2022年第1期发布
○ GFZ德国地球科学研究中央-贺玉芳 | 《测绘学报（英文版）》（JGGS）InSAR专刊
○ 长安大学-朱武教授 | 《测绘学报（英文版）》（JGGS）InSAR专刊
○ 杨飞博士：GNSS天顶对流层精化模型的构建与剖析| SANA佳文速递
○ 2022征文| SatNav“普适定位、室内导航与基于位置做事”专题
○ 2022征文| SatNav“GNSS地学运用”专题
○ 李昕博士：多频多星座PPP-RTK事理及性能| SANA佳文速递
○ 择要 |《自然资源遥感》2022年第1期择要推举
○ 《自然资源遥感》征稿：“海岸带空间资源及生态康健遥感监测”专栏
○ 择要 |《自然资源遥感》2021年第3期择要推举
○ 择要 |《自然资源遥感》2021年第4期择要推举
《Journal of Geovisualization and Spatial Analysis》
○《Journal of Geovisualization and Spatial Analysis》入驻“智绘科服”融媒体平台！
○ JGSA国际期刊2021年第5卷第2期论文择要
○ 高被引论文推举 | Journal of Geovisualization and Spatial Analysis
○ JGSA论文推举 | 地理信息科学研究在过去几十年中都在关注什么？
○《环球定位系统》入驻“智绘科服”融媒体平台！
○《环球定位系统》论文推举 | 刘光明：我国常用地心坐标系的现状与发展
○《环球定位系统》2022年第1期目次
○《环球定位系统》2022年“卫星导航与增强”专栏征文
