Content uploaded by Bowen Niu
Author content
All content in this area was uploaded by Bowen Niu on May 18, 2022
Content may be subject to copyright.
2 0 2 2 年3月农 业 机 械 学 报 第53 卷 第 3期
doi:10. 6041 / j. issn. 1000⁃1298. 2022. 03. 001
土地利用 /覆被深度学习遥感分类研究综述
冯权泷1,2 牛博文1 朱德海1,2 陈泊安1 张 超1,2 杨建宇1,2
(1. 中国农业大学土地科学与技术学院,北京 100193; 2. 自然资源部农用地质量与监控重点实验室,北京 100193)
摘要:基于遥感分类实现高精度的土地利用和土地覆被制图是研究热点问题。近年来,以卷积神经网络为代表的
深度学习在计算机视觉领域取得了长足发展,同时也被引入到土地利用/覆被遥感制图领域。相比于经典机器学
习,深度学习的优势表现为能够自适应提取与分类任务最相关的特征,其缺陷表现为分类精度的提高依赖于海量
标签样本。基于深度学习在土地利用/覆被分类中日益增多的 研究成果,本文从样本、模型、算法 3个角度 对其研
究进展进行综述。在样本方面,归纳总结 了常用的土 地利 用 /覆被样本集,并分析了上述样本集的学术影响力;在
模型方面,综述了土地利用/覆被分类中常用的深度学习模型,包括卷积神经网络、循环神经网络、全卷积神经网络
等的最新研究成果;在算法方面,综述了样 本稀疏条件 下的 土地利 用 /覆被分类算法的最新研究进展,具体包括主
动学习、半监督学习、弱监督学习、自监督学习、迁移学习等。最后从样本、模型、算法 3个角度对未来研究方向进
行展望,通过构建大规模遥感样本数据集、持续优化深度学习模型结构、提升样本稀疏条件下深度学习模型的时空
泛化能力等研究,可以进一步改善土地利用/覆被分类效果和精度。
关键词:深度学习;土地利用;土地覆被;遥感分类;样本 模型 算法
中图分类号:TP79 文献标识码:A文章编号:1000⁃1298(2022)03⁃0001⁃17 OSID:
收稿日期: 2022 01 26 修回日期: 2022 02 14
基金项目:国家重点研发计划项目(2021YFE0102300)和国家自然科学基金项目(42001367)
作者简介:冯权泷(1988—),男,副教授,博士生导师,主要从事机器、深度学习及在农业遥感中的应用研究,E⁃mail: fengql@ cau. edu. cn
通信作者:朱德海(1962—) ,男,教授,博士生导师,主要从事 3S 技术在农业和国土资源管理中的应用研究,E⁃mail: zhudehai@ cau. edu. cn
Review for Deep Learning in Land Use and Land Cover
Remote Sensing Classification
FENG Quanlong1,2 NIU Bowen1 ZHU Dehai1,2 CHEN Boan1 ZHANG Chao1,2 YANG Jianyu1,2
(1. College of Land Science and Technology,China Agricultural University,Beijing 100193, China
2. Key Laboratory for Agricultural Land Quality Monitoring and Control,Ministry of Natural Resources,Beijing 100193, China)
Abstract: Accurate land use and land cover ( LULC ) mapping based on remote sensing image
classification has been a hot topic nowadays. Recently, deep learning, especially convolutional neural
network, has achieved promising results in computer vision tasks, which has also been introduced into the
field of LULC mapping. Compared with classic machine learning methods, deep learning is capable of
extracting the most representative features from remote sensing images, however, its performance is
depended on massive labeled data. Considering deep learning has been widely used in LULC
classification, the objective was to provide a comprehensive review of deep learning from the following
perspectives as sample dataset, model structure and training strategy. Specifically, from the perspective
of samples, the most commonly used LULC sample dataset was summarized and their academic influence
was analyzed. From the perspective of models, the latest research of deep learning models were reviewed,
including convolutional neural network, recurrent neural network, fully convolutional network. From the
perspective of training strategies, various training methods that could tackle the data⁃hunger issue of deep
learning were summarized, including active learning, semi⁃supervised learning, weakly⁃supervised
learning, self⁃supervised learning, transfer learning. Finally, an outlook of deep learning in LULC
mapping was provided, which was still from three perspectives of sample dataset, model structure and
training strategy. Through the construction of large⁃scale LULC sample dataset, improvement of deep
learning model structure and the increase of spatial⁃temporal generalization capability under limited samples,
LULC remote sensing classification could yield a better performance and accuracy in future study.
Key words: deep learning; land use; land cover; remote sensing classification; sample model
strategy
0 引言
土 地 利 用 /覆 被 ( Land use and land cover,
LULC)专题图,是表达自然土地类型以及人类开发
利用土地状况的专题要素地图,在资源调查、环境监
测、生态保护、城市规划、农业生产等领域具有十分
重要的作用。由于遥感具有大范围同步观测等优
势,已经成为土地利用/覆被制图的主要数据来源,
如何基于 遥感影像 实现 土地利 用 /覆被的自动分类
成为研究热点问题[1 - 8 ] 。
图1 深度学习样本 模型 算法框架图
Fig. 1 Flow chart of sample model strategy for deep learning
在深度学习技术[ 9] 兴 起 以前,土地利用/覆 被
遥感分类多依赖于人工设计特征与机器学习 分 类
器[10 - 11] 。其中人工设计特征包括归一 化植被指数
等光谱指数、纹理特征、缨帽变换特征等[12 - 13] ,而机
器学习分类器多以决策树、随机森林和支持向量机
为主[ 14 - 17] 。人工设计特征对专家知识的要求很高,
同时其鲁棒性和泛化能力存在一定缺陷,导致更 换
研究区和数据后,已有的遥感分类模型往往不能取
得较好的分类结果。
相比于经典机器学习算法,深度学习不需要人
工设计特征的环节,而是能够根据损失函数自动提
取与目标任务最相关的特征,具有鲁棒性强、模型易
于迁移等优势,成为了遥感领域的一个研究热点,并
已经应用在城市土地利用分类、滨海湿地土地覆被
分类、作物精细分类、道路及建筑等专题要素制图等
领域[ 18 - 22] 。鉴于深度学习的 相关研究 成果日益增
多,本文拟从样本数据集、模型结构、算法策略方面
对深度学 习在土地 利用 /覆被遥感分类中的研究进
展进行综述,为相关研究人员提供参考。
首先介绍人工智能与深度学习的相关知识,包
括卷积神经网络、循环神经网络等常用网络模型;然
后从样本角度出发,对现有的土地利用 /覆被遥感分
类样本集进行综述;其次从深度学习模型的角度出
发,综述土地利用 /覆被遥感分类中用到的各种深度
神经网络模型;再次从模型泛化能力的角度出发,对
稀疏样本下深度学习模型的学习策略进行综述;最
后对未来研究方向进行展望。深度学习样本 模型
算法总体框架如图 1所示。
2农 业 机 械 学 报 2022年
1 人工智能与深度学习技术概述
1. 1 人工智能
人工智能是研究用于模拟、延伸和扩展人的智
能的 理 论 、方 法、技术及应用系统的一门技术科
学[23] 。随着大数据技术以及高性能计算的发展和
成熟,以深度学习为代表的人工智能已经在语音识
别、目标检测、机器翻译等领域取得了超过传统算法
的性能,并逐渐受到遥感与地学领域专家的关注和
重视。具体而言,人工智能包括许多研究分支,其中
机器学习是实现人工智能的一种重要方法,而深度
学习作为机器学习的一个分支,通过构建深度神经
网络实现对人类大脑认知过程的模拟[9 ] 。
1. 2 深度学习
深度学 习 可以 看 作 经典 人 工 神 经网 络 的 “深
度”版本,通过增加隐含层数量,从而提高 特征学习
和表达能力。实际上,深度学习是深度神经网络的
同义词,常用的深度学习模型包括卷积神经网络、循
环神经网络、生成对抗网络,以及用于语义分割的全
卷积神经网络等。
1. 2. 1 卷积神经网络
卷 积 神 经 网 络 ( Convolutional neural network,
CNN)主要用于计算机视觉(Computer vison, CV) 领
域[24 - 27] ,通过卷积、池化等操作,对图像的高层语义
特征进行提取。
一个典型的卷积 神 经 网络为 VGG[ 25] ,主要包
含卷积层、池化层、全连接层和分类层。其中,卷积
层主要利用卷积算子实现特征向量的计算,并通过
多层卷积堆叠,实现多层级的图像特征提取;池化层
包括均值池化、最大值池化等,主要为了减小特征图
的尺寸;全连接层中所有神经元以全连接的形式进
行连接;分类层主要采用 softmax 分类器。
以自然图像分类为例,相比于经典的机器学习
模型,卷积神经网络的优势是将图像特征提取与分
类任务集成到一个模型中,通过端到端训练,可以使
模型自动学习到最具代表性的图像特征,进而提 高
分类精度。
1. 2. 2 循环神经网络
循环神经网络(Recurrent neural network, RNN)
的输入一般为 序 列数据(如文本、视频等),其隐含
层之间是存在连接的,t时刻隐含层的输入不仅来
自输入层,同时来自 t- 1 时刻隐含层的输出。
循环神经网络的输入是一个序列数据 Xt,t时
刻隐含层的输出是 ht,A表示循环神经网络当前的
状态[ 31] 。常用的循环神经网络包括长短时记忆网
络(Long short term memory, LSTM) [28] 、门控循环单
元( Gated recurrent unit, GRU )[29] 、 Transformer[30]
等。由于循环神经网络在处理序列数据方面具有天
然的优势[31] ,已经被应用在多时相遥感影像分析、
高光谱图像分类中,用于建模多时相数据之间以及
高光谱不同波段之间的相互依赖关系。
1. 2. 3 生成对抗网络
生成 对 抗网 络 ( Generative adversarial network,
GAN) [32] 包 括:生 成 器 ( Generator, G ) 和 判 别 器
(Discriminator, D)。 其中生成器 G主 要 用来学习
真实图像的分布,从而使生成的图像更加接近于真
实图像;而判别器 D主要对生成的图像进行真假判
断。生成对抗网络的训练过程是一个 min - max 的
优化问题。
随着网络的迭代训练,生成器 G与判别器 D不
断进行对抗,并最终达到一种动态平衡:生成器 G
生成的图像十分接近真实情况,判别器 D无法判断
出 图 像 真 假,对于给定图像预测为真的概率为
50% 。 在遥感领域,生成对抗网络主要用于模拟样
本的生成和模型的对抗训练。
1. 2. 4 全卷积神经网络
全卷积神经网络( Fully convolutional network,
FCN)是将卷积神经网络 CNN 中的全连接层替换为
卷积层所形成的,被用于图像语义分割任务中,并在
医学图像分割等领域[33 - 36] 得到应用。相比于基于
中心像素所在图像块的分类方式,全卷积神经网络
可以减少冗余计算、提高大范围土地利用 /覆被制图
的效率,受到了广泛关注[ 37 - 38 ] 。经典的全卷积神经
网络 包 括 FCN[ 39] 、 UNet[40 - 42] 、 DeepLab[ 43 - 46] 等 模
型。
2 土地利用 /覆被遥感分类样本研究进展
从样本角 度来综 述土地 利用 /覆被遥 感分类中
样本数据 集 的 研 究 进 展。随着深度学习的快速发
展,卷积神经网络[47 - 49] 、循环神经网络[ 50 - 51] 、全卷
积神经网络[52 - 53] 等模型均被应用到土地利用 /覆被
遥感分类 中。然而如何验证不同模型之间的可比
性,从而进一步评价模型优劣,成为关键问题。因
此,开源样本数据集的构建具有十分重要的意义。
近年来,各国学者、机构发布了一系列土地利
用/覆被遥感分类样本数据集,涵盖了不同尺度、传
感器类型、时间 /空间 /光谱分辨率等,为相关研究提
供了基准数据支持。本文将其分为两个类型:图像
块级样本和像素级样本。其中图像块级样本多来自
于遥感场景识别数据集,用一个 N×N大小图像块
(image⁃patch) 表示一种土地利用 /覆被类型。而像
素级样本多来自于遥感语义分割数据集,对不同 土
3
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
地利用 /覆被的边界进行像素级别的标注。
2. 1 图像块级土地利用 /覆被遥感分类样本集
基于图像 块的土 地利用 /覆被样本集与遥感场
景识别数据集类似,其标注过程表现为对一个 N×
N的图像块赋以特定的土地利用 /覆被类别(图2)。
该样本 集 对 应 的 深 度 学习 模 型 多 为 基 于 CNN 或
RNN 的图像分类模型,优势是标注过程简单,劣势
是并不能获取特定地物的边界信息。
表1列举了广泛使用且具有影响力的图像块级
样本数据集,并给出了相关元数据。
如表 1所 示,图像块级样本集多以航空影像
(如UC Merced[54 ] 、SAT 4/ SAT 6[58] )和高分辨率
的Google Earth 卫 星 影 像 (如WHU RS19[55] 、
AID[60 ] 等)为主,空间分辨率多在 0. 3 ~ 2 m 之间,然
而其光谱 分 辨 率较低,多 为 RGB 或RGB NIR 影
图2 图像块级土地利用 /覆被样本示例[54]
Fig. 2 LULC sample based on image⁃patch[54]
表1 图像块级土地利用 /覆被遥感分类样本集
Tab. 1 Commonly used LULC sample dataset based on image⁃patch
数据集名称 数据源 样本数量 样本尺寸 /
(像素 ×像素)
空间分辨
率/ m 波段数 土地利用 /
覆被类别数 发布年份 文献序号
UC Merced 航空影像 2 100 256 × 256 0. 3 3 21 2010 [ 54]
WHU RS19 Google Earth 1 005 600 × 600 0. 5 3 19 2010 [ 55]
RSSCN7 Google Earth 2 800 400 × 400 0. 25 ~ 2 3 7 2015 [ 56]
Brazilian coffee scenes SPOT 5 50 004 64 × 64 10 3 3 2015 [57 ]
SAT 4 / SAT 6 航空影像 500 000 / 405 000 28 × 28 1 4 4 / 6 2015 [58 ]
SIRI WHU Google Earth 2 400 200 × 200 2 3 12 2016 [ 59]
AID Google Earth 10 000 600 × 600 2 3 30 2017 [60 ]
EuroSAT Sentinel 2 27 000 64 × 64 10 / 20 / 60 13 10 2019 [61 ]
像。考虑到深度学习 模 型 训 练 对 于 海 量 标 签样 本
的需求,数据集整体呈现出样本数量不断增加的
趋势,从几千发展到几十万不等。此外,少部分数
据集以 Sentinel 2 等多光谱卫星影像作为数据
源,其光谱分辨率有 所 提 升,然而其空间分辨率相
对较低。
上述样本 集在土 地利用 /覆被类别数量的设定
上存在两种分化。一方面,部分数据集只关心少数
概要性的地物类别,如SAT 4 数据集仅包含裸地、
森林、草地和其它共 4类土地覆被类型;另一方面,
部分数据集则更关注土地利用 /覆被的精细分类,如
UC Merced、WHU RS19、AID 等包含几十种具有特
定语义的土地利用 /覆被类别。
2. 2 像素级土地利用 /覆被遥感分类样本集
基于像素 的土地 利用 /覆被样本集与遥感语义
分割数据集类似,其标注过程表现为对某一特定地
物涵盖的所有像素进行标注(图3) 。 该样本集对应
的深度学习模型多为语义分割模型,优势是可以获
取地物的准确边界,劣势是标注工作量较大。
由于逐像 素的土 地利用 /覆被制图能够提供更
图3 像素级土地利用 /覆被样本集示例[62]
Fig. 3 LULC sample based on pixel[62]
为精细的地物分布情况,对气候、生态、水文等多领
域的研究有着重要意义[63] ,其样本数据集的发布也
日益增加。
常用的像素级样本集如表 2所示。可以 看 出,
大部分样本集拥有更多的波段数,但在样本数量、类
别等方面都存在局限性。同时,受到光谱分辨率的
制约,这类数据集的空间分辨率较低。同时大部分
数据集仅为指定研究区内的单幅影像与标注,只有
一些最近发布的数据集(如DeepGlobe、GID) 其样本
数量和空间分辨率较高,但 仅 为 一 般 的 RGB 或
RGB NIR 影像,光谱分辨率较低。
4农 业 机 械 学 报 2022年
表2 像素级土地利用 /覆被遥感分类样本集
Tab. 2 Commonly used LULC sample dataset based on pixel
数据集名称 数据源 样本数量 影像尺寸 /
(像素 ×像素)
空间分辨
率/ m 波段数量 土地利用 /
覆被类别数
发布
年份 文献序号
Houston ITRES 1 349 × 1 905 2. 5 144 15 / 20 2014 [64 ]
Kennedy Space Center(KSC) AVIRIS 1 614 × 512 18 224 13 2014 [65]
Botswana EO 1 1 348 × 512 30 242 14 2015 [65 ]
Indian pines AVIRIS 1 145 × 145 20 224 16 2015 [65 - 66 ]
Salinas AVIRIS 1 521 × 217 3. 7 224 16 2015 [65 ]
University of Pavia ROSIS 1 610 × 610 1. 3 103 9 2015 [65 ]
DeepGlobe Mix 803 2 448 × 2 448 0. 5 3 7 2018 [62]
GID GF 2 150 6 800 × 7 200 1 / 4 4 15 2020 [67]
雄安新区航空高光谱
遥感影像分类数据集 航空影像 1 3 750 × 1 580 0. 5 250 19 2020 [68 ]
像素级样本集一般具有更为精细的土地利用/
覆被类别设定,如GIC 发布的 Indian pines 数据集供
包含玉米、小麦等 共 16 种土地覆被类别,GID 数 据
集则包含了工厂、居民区、灌丛等共 15 种土地利 用 /
覆被类别。
总体而言,相比于图像块级样本集,像素级样本
集仍缺乏标注质量高的大规模数据集,且现有的大
部分数据集仅针对特定区域,普适性有待提升。
2. 3 土地利用 /覆被遥感分类样本集影响力分析
以Google Scholar 中 的论文引用次数作 为 影 响
力指标,对常用土地利用 /覆被遥感分类样本集进行
影响力分析(图4)。 如图 4所示,基于 像素尺度的
样本集影响力较大,以GIC 发布的 Indian
pines[65 - 66 ] 和University of Pavia[ 65] 数据集为代表,且
由该团队发布的 Salinas[65] 和KSC[65] 数据集也具有
较高的影响力。在图像块尺度的样本集中,经典数
据集 UC Merced[ 54] 具有最高影响力,国内学者提出
的AID[60 ] 和RSSCN7[56] 数据集发布时间相对较晚,
但由于其在样本数量、质量、尺寸等方面的优势,其
近两年影响力逐渐提升。
同时,图4表明国内外学者更多关注基于多 /高
光谱影像的逐像素分类。一方面由于更多光谱信息
的引入,可以有效提高地物的类间可分性,提升分类
精度;另一方面,逐像素分类结果能够对土地利用/
覆被情况进行更精细的刻画,也利于后续变化检测
等任务。同时,图像块级分类受限于大范围制图时
的“棋盘效应”,其在遥感场景分类中更受关注。
3 基于深度学习的土地利用 /覆被遥感分类
模型研究进展
从模型角度,综述土地利用 /覆被遥感分类中常
用的深度 学 习 模型,包括卷积神经网络( CNN)、循
环神经网络(RNN)、全卷积神经网络( FCN)等。
图4 常用土地利用 /覆被遥感分类样本集影响力
统计结果
Fig. 4 Impact statistics of commonly used LULC
sample dataset
3. 1 基于卷积神经网络的土地利用 /覆被分类
卷积神经网络因其强大的图像特征提取能力,
在土地利用 /覆被分类中被广泛应用。在前期研究
中,研究人员多倾向于直接使用计算机视觉领域内
的经典模型( AlexNet、VGG、ResNet 等)或者自行搭
建一个简单网络,通过训练基于图像块的分类模型,
然后在整个研究区的影像上以滑窗(sliding window)
方式得到逐像素或逐图像块的预测结果。其 中
REZAEE 等[69] 采用在 ImageNet 上预训练的 AlexNet
网络进行了湿地土地覆被制图的研究,并将其与随
机森林等经典机器学习模型进行比较,结果表明卷
积神经网络可以有效改善湿地土地覆被分类精度。
类似的研究如文献[70 - 76] 。
然而上述研究 仅仅是借用 CV 经典模型,并没
有考虑到遥感多谱段成像的特点。针对这一问题,
研究人员转向 了 双路(或双分支)卷积神经网络的
研究,用于同时学习遥感影像的空间特征和光谱特
征。在一个典型的双路神经网络中,包含两个分支
或子网络,即空间特征提取子网络和光谱特征提取
子网络。其 中 HUANG 等[77] 设计了一个双路卷积
5
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
神经网络模型用于城市土地利用制图,该模型的第
1个分支 是在 ImageNet 上预训练的 AlexNet 网络,
用于提取空间特征,第2个分支是由几个卷积层级
联形成的小卷积网络(small DCNN),用于提取光谱
特征,最后采用特征堆叠的方法进行空间 光谱特征
的融合,并基于 WorldView 高分 辨率影像实现了香
港和深圳的城市土地利用制图,取得了 91. 25% 的
分类精度。类似的研究如文献[78 - 80] 。
笔者针对城市土地利用遥感分类问题,对双路
卷积神经网络进行改进,构建了多尺度残差模块以
增强空间特征的代表性和可分性,从而有效提高了
分类 精 度。同时针对滨海湿地土地覆被分类问
题[81] ,通过引入多源光学、雷达遥感影像,提出了一
个多路卷积神经网络模型(图5),该模型通过多尺
度可变形卷积模块提高其对于地物尺寸和形状变异
的鲁棒性,并设计了一个深度特征自适应融合模型,
用于融合多传感器、多时相的光学和雷达数据,在黄
河三角洲 取得了 93. 78% 的分类精度,并验证了多
传感器数据的融合可以有效增加滨海湿地土地覆被
类型之间的可分性。此外,笔者还针对农业塑料覆
被[82] 、城中村[ 83] 等土地利 用 /覆被中的专题要素进
行了提取。
图5 多路卷积神经网络模型[ 81]
Fig. 5 Multi⁃branch convolutional neural network model[81]
3. 2 基于循环神经网络的土地利用 /覆被分类
循环神经网络的优势在于对序列信号进行建
模,虽然不能像 CNN 那样对遥感影像的空间特征进
行提取,但RNN 对光谱特征和时序特征的学习能力
要强于 CNN,同样被广泛应用于土地利用/覆被的
遥感分类研究中[84 - 92] 。
在光谱特征提取方面,RNN 被用于多光谱和高
光谱影像的分类中,用于建模不同波段之间的相互
依赖关系。 MOU 等[85] 针对高光谱影像的土地利
用/覆被分类问题,较早使用 LSTM、GRU 等循环神
经网络构建了分类模型。其中模型的输入为单个像
素对应的光谱曲线,模型的输出则为对应的土地利
用/覆被类别,并在 3个航空高光谱数据集上验证了
RNN 模型的分类 效 果。后续研究则集中在如何继
续优化 RNN 模型结构,从而提高光谱特征提取能
力。文献[86] 研究具有典型性,通过构建级联 RNN
模型进行高光谱分类,该模型由 2个RNN 级联而
成,其中第 1个RNN 用于去除高光谱影像中的冗余
波段,第2个RNN 则利用剩余波段进行影像分类。
通过上述级联的方式,可以进一步提高模型的分类
精度。相关研究还包括文献[87]。
在时序特征提取方面,RNN 被用于多时相遥感
影像的分类研究中,通过学习多时相影像之间的时
序依赖关系,从而提高不同地物的类间可分性以改
善 土 地 利 用 /覆 被 分 类 精 度。其 中, RUΒWURM
等[88] 基于多时相 Sentinel 2 号影像,分别采用
LSTM 和GRU 构建了土地覆被分类模型,并在 17 种
地物分类中取得了 90% 的精度,验证了 RNN 在时
序特征提取中的有效性。类似研究有文献[89 -
91] ,均采 用 RNN 对耕地中的农作物进行了精细
分类。
3. 3 基于卷积 循环神经网络的土地利用/覆 被
分类
考虑到 CNN 的优势在于遥感影像的空间特征
提取,而RNN 的优势在于光谱特征和时序特征提
取,因此将 CNN 和RNN 进行耦合可以实现空间、时
序、光谱特征之间的有效融合,并进一步提高土地利
用/覆被分类的精度。其中,MEI 等[93] 基于高光谱
影像,分别构建了空间注意力卷积神经网络和光谱
注意力循环神经网络模型,分别对高光谱的空间特
征和光谱特征进行提取,并通过特征融合进一步提
高分类精度。 MOU 等[94] 构建了一个 CNN RNN 耦
合模型实现了光谱 空间 时序特征的有效提取,其
中CNN 用于 提 取 遥感 影 像的 光 谱 空 间 特征,而
RNN 用于提 取多时 相 影 像的 时 序特 征,通过级联
CNN 和RNN 模型,实现了 土地利 用 /覆被的变化检
6农 业 机 械 学 报 2022年
测。类似的研究还包括文献[95 - 98] 。
笔者针对 小尺度 的土地 利用 /覆被精 细分类问
题,构建了一种基于循环注意力网络的 CNN RNN
耦合模型[99] ,并应用在多时相无人机可见光影像的
分类中(图6)。 具体而言,考虑到无人机影像具有
丰富几何结构信息的特点,首先构建多尺度可变形
卷积神经网络,对无人机影像进行空间特征提取,以
提高模型对于地块形状和尺度变异的鲁棒性;同时
构建融合注意力机制的循环神经网络,实现多时相
无人机影像空间特征和时序特征的自适应融合;该
模型取得 了 92. 80% 的分类精度,并验证了循环注
意力融合模型在学习多时相特征依赖关系方面的有
效性。
图6 循环注意力网络模型[ 99]
Fig. 6 Attention⁃based recurrent convolutional
neural network[99]
3. 4 基于全卷积神经网络的土地利用 /覆被分类
相比于 CNN、RNN 等模型以基于图像块的方式
进行土地利用 /覆被分类,全卷积神经网络可以实现
像素级的地物分类,在大范围土地利用 /覆被制图时
其计算效率高的优势较为明显。其中 FCN 是计算
机视觉领域最早提出的全卷积神经网络模型,被广
泛应 用 于土 地 利 用 /覆 被 分 类 领 域。其中张宏鸣
等[100] 利用 FCN 8s 模型对灌区无人机影像进行了
渠系提取,杨亚男等[101] 基于 FCN 8s 模型对无人
机影像中的梯田进行了提取,都取得了较好分类结
果。同时,研究人员在 FCN 的基础上进行了模型改
进,如孙钰等[ 102] 针对无人机影像农业塑料覆被分
类任务对 FCN 模型进行了改进,SHRESTHA 等[ 103]
提出了一种增强的 FCN 模型用于提高建筑物的分
类精度。相关研究还包括文献[104 - 105] 。
同时,UNet 以模型结构简洁、鲁棒性高等优势,
受到了遥感领域研究人员的关注,其模型也被不断
改 进,并广泛应用于土地利用/覆 被 分 类 中。
DIAKOGIANNIS 等[106] 提出了一种 UNet 的改进 模
型,将残差连接、空洞卷积、金字塔池化以及多任务
学习方法进行组合,同时改进 Dice 损失以解决样本
不平衡 问 题,提 高 了 土 地 利 用 /覆被的分类精度。
YE 等[107] 将空间 光谱注意力机制应用于 UNet 模
型,以提升不同卷积层之间的特征表达一致性,实现
了建筑物的高精度提取。类似的研究还包括文
献[106 - 113] 。
DeepLab 系列模型也在土地利用/覆被分类中
得到了广泛应用。其中 LIN 等[ 114] 利用通道注意力
模块对 DeepLab 模型进行改进,以提升模 型对光谱
特征的敏 感 性,并将其应用于道路提取。吴永静
等[115] 采 用 ResNet 50 作 为 特 征 提 取 网 络 对
DeepLab 进行改进,并基于高分辨率遥感影像实现
了光伏用地的高精度分类。相关研究还包括文
献[72 ,115 - 119 ]。
4 样本稀疏条件下土地利用 /覆被遥感分类
算法研究进展
相比于计算机视觉领域,土地利用 /覆被遥感分
类中的样本标注对专家知识的要求更高,必要时 还
需要进行野外考察,从而造成了训练样本的稀疏性。
如果仅使用有限的标签样本,将容易造成分类模型
的过拟合,降低模型的时空泛化能力,因此如何综合
利用有限的标签样本和海量无标签样本进行模型训
练,就成为了一个关键技术问题。下面主要阐述样
本稀疏条 件下的土 地利 用 /覆被遥感分类算法的研
究进展,所涉及的算法包括主动学习、半监督学习、
弱监督学习、自监督学习、迁移学习等。
4. 1 基于主动学习的土地利用 /覆被遥感分类
主动学习最早见于机器学习领域,是目前解决
标签样本稀疏的常用学习策略之一。其核心思想
为:首先使用少量标签样本训练分类模型,再利用该
模型从无标签样本集中选择最具代表性或最易错分
的样本,由专家对其进行标注,再加入到标签样本集
中,并迭代训练模型,从而使模型具有更高的精度和
泛化能力[120 - 122] 。
主动学习的核心问题在于如何选取无标签样
本。其选择策略种类较多,主要划分为 3类:基于无
标签样本的不确定性,如委员会查询[ 123] ;基于无 标
签样本对模型的影响程度,如Fisher 信息比[124 ] ;基
于无标签样本的分布情况,如流形学习[ 125] 、KL 散
度[126] 等。
主动学习备受遥感领域研究人员的关
注[127 - 135] ,并被应用到土地利用/覆被遥感分类中。
HAUT 等[131] 设计了一种主动学习策略,用于贝叶斯
卷积神经网络的训练,通过构建多维贝叶斯卷积神
经网 络 以 适 应 多 种 高 光 谱 影 像,在Indian Pines、
7
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
Salinas 等公 开 数 据 集 上 实 现 了 较好 的 分 类 结 果 。
杨承文等[132] 将深度贝叶斯网络与主动学习策略相
结合,先基于有限的标签样本对模型进行预训练,再
筛选出不确定性高的样本对模型进行进一步训练,
从而增强了模型在样本稀疏条件下的泛化性。相关
研究还包括文献[130 ,133 - 134 ]。
上述方法均采用预先设计好的策略或准则对无
标签样本进行选取,然而这些策略或准则的泛化性
仍难以得到保证。为了解决这些问题,部分学者将
度量学习与主动学习相结合,通过优化损失函数的
设 计 以 提 高 无 标 签 样 本 选 择 的 合 理 性。其 中
ZHANG 等[135] 提出了一种结合主动学习的多度量
学习方法,通过多个度量指标的分配,以学习并优化
损失函数,在Houston 和Indian Pines 数据上验证了
该方法的有效性。
4. 2 基于半监督学习的土地利用 /覆被遥感分类
与主动学习类似,半监督学习旨在利用少量标
签样本和大量无标签样本对模型进行训练。不同的
是,半监督学习更强调训练过程的自动化,而不是主
动学习中大量的人工干预[136 - 137] 。半监督学习主要
包括两大类:基于伪标签的方法和基于一致性正则
化的方法。前者主要利用为无标签样本赋予伪标签
的思想,利用当前模型给予无标签样本最有可能被
预测的类别作为其伪标签,之后将伪标签加入标签
数据集对模型进行继续训练[138] ;后者主要依赖对
干扰不变性的假设,即对同一样本进行数据增强,
而增 强 后 的 样 本 之 间,其预测标签应当保持一
致[139 ] 。
由于土地利用 /覆被分类往往难以获得海量、高
质量的标签样本,因此半监督学习受到了广大研究
人员的关注。其中,在基于伪标签的半监督学习方
面,CENGGORO 等[140] 采用了一种变分半监督学习
框架,同时利用标签样本和无标签样本对深度学习
模型进行优化,以解决土地利用 /覆被分类中的样本
不平衡问题。相关研究还包括文献[141]。
笔者在伪标签法方面开展了半监督深度学习的
相关研究。针对半干旱区的土地覆被分类问题,提
出了一种多门控机制的半监督深度学习框架[142] ,
通过概率门、不确定性门和抗噪性门的联合使用,以
筛选并生成高质量的伪标签样 本(图7),并通过 消
融实验证实了不同门控机制的有效性。同时,针对
城市防尘绿网的遥感分类问题,构建了一种 two⁃step
的半监督深度学习算法[ 143] ,首先筛选高概率的无
标签样本,然后将其与标签样本进行特征相似度计
算,若top⁃k 的标签样本具有 相同的类别,则将该类
别赋给当前无标签样本。
图7 多门控机制的半监督深度学习框架[ 142]
Fig. 7 Multi⁃gate semi⁃supervised learning method[ 142]
除了上述伪标签样本方法 外,一致性正则化方
法也得到了研究。其中 ZHANG 等[144] 提出了一种
基于半监督学习的语义分割网络( S4Net ), 在对标
签样本进行特征提取的同时,对无标签样本施加随
机变换或扰动,并利用组合的损失函数训练模型,在
DeepGlobe 数据集上取得了具有竞争力的结果。文
献[145]进行了类似研究。
4. 3 基于弱监督学习的土地利用 /覆被遥感分类
本文所指的弱监督学习主要针对不确切监督
(Inexact supervision)问题[146] ,即基于粗粒度的上游
标签实现细粒度的下游任务。在土地利用/覆被遥
感分类中,常见的弱监督学习表述如下:如何在只有
图像块级 别或低分 辨率 的土地 利用 /覆被标注的情
况下,去实现像素级别或高分辨率的土地利用 /覆被
遥感分类任务。
弱监督学习可以一定程度上实现粗粒度标注样
本的复用,对于样本稀疏引起的模型过拟合具有一
定的缓解 作 用,在近期受到了遥感研究人员的关
8农 业 机 械 学 报 2022年
注[147 - 151] 。其中,SCHMITT 等[147] 探索了如何使用
低分辨率的土地覆被样本去生成高分辨率的土地覆
被分类图,首先采用 MODIS 的500 m 分辨率的全球
土地覆被 数 据集 作 为 低分 辨率 样 本集,然 后利 用
DeepLab v3 + 和UNet 语义分割模型在高分辨率
Sentinel 影 像 数 据 集 SEN12MS 上进行训练,并 在
DFC2020 数据集的验证集上进行精度评估。虽然作
者指出上述方法的精度并不能令人满意,但是其 技
术路线可以给人以启发,因为低分辨率的土地利用 /
覆 被 样 本 比 较 容 易 获 得,相似的研究还包括文
献[148]。相比于 SCHMITT 等[147] 直接使用低分辨
率的样本对模型进行训练,WANG 等[149] 则 利 用 图
像块级的标签样本和类激活图( Class activation
maps, CAMs) 的方法获取像素级的伪标签,并将伪
标签加入标签样本集,对UNet 语义分割模型进行重
新训练,证明了上述弱监督方法在土地覆被分类中
的有效性。针对跨领域的土地利用 /覆被分类问题,
LI 等[150] 提出了一个基于弱监督约束的语义分割模
型,通过弱监督迁移不变性约束、弱监督伪标签约束
以及弱监 督 旋转 一 致 性约 束,改善了模型的分类
效果。
4. 4 基于自监督学习的土地利用 /覆被遥感分类
自监督学习属于无监督学习的一种[152] ,可在
没有明确人工监督信息的情况下(如标签),从数据
本身出发构建学习算法[ 153] 。主要通过设计辅助任
务(如 灰 度 图 像 上 色[ 154] 、拼 图 游 戏[155] 、图 像 修
复[156] 等)来对模型进行预训练,从而更好完成下游
任务(如目标检测、语义分割等)。 近年来,随着各
种辅助任务的提出,自监督策略的训练效果越来越
接近全监督学习,引起了越来越多国内外研究者的
关注。
目前将自监督学习应用到土地利用/覆被遥感
分类中的研究较少,国内外相关研究均处于起步阶
段。其中 AYUSH 等[157 ] 提出了地理感知自监督对
比学习策略,该方法通过时序正样本对在空间上对
齐的方式,并结合影像拍摄地点的知识,在Map of
the World 数据集上较 MoCo v2 模型提升了 8% 的
精度。 REN 等[158] 提出一种基于相互信息的自监督
模型,并首次将自监督学习应用于 PolSAR 土地覆被
分类任务中,通过辅助任务的设计,提高了土地覆被
制图的性能。文献[159 - 160 ]进行了类似研究。
4. 5 基于迁移学习的土地利用 /覆被遥感分类
迁移学习主要 解 决不同域 (源域和目标域)之
间的模型对齐问题[ 161] 。考虑到遥感影像具有天然
的多域性,即在时间、空间、光谱等维度上存在天然
差异,因此如何将源域学习到的知识迁移至目标域,
并利用有限的目标域样本提升遥感分类模型 的 性
能,就依赖于迁移学习的深入研究。
迁移学习主要包括基于模型参数的迁移、基于
域适应的迁移、基于对抗学习的迁移等。其中基于
模型参数的迁移属于早期被广泛应用的方法,深度
学习网络的微调法(fine tune) 即属于此类方法。其
中WURM 等[162] 利用在 QuickBird 上训练好的模型
迁移 至 具 有 不 同 光 谱 波 段 的 Sentinel 2 和
TerrasSAR X 中,并对贫民窟这一独特的土地利用
类型进行分类,结果表明基于模型参数的迁移对异
源传感器(QuickBird 与SAR)之间的学习效果较差,
而对于同源传感器 ( QuickBird 与Sentinel 2 ) 之间
的分类结果具有提升作用。
在基于域适应的迁移方面,QIN 等[163] 提出了一
种基于张量对齐的域适应( Domain adaptation, DA)
方法。首先将源域和目标域的遥感影像分割成超像
素,然后通过对齐矩阵实现源域和目标域之间的子
空间对齐,并通过投影矩阵完成特征重映射,从而提
高了 目 标 域 内 土 地 利 用/覆被分类的精度。文
献[164 - 165] 进行了类似研究。
在基于对抗学习的迁移方面,XU 等[166] 采用对
抗学习策略提出了一种可转移注意力的对齐方法,
以增加细粒度特征,并在语义分割模型中使用域适
应方法,以缓解类间不平衡问题。文献[ 167 - 168]
进行了类似研究。
5 研究展望
5. 1 大规模遥感样本数据集构建
深度学习本质上属于数据驱动模型,其在土地
利用 /覆被遥感分类中的性能很大程度上取决于样
本数据的规模、标注质量、地物类别的多样性与完备
性等。虽然研究人员相继发布了一些土地利用/覆
被分类遥感样本数据集,然而大部分样本仅采样自
某一地区和某一时相,这将导致训练出的深度学习
分类模型的时空泛化能力较差,如果直接将上述分
类模型用于其他地区或时相,分类精度往往难以得
到保证。
为了解决 土地利 用 /覆被遥感分类中深度学习
模型的时空泛化问题,一个最直接有效的办法是构
建大规模遥感样本数据集,并进行公开发布,从而有
助于广大研究人员利用其进行深度学习模型构建与
训 练。实 际 上,在 计 算 机 视 觉 领 域,正 是 由 于
ImageNet 等大规模开源样本数据集的发布,才有效
促进了深度学习在自然图像分类、目标检测等领域
的发展和落地应用。
在未来研究中,可以优先考虑以下两种类型的
9
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
遥感样本数据集:图像块级样本数据集;像素级样本
数据集。其中图像块级样本数据集的构建方法与
UC Merced、AID 等场景识别数据集类似,用一个遥
感图像块来表示某一种特定的土地利用 /覆被类型,
样本标注的过程较为简单,标注人员直接对该遥感
图像块的类别进行赋值即可。然而这种样本并不能
提供精确的地物边界信息,导致大区域制图结果出
现明显的边缘锯齿效应;此外一个遥感图像块中往
往同时存在多种地物类型,这种场景复杂性也将增
加分类难度。相比于图像块级样本数据集,像素级
样本数据 集可以提 供每 一种土 地利 用 /覆被类型的
边界信息,然而标注工作量较高,较为费时费力。同
时,在构建上述两类样本数据集时,还需要考虑遥感
影像的多源性,尽可能覆盖多尺度、多传感器、多时
相、多区域的遥感影像,进而提高样本数据集的完备
性和可用性。
5. 2 深度学习模型结构优化
在当前土地利用 /覆被遥感分类研究中,研究人
员或直接采用计算机视觉领域较为成熟的深度学习
模型、或在经典模型上进行结构改进,在各自数据集
上取得了较好的分类精度。虽然也有相关研究人员
针对遥感影像的特点进行模型结构优化,但其适 用
范围往往需要进一步验证。
在未来的研究中,一方面可以继续借鉴计算机
视觉领域的最新研究成果,但更重要的是需要分析
遥感影像自身特点,有针对性地对深度学习的网络
结构进行改进。相比于计算机视觉领域关注的自然
图像,遥感影像具有天然的多源、多传感器、多谱段、
多尺度、多时相等特征。在设计分类网络时,多光谱
影像、高光谱影像、雷达影像的特征提取网络是否需
要单独设计,不同波段之间的特征是否需要融合,厘
米级的无人机影像、亚米级的高分辨率卫星影像以
及中低分辨率卫星影像,其特征提取网络有何不同,
多时相影像、多传感器影像之间如何进行特征融合,
从而进一步提高分类的精度和可靠性,同时,相比于
自然图像,遥感影像更多揭示的是宏观地学现象,因
此在设计深度学习模型结构时,如何考虑增加地学
的先验知识,从而提高模型结构的合理性,也是一个
需要思考的问题。
此外,还可以研究深度神经网络结构的自动寻
优方法,即网络结构也是从样本数据集中学习得到
的。需要注意的是,网络结构的自动寻优需要海量
的训练样本,如果样本集的规模较小,其学习到的网
络结构仅 是 局部 最 优 解,其时空泛化能力仍存在
缺陷。
5. 3 稀疏样本下深度学习模型泛化性能提升
通过构建大规模遥感样本数据集,可以一定程
度上解决深度学习模型的时空泛化能力问题。然而
大规模样本集的构建费时费力,同时在实际的土地
利用 /覆被遥感分类中,可用的样本数量总是较少
的,因此稀疏样本是遥感领域研究者需要面对的一
个重要议题。稀疏样本可以从时间和空间两方面去
理解,即已有的样本数据集往往是基于某一特定时
间、特定空间的影像进行标注的,那么在这一时空范
围以外的遥感影像,如果不进行大规模重新标注,那
么其样本必然是稀疏的。此外,对历史影像而言,如
果没有对应时间段的野外采样记录,其样本类别只
能通过遥感影像目视解译的方法进行判读,其不确
定性较高。
为了解决稀疏样本问题,在未来的研究中,可以
重点考虑无监督学习、半监督学习和迁移学习等算
法。其中无监督学习对标签样本的依赖度最低,其
通过海量无标签样本的训练,从而将原始影像数据
转换到一个类间可分性高的特征空间。而自监督学
习属于无监督学习中的一个热门方向,其相关思想
也可以被遥感领域研究人员所借鉴。这是因为遥感
影像作为天然的无标签样本库,可为无监督学习提
供海量无标签训练样本。同时,半监督学习由于同
时考虑了有限的标签样本和海量的无标签样本,也
可以缓解因稀疏样本造成的遥感分类模型的过拟合
问题。迁移学习则重点考虑不同光谱、空间、时间分
辨率遥感影像之间的样本复用问题,可以采用域适
应的方法实现遥感分类模型的时空谱迁移,提高模
型泛化能力。
综上,随着深度学习技术的不断发展,土地利
用/覆被样本集的种类和数量将持续上升,为模型训
练和精度对比提供数据支撑;深度学习模型的结构
也将得到进一步优化,并更能适应遥感影像的特点;
各种学习策略的不断改进,将会提高模型在样本稀
疏条件下的时空泛化能力。上述样本 模型 算法的
改进将持 续推动深 度学 习在土 地利 用 /覆被制图中
的广泛应用。
参 考 文 献
[1] 周珂,杨永清,张俨娜,等.光学遥感影像土地利用分类方法综述[ J]. 科学技术与工程, 2021, 21 (32 ) : 13603 -
13613.
ZHOU Ke, YANG Yongqing, ZHANG Yanna, et al. Review of land use classification methods based on optical remote sensing
images[J]. Science Technology and Engineering, 2021, 21(32): 13603 - 13613. (in Chinese)
01 农 业 机 械 学 报 2022年
[2] 骆剑承,胡晓东,吴田军,等.高分遥感驱动的精准土地利用与土地覆盖变化信息智能计算模型与方法研究[J]. 遥感
学报, 2021, 25(7) : 1351 - 1373.
LUO Jiancheng, HU Xiaodong, WU Tianjun, et al. Research on intelligent calculation model and method of precision land use/
cover change information driven by high⁃resolution remote sensing[J] . Journal of Remote Sensing, 2021, 25(7): 1351 - 1373.
(in Chinese)
[3] 刘哲,刘帝佑,朱德海,等.作物遥感精细识别与自动制图研究进展与展望[J] . 农业机械学报, 2018, 49(12) :1 - 12.
LIU Zhe, LIU Diyou, ZHU Dehai, et al. Review on crop type fine identification and automatic mapping using remote sensing
[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12):1 - 12. (in Chinese)
[4] 张磊,吴炳方.关于土地覆被遥感监测的几点思考[J] . 国土资源遥感, 2011( 1) : 15 - 20 .
ZHANG Lei, WU Bingfang. A discussion on land cover mapping[J]. Remote Sensing for Land & Resources, 2011(1): 15 -
20. ( in Chinese)
[5] 陈永慧,李小娟,胡德勇.遥感图像土 地覆被 专题信息 提取方 法综述[ J] . 首 都师范大 学学报 (自 然科学 版), 2009,
30( 1): 59 - 64 .
CHEN Yonghui, LI Xiaojuan, HU Deyong. Review on the methods for extracting land cover thematic information from remote
sensing image[J]. Journal of Capital Normal University(Natural Sciences Edition), 2009, 30(1): 59 - 64. (in Chinese)
[6] 赵春江.农业遥感研究与应用进展[J] . 农业机械学报, 2014, 45(12) : 277 - 293.
ZHAO Chunjiang. Advances of research and application in remote sensing for agriculture[ J]. Transactions of the Chinese
Society for Agricultural Machinery, 2014, 45(12): 277 - 293. ( in Chinese)
[7] GONG P, LIU H, ZHANG M, et al. Stable classification with limited sample: transferring a 30⁃m resolution sample set
collected in 2015 to mapping 10⁃m resolution global land cover in 2017[J] . Science Bulletin, 2019, 64: 370 - 373.
[8] SCHMITT M, HUGHES L H, QIU C, et al. SEN12MS—a curated dataset of georeferenced multi⁃spectral sentinel⁃1 / 2 imagery
for deep learning and data fusion[J] . arXiv preprint, arXiv:1906. 07789, 2019.
[9] LECUN Y, BENGIO Y, HINTON G. Deep learning[ J]. Nature, 2015, 521: 436 - 444.
[10] ADAM E, MUTANGA O, ODINDI J, et al. Land⁃use / cover classification in a heterogeneous coastal landscape using
RapidEye imagery: evaluating the performance of random forest and support vector machines classifiers[ J]. International
Journal of Remote Sensing, 2014, 35: 3440 - 3458.
[11] 朱德 海,刘逸铭,冯权泷,等.基于 GEE 的山东省近 30 年农业大棚时空动态变化研究[J] . 农 业机械 学报, 2020,
51( 1): 168 - 175 .
ZHU Dehai, LIU Yiming, FENG Quanlong, et al. Spatial⁃temporal dynamic changes of agricultural greenhouses in Shandong
Province in recent 30 years based on Google Earth Engine[J]. Transactions of the Chinese Society for Agricultural Machinery,
2020, 51( 1) : 168 - 175. ( in Chinese)
[12] 黄健熙,侯矞焯,武洪峰,等.基于时间序列 MODIS 的农作物类型空间制图方法[J] . 农业机械学报, 2017, 48(10) :
142 - 147.
HUANG Jianxi, HOU Yuzhuo, WU Hongfeng, et al. Crop type mapping method based on time⁃series MODIS data in
Heilongjiang Province[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(10 ) : 142 - 147. (in
Chinese)
[13] 张荣群,王盛安,高万林,等.基于时序植被指数的县域作物遥感分类方法研究[J] . 农业机械学 报, 2015, 46( 增
刊) : 246 - 252 .
ZHANG Rongqun, WANG Sheng'an, GAO Wanlin, et al. Remote⁃sensing classification method of county⁃level agriculture
crops using time⁃series[J] . Transactions of the Chinese Society for Agricultural Machinery, 2015, 46( Supp. ): 246 - 252.
(in Chinese)
[14] FENG Q, LIU J, GONG J. UAV remote sensing for urban vegetation mapping using random forest and texture analysis[ J] .
Remote Sensing, 2015, 7: 1074 - 1094.
[15] FENG Q, LIU J, GONG J. Urban flood mapping based on unmanned aerial vehicle remote sensing and random forest
classifier—a case of Yuyao, China[ J]. Water, 2015, 7(4): 1437 - 1455.
[16] BREIMAN L. Random forests[ J]. Machine Learning, 2001, 45(1) : 5 - 32.
[17] CHAPELLE O, VAPNIK V, BOUSQUET O, et al. Choosing multiple parameters for support vector machines[ J]. Machine
Learning, 2002, 46(1) : 131 - 159.
[18] ZHANG L, ZHANG L, DU B. Deep learning for remote sensing data: a technical tutorial on the state of the art[ J] . IEEE
Geoscience and Remote Sensing Magazine, 2016, 4(2) : 22 -40.
[19] ZHU X, TUI A D, MOU L, et al. Deep learning in remote sensing: a comprehensive review and list of resources[ J]. IEEE
Geoscience and Remote Sensing Magazine, 2017, 5(4) : 8 -36.
[20] KAMILARIS A, PRENAFETA F X. Deep learning in agriculture: a survey[ J] . Computers and Electronics in Agriculture,
2018, 147: 70 - 90.
[21] 李德仁,张良培,夏桂松.遥感大数据自动分析与数据挖掘[J] . 测绘学报, 2014, 43(12) : 1211 - 1216.
LI Deren, ZHANG Liangpei, XIA Guisong. Automatic analysis and mining of remote sensing big data[J]. Acta Geodaetica et
Cartographica Sinica, 2014, 43(12): 1211 - 1216. (in Chinese)
[22] 陈前,郑利娟,李小娟,等.基于深度 学 习 的 高 分 遥 感影像水体提取模型研究 [ J] . 地 理 与 地 理 信 息 科 学, 2019,
35( 4): 43 - 49 .
CHEN Qian, ZHENG Lijuan, LI Xiaojuan, et al. Water body extraction from high⁃resolution satellite remote sensing images
based on deep learning[J]. Geography and Geo⁃Information Science, 2019, 35(4) : 43 -49. ( in Chinese)
[23] 涂序彦.何谓“人工智能”? 概念、对象、内容及方法[ J]. 软件世界,1999(1 ):34 - 36.
TU Xuyan. What is “artificial intelligence”? conception, object, content and method[J] . Software World, 1999(1): 34 -
11
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
36. ( in Chinese)
[24] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[ J].
Advances in Neural Information Processing Systems, 2012, 25: 1097 - 1105.
[25] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large⁃scale image recognition[ J] . arXiv preprint,
arXiv: 1409. 1556, 2014.
[26] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition, 2016: 770 - 778.
[27] HUANG G, LIU Z, VAN D M L, et al. Densely connected convolutional networks[C]∥Proceedings of the IEEE Conference
on Computer Vision and Pattern Recognition, 2017: 4700 -4708.
[28] HOCHREITER S, SCHMIDHUBER J. Long short⁃term memory[J] . Neural Computation, 1997, 9(8) : 1735 -1780.
[29] CHO K, MERRIENBOER B, BAHDANAU D, et al. On the properties of neural machine translation: encoder⁃decoder
approaches[J]. arXiv preprint, arXiv: 1409. 1259, 2014.
[30] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]∥Advances in Neural Information Processing
Systems, 2017: 5998 - 6008.
[31 ] COLA H. Understanding LSTM Networks [ EB / OL ] . [ 2022 01 25 ]. https: ∥ colah. github. io / posts / 2015 - 08 -
Understanding - LSTMs/ .
[32] GOODFELLOW I, POUGET J, MIRZA M, et al. Generative adversarial networks[ J]. Communications of the ACM, 2020,
63( 11): 139 - 144.
[33] CHEN J, LU Y, YU Q, et al. Transunet: transformers make strong encoders for medical image segmentation[ J] . arXiv
preprint, arXiv:2102. 04306, 2021.
[34] CAO H, WANG Y, CHEN J, et al. Swin Unet: Unet⁃like pure transformer for medical image segmentation[ J]. arXiv
preprint, arXiv:2105. 05537, 2021.
[35] 熊俊涛,刘柏林,钟灼,等.基于深度语义分割网络的荔枝花叶分割与识别[J]. 农业机械学报, 2021, 52(6): 252 - 258.
XIONG Juntao, LIU Bolin, ZHONG Zhuo, et al. Litchi flower and leaf segmentation and recognition based on deep semantic
segmentation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(6): 252 - 258. ( in Chinese)
[36] 李旭青,张秦雪,安志远,等.基于可变形全卷积神经网络的冬小麦自动解译研究[J] . 农业机械学报, 2020, 51(9) :
144 - 151.
LI Xuqing, ZHANG Qinxue, AN Zhiyuan, et al. Automatic interpretation of winter wheat based on deformable full convolution
neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9) : 144 -151. ( in Chinese)
[37] 杨蜀秦,宋志双,尹瀚平,等.基于 深 度 语 义 分 割 的无人机多光谱遥感作物 分 类 方 法 [ J ] . 农业机械学报, 2021,
52( 3): 185 - 192 .
YANG Shuqin, SONG Zhishuang, YIN Hanping, et al. Crop classification method of UVA multispectral remote sensing based
on deep semantic segmentation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3): 185 -192.
(in Chinese)
[38] WANG Y, ZENG X, LIAO X, et al. B FGC Net: a building extraction network from high resolution remote sensing imagery
[J]. Remote Sensing, 2022, 14(2) : 144.
[39] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[ C] ∥Proceedings of the
IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431 -3440.
[40] RONNEBERGER O, FISCHER P, BROX T. U Net: convolutional networks for biomedical image segmentation[ C ] ∥
International Conference on Medical Image Computing and Computer⁃assisted Intervention, Springer, Cham, 2015: 234 - 241.
[41] ZHOU Z, SIDDIQUEE M M R, TAJBAKHSH N, et al. A nested U Net architecture for medical image segmentation[ J].
arXiv preprint, arXiv:1807. 10165, 2018.
[42] QIN X, ZHANG Z, HUANG C, et al. U^2 Net: going deeper with nested U⁃structure for salient object detection[J]. Pattern
Recognition, 2020, 106: 107404.
[43] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Semantic image segmentation with deep convolutional nets and fully
connected CRFS[ J]. arXiv preprint, arXiv:1412. 7062, 2014.
[44] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Deeplab: semantic image segmentation with deep convolutional nets,
atrous convolution, and fully connected CRFs[ J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,
40( 4): 834 - 848 .
[45] CHEN L C, PAPANDREOU G, SCHROFF F, et al. Rethinking atrous convolution for semantic image segmentation[J] . arXiv
preprint, arXiv:1706. 05587, 2017.
[46] CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder⁃decoder with atrous separable convolution for semantic image
segmentation[C]∥Proceedings of the European Conference on Computer Vision ( ECCV), 2018: 801 - 818.
[47] 季顺平,田思琦,张驰.利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测[J] . 武汉大学学报(信息科学
版), 2020, 45(2): 233 - 241.
JI Shunping, TIAN Siqi, ZHANG Chi. Urban land cover classification and change detection using fully atrous convolutional
neural network[ J] . Geomatics and Information Science of Wuhan University, 2020, 45(2): 233 - 241. ( in Chinese)
[48] 宁纪锋,倪静,何 宜 家,等.基于卷 积 注 意 力 的 无 人 机 多 光 谱 遥感影像地膜农田 识 别 [ J ]. 农 业 机 械 学 报, 2021,
52( 9): 213 - 220 .
NING Jifeng, NI Jing, HE Yijia, et al. Convolutional attention based plastic mulching farmland identification via UAV
multispectral remote sensing image[J] . Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(9): 213 -
220. (in Chinese)
[49] 郭交,李仪邦,董思意,等.融合栈式自编码与 CNN 的高光谱影像作物分类方法[ J] . 农业机械学报, 2021, 52(12) :
21 农 业 机 械 学 报 2022年
225 - 232.
GUO Jiao, LI Yibang, DONG Siyi, et al. Innovative method of crop classification for hyperspectral images combining stacked
autoencoder and CNN[J] . Transactions of the Chinese Society for Agricultural Machinery, 2021, 52 ( 12) : 225 - 232. ( in
Chinese)
[50] WU H, PRASAD S. Convolutional recurrent neural networks for hyperspectral data classification[J]. Remote Sensing, 2017,
9(3) : 298.
[51] 林蕾.基于循环神经网络模型的遥感影像时间序列分类及变化检测方法研究[ D]. 北京:中国科学院大学, 2018.
LIN Lei. Satellite image time series classification and change detection based on recurrent neural network model[D]. Beijing:
University of Chinese Academy of Sciences, 2018. ( in Chinese)
[52] 刘文萍,赵磊,周焱,等.基于深度学习的无人机土地覆盖图像分割方法[J]. 农业机械学报, 2020, 51(2): 221 -229.
LIU Wenping, ZHAO Lei, ZHOU Yan, et al. Deep learning based unmanned aerial vehicle landcover image segmentation
method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2):221 -229. (in Chinese)
[53] MAGGIORI E, TARABALKA Y, CHARPIAT G, et al. Fully convolutional neural networks for remote sensing image
classification[C]∥2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2016: 5071 - 5074.
[54] YANG Y, NEWSAM S. Bag⁃of⁃visual⁃words and spatial extensions for land⁃use classification[ C] ∥Proceedings of the 18th
SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York, 2010: 270 - 279.
[55] DAI D, YANG W. Satellite image classification via two⁃layer sparse coding with biased image representation[ J]. IEEE
Geoscience and Remote Sensing Letters, 2011, 8(1) : 173 - 176.
[56] ZOU Q, NI L, ZHANG T, et al. Deep learning based feature selection for remote sensing scene classification[ J]. IEEE
Geoscience and Remote Sensing Letters, 2015, 12(11) : 2321 - 2325.
[57] PENATTI O A B, NOGOGUEIRA K, DOS S J A. Do deep features generalize from everyday objects to remote sensing and
aerial scenes domains? [ C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops,
2015: 44 - 51.
[58] BASU S, GANGULY S, MUKHOPADHYAY S, et al. Deepsat: a learning framework for satellite imagery[C]∥Proceedings of
the 23rd Sigspatial International Conference on Advances in Geographic Information Systems, 2015: 1 - 10.
[59] ZHAO B, ZHONG Y, XIA G S, et al. Dirichlet⁃derived multiple topic scene classification model for high spatial resolution
remote sensing imagery[ J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 54(4) : 2108 - 2123.
[60] XIA G S, HU J, HU F, et al. AID: a benchmark data set for performance evaluation of aerial scene classification[J]. IEEE
Transactions on Geoscience and Remote Sensing, 2017, 55(7) : 3965 - 3981.
[61] HELBER P, BISCHKE B, DENGEL A, et al. Eurosat: a novel dataset and deep learning benchmark for land use and land
cover classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(7) :
2217 - 2226.
[62] DEMIR I, KOPERSKI K, LINDENBAUM D, et al. Deepglobe 2018: a challenge to parse the earth through satellite images
[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2018: 172 - 181.
[63] GONG P, WANG J, YU L, et al. Finer resolution observation and monitoring of global land cover: first mapping results with
Landsat TM and ETM + data[J]. International Journal of Remote Sensing, 2013, 34(7) : 2607 -2654.
[64] DEBES C, MERENTITIES A, HERENMANS R, et al. Hyperspectral and LiDAR data fusion: outcome of the 2013 GRSS data
fusion contest[J] . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6) : 2405 -
2418.
[65] GIC. Hyperspectral remote sensing scenes [ EB/ OL ] . [ 2022 01 25] . http: ∥ www. ehu. eus/ ccwintco / index. php/
Hyperspectral_Remote_Sensing_Scenes.
[66] BAUMGARDNER M F, BIEHL L L, LANDGREBE D A. 220 band aviris hyperspectral image data set: June 12, 1992 Indian
pine test site 3[EB / OL]. [2022 01 25] . https:∥purr. pardue. edu / publications/ 1947 / about? v = l.
[67] TONG X Y, XIA G S, LU Q, et al. Land⁃cover classification with high⁃resolution remote sensing images using transferable
deep models[ J] . Remote Sensing of Environment, 2020, 237: 111322.
[68] 岑奕,张立福,张霞,等.雄安新区马蹄湾村航空高光谱遥感影像分类数据集[J] . 遥 感学报, 2020, 24(11): 1299 -
1306.
CEN Yi, ZHANG Lifu, ZHANG Xia, et al. Aerial hyperspectral remote sensing classification dataset of Xiongan New Area
(Matiwan Village) [ J]. Journal of Remote Sensing, 2020, 24(11) : 1299 - 1306. ( in Chinese)
[69] REZAEE M, MAHDIANPARI M, ZHANG Y, et al. Deep convolutional neural network for complex wetland classification
using optical remote sensing imagery[J] . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,
2018, 11(9) : 3030 - 3039.
[70] KUSSUL N, LAVRENIUK M, SKAKUN S, et al. Deep learning classification of land cover and crop types using remote
sensing data[ J] . IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778 - 782.
[71] ALSHEHHI R, MARPU P R, WOON W L, et al. Simultaneous extraction of roads and buildings in remote sensing imagery
with convolutional neural networks[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 130: 139 - 149.
[72] NIU Z, LIU W, ZHAO J, et al. DeepLab⁃based spatial feature extraction for hyperspectral image classification[ J] . IEEE
Geoscience and Remote Sensing Letters, 2018, 16(2): 251 - 255.
[73] 陈敏,潘佳威,李江杰,等.结合 VGGNet 与Mask R CNN 的高分辨率遥感影像建设用地检测[ J]. 遥感技术与应用,
2021, 36(2) : 256 - 264.
CHEN Min, PAN Jiawei, LI Jiangjie, et al. High resolution remote sensing image construction land detection combined with
VGGNet and Mask R CNN[ J]. Remote Sensing Technology and Application, 2021, 36(2): 256 - 264. (in Chinese)
[74] 吴海平,黄世存.基于深度学习的新增建设用地信息提取试验研究—全国土地利用遥感监测工程创新探索[J]. 国土
31
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
资源遥感, 2019, 31(4) : 159 - 166.
WU Haiping, HUANG Shicun. Research on new construction land information extraction based on deep learning: innovation
exploration of the national project of land use monitoring via remote sensing[J] . Remote Sensing for Land & Resources, 2019,
31( 4): 159 - 166 . ( in Chinese)
[75] 田琳静,宋文龙,卢奕竹,等.基于深度学习的农业区土地利用无人机监测分类[J]. 中国水利水电科学研究院学报,
2019, 17(4) : 312 - 320.
TIAN Linjing, SONG Wenlong, LU Yizhu, et al. Rapid monitoring and classification of land use in agricultural areas by UAV
based on deep learning method[J] . Journal of China Institute of Water Resources and Hydropower Research, 2019, 17(4) :
312 - 320. ( in Chinese)
[76] 汪传建,赵庆展,马永建,等.基于卷积神经网络的无人机遥感农作物分类[J]. 农业机械学报, 2019, 50(11): 161 -168.
WANG Chuanjian, ZHAO Qingzhan, MA Yongjian, et al. Crop identification of drone remote sensing based on convolutional
neural network[J] . Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 161 -168. (in Chinese)
[77] HUANG B, ZHAO B, SONG Y. Urban land⁃use mapping using a deep convolutional neural network with high spatial
resolution multispectral remote sensing imagery[ J] . Remote Sensing of Environment, 2018, 214: 73 - 86.
[78] XU X, LI W, RAN Q, et al. Multisource remote sensing data classification based on convolutional neural network[J]. IEEE
Transactions on Geoscience and Remote Sensing, 2017, 56(2) : 937 - 949.
[79] 刘帅,张旭含,李笑迎,等.基于双分支卷积网络的高光谱与多光谱图像协同土地利用分类[ J] . 农业 工 程学报,
2020, 36( 14) : 252 - 262.
LIU Shuai, ZHANG Xuhan, LI Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery
based on dual branch convolutional neural network[J]. Transactions of the CSAE, 2020, 36(14): 252 - 262. ( in Chinese)
[80] FENG Q, ZHU D, YANG J, et al. Multisource hyperspectral and LiDAR data fusion for urban land⁃use mapping based on a
modified two⁃branch convolutional neural network[J]. ISPRS International Journal of Geo⁃Information, 2019, 8(1) : 28.
[81] FENG Q, YANG J, ZHU D, et al. Integrating multitemporal Sentinel 1 / 2 data for coastal land cover classification using a
multibranch convolutional neural network: a case of the Yellow River Delta[ J]. Remote Sensing, 2019, 11(9) : 1006.
[82] 冯权泷,牛博文,朱德海,等.基于多核主动学习和多源数据融合的农田塑料覆被分类[J]. 农业机 械学报,2022,53(2) :
177 - 185.
FENG Quanlong,NIU Bowen,ZHU Dehai,et al. Classification of agricultural plastic cover based on multi⁃kernel active learning
and multi⁃source data fusion[J] . Transactions of the Chinese Society for Agricultural Machinery,2022,53(2) :177 - 185. (in
Chinese)
[83] 冯权泷,陈泊安,牛博文,等.基于多尺度扩张卷积神经网络的城中村遥感识别[ J] . 农业机械学报, 2021, 52(11) :
181 - 189.
FENG Quanlong, CHEN Boan, NIU Bowen, et al. Identification of urban villages from remote sensing image based on multi⁃
scale dilated convolutional neural network[J] . Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(11):
181 - 189. ( in Chinese)
[84] 张立福,王飒,刘华亮,等.从光 谱 到 时谱—遥感时间序 列 变化检测研 究 进展[ J ]. 武汉 大 学 学报(信息科 学 版),
2021, 46(4) : 451 - 468.
ZHANG Lifu, WANG Sa, LIU Hualiang, et al. From spectrum to spectrotemporal: research on time series change detection of
remote sensing[ J] . Geomatics and Information Science of Wuhan University, 2021, 46(4): 451 - 468. ( in Chinese)
[85] MOU L, GHAMISI P, ZHU X X. Deep recurrent neural networks for hyperspectral image classification[J] . IEEE Transactions
on Geoscience and Remote Sensing, 2017, 55(7) : 3639 - 3655.
[86] HANG R, LIU Q, HONG D, et al. Cascaded recurrent neural networks for hyperspectral image classification[ J] . IEEE
Transactions on Geoscience and Remote Sensing, 2019, 57(8) : 5384 - 5394.
[87] MA A, FILIPPI A M, WANG Z, et al. Hyperspectral image classification using similarity measurements⁃based deep recurrent
neural networks[J] . Remote Sensing, 2019, 11(2): 194.
[88] RUΒWURM M, KÖRNER M. Multi⁃temporal land cover classification with sequential recurrent encoders [ J ]. ISPRS
International Journal of Geo⁃Information, 2018, 7(4) : 129.
[89] NDIKUMANA E, HO T, BAGHDADI N, et al. Deep recurrent neural network for agricultural classification using
multitemporal SAR Sentinel 1 for Camargue, France[J] . Remote Sensing, 2018, 10(8) : 1217.
[90] ZHONG L, HU L, ZHOU H. Deep learning based multi⁃temporal crop classification[J] . Remote Sensing of Environment,
2019, 221: 430 - 443.
[91] 解毅,张永清,荀兰,等.基于多源遥感数据融合和 LSTM 算法的作物分类研究[ J]. 农业工程学 报, 2019, 35( 15):
129 - 137.
XIE Yi, ZHANG Yongqing, XUN Lan, et al. Crop classification based on multi⁃source remote sensing data fusion and LSTM
algorithm[J]. Transactions of the CSAE, 2019, 35(15) : 129 - 137. (in Chinese)
[92] 赵红伟,陈仲新,刘佳.深度学习方法在作物遥感分类中的应用和挑战[J]. 中国 农业资源 与 区 划, 2020, 41(2) :
35 - 49.
ZHAO Hongwei, CHEN Zhongxin, LIU Jia. Deep learning for crop classification of remote sensing data: applications and
challenges[J]. Chinese Journal of Agricultural Resources and Regional Planning, 2020, 41(2) : 35 -49. ( in Chinese)
[93] MEI X, PAN E, MA Y, et al. Spectral⁃spatial attention networks for hyperspectral image classification[J] . Remote Sensing,
2019, 11(8) : 963.
[94] MOU L, BRUZZONE L, ZHU X X. Learning spectral⁃spatial⁃temporal features via a recurrent convolutional neural network for
change detection in multispectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57: 924 - 935.
[95] LIU Q, ZHOU F, HANG R, et al. Bidirectional⁃convolutional LSTM based spectral⁃spatial feature learning for hyperspectral
41 农 业 机 械 学 报 2022年
image classification[J] . Remote Sensing, 2017, 9(12): 1330.
[96] WU H, PRASAD S. Convolutional recurrent neural networks for hyperspectral data classification[J]. Remote Sensing, 2017,
9(3) :298.
[97] 张鹏强,刘冰,左溪冰,等.利用深度卷积循环神经网络的高光谱影像空谱特征分类方法[ J]. 测绘科学技术学报,
2021, 38(4) : 368 - 373.
ZHANG Pengqiang, LIU Bing, ZUO Xibing, et al. Spatial spectral feature classification of hyperspectral images using deep
convolution recurrent neural network[ J]. Journal of Geomatics Science and Technology, 2021, 38 ( 4 ): 368 - 373. ( in
Chinese)
[98] 马欣悦,王梨名,祁昆仑,等.基于多尺度循环注意力网络的遥感影像场景分类方法[ J]. 地球科学, 2021, 46(10) :
3740 - 3752.
MA Xinyue, WANG Liming, QI Kunlun, et al. Remote sensing image scene classification method based on multi⁃scale cyclic
attention network[ J]. Earth Science, 2021, 46(10): 3740 -3752. (in Chinese)
[99] FENG Q, YANG J, LIU Y, et al. Multi⁃temporal unmanned aerial vehicle remote sensing for vegetable mapping using an
attention⁃based recurrent convolutional neural network[J]. Remote Sensing, 2020, 12(10): 1668.
[100] 张宏鸣,王斌,韩 文 霆,等.基于全卷积神 经 网 络 的 灌 区 无 人 机正射影像渠系 提 取 [ J ] . 农 业 机 械 学 报, 2019,
50( 6): 241 - 248 .
ZHANG Hongming, WANG Bin, HAN Wenting, et al. Extraction of irrigation networks in irrigation area of UAV orthophotos
based on fully convolutional networks[ J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(6):
241 - 248. ( in Chinese)
[101] 杨亚男,张宏鸣,李杭昊,等.结合 FCN 和DenseCRF 模型 的 无人机梯 田 识 别方法研究 [ J] . 计 算 机工程与应 用,
2021, 57(3) : 222 - 230.
YANG Ya'nan, ZHANG Hongming, LI Hanghao, et al. Research on UAV terrace recognition method based on FCN and
DenseCRF model[J] . Computer Engineering and Applications, 2021, 57(3) : 222 - 230. ( in Chinese)
[102] 孙钰,韩京冶,陈志泊,等.基于深度学习的大棚及地膜农田无人机航拍监测方法[J]. 农业机械学报, 2018, 49(2) :
133 - 140.
SUN Yu, HAN Jingye, CHEN Zhibo, et al. Monitoring method for UAV image of greenhouse and plastic⁃mulched landcover
based on deep learning[ J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49 (2): 133 - 140. (in
Chinese)
[103] SHRESTHA S, VANNESCHI L. Improved fully convolutional network with conditional random fields for building extraction
[J]. Remote Sensing, 2018, 10(7) : 1135.
[104] MARMANIS D, SCHINDLER K, WEGNER J D, et al. Classification with an edge: improving semantic image segmentation
with boundary detection[J] . ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 135: 158 - 172.
[105] MOHAMMADIMANESH F, SALEHI B, MAHDIANPARI M, et al. A new fully convolutional neural network for semantic
segmentation of polarimetric SAR imagery in complex land cover ecosystem[J] . ISPRS Journal of Photogrammetry and Remote
Sensing, 2019, 151: 223 - 236.
[106] DIAKOGIANNIS F I, WALDNER F, CACCETTA P, et al. ResUNet a: a deep learning framework for semantic
segmentation of remotely sensed data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 94 - 114.
[107] YE Z, FU Y, GAN M, et al. Building extraction from very high resolution aerial imagery using joint attention deep neural
network[J]. Remote Sensing, 2019, 11(24) : 2970.
[108] 何直蒙,丁海勇,安炳琪.高分辨率遥感影像建筑物提取的空洞卷积 E Unet 算法 [ J/ OL]. 测 绘学报[2022 01
22] . https:∥kns. cnki. net/ kcms/ detail/ 11. 2089. P. 20211215. 1136. 012. html.
HE Zhimeng, DING Haiyong, AN Bingqi. E Unet: aatrous convolution⁃based neural network for building extraction from
high⁃resolution remote sensing images[J / OL]. Acta Geodaeticaet Cartographica Sinica[2022 01 22]. https:∥kns. cnki.
net / kcms/ detail/ 11. 2089. P. 20211215. 1136. 012. html. ( in Chinese)
[109] CAO K, ZHANG X. An improved res⁃unet model for tree species classification using airborne high⁃resolution images[ J] .
Remote Sensing, 2020, 12(7): 1128.
[110] 李星华,白学辰,李正军,等.面向高分影像建筑物提取的多层次特征融合网[J / OL]. 武汉大学学报(信息科学版)
[2022 01 21] . https:∥kns. cnki. net / kcms / detail /42. 1676. TN. 20220114. 1321. 001. html.
LI Xinghua, BAI Xuechen, LI Zhengjun, et al. High⁃resolution image building extraction based on multi⁃level feature fusion
network[J/ OL]. Geomatics and Information Science of Wuhan University[2022 01 21] . https:∥kns. cnki. net / kcms/
detail /42. 1676. TN. 20220114. 1321. 001. html. ( in Chinese)
[111] ZHANG P, KE Y, ZHANG Z, et al. Urban land use and land cover classification using novel deep learning models based on
high spatial resolution satellite imagery[ J]. Sensors, 2018, 18(11): 3717.
[112] YAN S, XU L, YU G, et al. Glacier classification from Sentinel 2 imagery using spatial⁃spectral attention convolutional
model[J]. International Journal of Applied Earth Observation and Geoinformation, 2021, 102: 102445.
[113] ZHENG Z, WAN Y, ZHANG Y, et al. CLNet: cross⁃layer convolutional neural network for change detection in optical
remote sensing imagery[ J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 175: 247 - 267.
[114] LIN Y, XU D, WANG N, et al. Road extraction from very⁃high⁃resolution remote sensing images via a nested SE Deeplab
model[J]. Remote Sensing, 2020, 12(18) : 2985.
[115] 吴永静,吴锦超,林超,等.基于深度学习的高分辨率遥感影像光伏用地提取[J]. 测绘通报, 2021( 5) : 96 - 101 .
WU Yongjing, WU Jinchao, LIN Chao, et al. Photovoltaic land extraction from high⁃resolution remote sensing images based
on deep learning method[J] . Bulletin of Surveying and Mapping, 2021(5): 96 - 101. ( in Chinese)
[116] 侯博文,闫冬梅,郝伟,等.改进卷积网络的高分遥感图像城镇建成区提取[J]. 中国图象图形学报, 2020, 25(12):
51
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述
2677 - 2689.
HOU Bowen, YAN Dongmei, HAO Wei, et al. Urban built⁃up area extraction using high⁃resolution remote sensing images
with an improved convolutional neural network[ J] . Journal of Image and Graphics, 2020, 25 (12): 2677 - 2689. ( in
Chinese)
[117] WANG Y, GAO L, HONG D, et al. Mask DeepLab: end⁃to⁃end image segmentation for change detection in high⁃resolution
remote sensing images[J]. International Journal of Applied Earth Observation and Geoinformation, 2021, 104: 102582.
[118] FU H, FU B, SHI P. An improved segmentation method for automatic mapping of cone karst from remote sensing data based
on DeepLab V3 + model[J] . Remote Sensing, 2021, 13(3) : 441.
[119] SI Y, GONG D, GUO Y, et al. An advanced spectral⁃spatial classification framework for hyperspectral imagery based on
DeepLab v3 + [J] . Applied Sciences, 2021, 11(12) : 5703.
[120] MACKAY D J C. Information⁃based objective functions for active data selection[J]. Neural Computation, 1992, 4(4): 590 -604.
[121] SETTLES B. Active learning literature survey[ R]. University of Wisconsin⁃Madison, Department of Computer Sciences,
2009.
[122] 刘康,钱旭,王自强.主动学习算法综述[ J] . 计算机工程与应用, 2012, 48(34) : 1 - 4.
LIU Kang, QIAN Xu, WANG Ziqiang. Survey on active learning algorithms[ J]. Computer Engineering and Applications,
2012, 48(34) : 1 - 4. (in Chinese)
[123] SEUNG H S, OPPER M, SOMPOLINSKY H. Query by committee[ C] ∥ Proceedings of the Fifth Annual Workshop on
Computational Learning Theory, 1992: 287 - 294.
[124] RAJAN S, GHOSH J, CRAWFORD M M. An active learning approach to hyperspectral data classification [ J ] . IEEE
Transactions on Geoscience and Remote Sensing, 2008, 46(4) : 1231 - 1242.
[125] ZHANG L, CHEN C, BU J, et al. Active learning based on locally linear reconstruction[J]. IEEE Transactions on Pattern
Analysis and Machine Intelligence, 2011, 33(10): 2026 - 2038.
[126] MCCALLUMZY A K, NIGAMY K. Employing EM and pool⁃based active learning for text classification [ C ] ∥ Proc.
International Conference on Machine Learning (ICML) . Citeseer, 1998: 359 - 367.
[127] 王成军,毛政元,徐伟铭,等.超像素与主动学习相结 合的遥感影像变 化检测方法 [ J]. 地球信息科学学报, 2018,
20( 2): 235 - 245 .
WANG Chengjun, MAO Zhengyuan, XU Weiming, et al. Change detection approach for high resolution remotely sensed
images based on superpixel and active learning [ J] . Journal of Geo⁃Information Science, 2018, 20 (2): 235 - 245. ( in
Chinese)
[128] 邓鸿儒,徐佳,单文龙,等.利用 主动深度学 习提取极化 SAR 影像建筑区[ J]. 测绘科学技 术学报, 2018, 35(3):
278 - 284.
DENG Hongru, XU Jia, SHAN Wenlong, et al. Polarized SAR image building area extraction using active deep learning[J] .
Journal of Geomatics Science and Technology, 2018, 35(3): 278 - 284. (in Chinese)
[129] REN S, HE K, GIRSHICK R, et al. Faster R CNN: towards real⁃time object detection with region proposal networks[J].
Advances in Neural Information Processing Systems, 2015, 28: 91 - 99.
[130] LIU P, ZHANG H, EOM K B. Active deep learning for classification of hyperspectral images[J]. IEEE Journal of Selected
Topics in Applied Earth Observations and Remote Sensing, 2016, 10(2) : 712 -724.
[131] HAUT J M, PAOLETTI M E, PLAZA J, et al. Active learning with convolutional neural networks for hyperspectral image
classification using a new bayesian approach[ J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56 ( 11 ) :
6440 - 6461.
[132] 杨承文,李吉明,杨东勇.基于深度贝叶斯主动学习的高光谱图像分类[J]. 计算机工程与应用, 2019, 55(18): 166 -172.
YANG Chengwen, LI Jiming, YANG Dongyong. Active learning for hyperspectral image classification with deep Bayesian
[J]. Computer Engineering and Applications, 2019, 55(18): 166 - 172. ( in Chinese)
[133] 徐佳,袁春琦,程圆娥,等.基于主动深度学习的极化 SAR 图像分类[J]. 国土资源遥感, 2018, 30(1): 72 - 77.
XU Jia, YUAN Chunqi, CHENG Yuane, et al. Active deep learning based polarimetric SAR image classification [ J] .
Remote Sensing for Land & Resources, 2018, 30(1): 72 - 77. ( in Chinese)
[134] DENG C, XUE Y, LIU X, et al. Active transfer learning network: a unified deep joint spectral⁃spatial feature learning model
for hyperspectral image classification[ J] . IEEE Transactions on Geoscience and Remote Sensing, 2018, 57 ( 3 ) : 1741 -
1754.
[135] ZHANG Z, PASOLLI E, YANG H L, et al. Multimetric active learning for classification of remote sensing data[ J]. IEEE
Geoscience and Remote Sensing Letters, 2016, 13(7) : 1007 - 1011.
[136] ZHU X, GOLDBERG A B. Introduction to semi⁃supervised learning[M]. California: Morgan & Claypool,2009:60 - 100.
[137] CHAPELLE O, SCHOLKOPF B, ZIEN A. Semi⁃supervised learning[ M]. London: The MIT Press, 2006: 16 - 70.
[138] LEE D H. Pseudo⁃label: the simple and efficient semi⁃supervised learning method for deep neural networks[C] ∥Workshop
on Challenges in Representation Learning, ICML, 2013: 896.
[139] TARVAINEN A, VALPOLA H. Mean teachers are better role models: weight⁃averaged consistency targets improve semi⁃
supervised deep learning results[J] . arXiv preprint, arXiv: 1703. 01780, 2017.
[140] CENGGORO T W, ISA S M, KUSUMA G P, et al. Classification of imbalanced land⁃use / land⁃cover data using variational
semi⁃supervised learning[C]∥2017 International Conference on Innovative and Creative Information Technology (ICITech),
IEEE, 2017: 1 - 6.
[141] WU H, PRASAD S. Semi⁃supervised deep learning using pseudo labels for hyperspectral image classification[ J] . IEEE
Transactions on Image Processing, 2017, 27(3): 1259 - 1270.
[142] CHEN B, FENG Q, NIU B, et al. Mapping of land cover in semi⁃arid regions based on a multi⁃gate semi⁃supervised learning
61 农 业 机 械 学 报 2022年
method—a case study of Zhangbei, China[J]. Remote Sensing Letters, 2022, 13(2) : 207 -217.
[143] LIU J, FDENG Q, WANG Y, et al. Urban green plastic cover mapping based on VHR remote sensing images and a deep
semi⁃supervised learning framework[ J]. ISPRS International Journal of Geo⁃Information, 2020, 9(9) : 527.
[144] ZHANG B, ZHANG Y, LI Y, et al. Semi⁃supervised semantic segmentation network via learning consistency for remote
sensing land⁃cover classification[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences,
2020, 2: 609 - 615.
[145] CHEN J, YANG M, LING J. Attention⁃based label consistency for semi⁃supervised deep learning based image classification
[J]. Neurocomputing, 2021, 453: 731 - 741.
[146] ZHOU Z H. A brief introduction to weakly supervised learning[ J]. National Science Review, 2018, 5(1): 44 - 53.
[147] SCHMITT M, PREXL J, EBEL P, et al. Weakly supervised semantic segmentation of satellite images for land cover
mapping—challenges and opportunities[ J]. arXiv preprint, arXiv: 2002. 08254, 2020.
[148] YU Q, LIU W, GONÇALVES W N, et al. Resolution enhancement for large⁃scale land cover mapping via weakly supervised
deep learning[ J] . Photogrammetric Engineering & Remote Sensing, 2021, 87(6): 405 - 412.
[149] WANG S, CHEN W, XIE S M, et al. Weakly supervised deep learning for segmentation of remote sensing imagery[ J] .
Remote Sensing, 2020, 12(2): 207.
[150] LI Y, SHI T, ZHANG Y, et al. Learning deep semantic segmentation network under multiple weakly⁃supervised constraints
for cross⁃domain remote sensing image semantic segmentation[ J] . ISPRS Journal of Photogrammetry and Remote Sensing,
2021, 175: 20 - 33.
[151] ZHANG W, TANG P, CORPETTI T, et al. WTS: a weakly towards strongly supervised learning framework for remote
sensing land cover classification using segmentation models[J] . Remote Sensing, 2021, 13(3): 394.
[152] JAISWAL A, BABU A R, ZADEH M Z, et al. A survey on contrastive self⁃supervised learning[ J]. Technologies, 2021,
9(1) : 2.
[153] GOYAL P, MAHAJAN D, GUPTA A, et al. Scaling and benchmarking self⁃supervised visual representation learning[C] ∥
Proceedings of the IEEE / CVF International Conference on Computer Vision, 2019: 6391 - 6400.
[154] ZHANG R, ISPLA P, EFROS A A. Colorful image colorization[ C] ∥European Conference on Computer Vision. Springer,
Cham, 2016: 649 - 666.
[155] NOROOZI M, FAVARO P. Unsupervised learning of visual representations by solving jigsaw puzzles [ C] ∥ European
Conference on Computer Vision. Springer, Cham, 2016: 69 - 84.
[156] HE K, CHEN X, XIE S, et al. Masked autoencoders are scalable vision learners[ J]. arXiv preprint, arXiv:2111. 06377,
2021.
[157] AYUSH K, UZKENT B, MENG C, et al. Geography⁃aware self⁃supervised learning[ C] ∥ Proceedings of the IEEE/ CVF
International Conference on Computer Vision, 2021: 10181 - 10190.
[158] REN B, ZHAO Y, HOU B, et al. A mutual information⁃based self⁃supervised learning model for PolSAR land cover
classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11) : 9224 - 9237.
[159] ZHAO Z, LUO Z, LI J, et al. When self⁃supervised learning meets scene classification: remote sensing scene classification
based on a multitask learning framework[ J] . Remote Sensing, 2020, 12(20): 3276.
[160] 李海峰,黄浩哲,彭剑,等.有限标注样本条件下基于自监督特征学习的遥感影像分类 方法[ C] ∥第七届高分辨率
对地观测学术年会论文集, 2020:80 - 93 .
[161] TZENG E, HOFFMAN J, ZHANG N, et al. Deep domain confusion: maximizing for domain invariance[J]. arXiv preprint,
arXiv:1412. 3474, 2014.
[162] WURM M, STARK T, ZHU X X, et al. Semantic segmentation of slums in satellite images using transfer learning on fully
convolutional neural networks[J] . ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150: 59 - 69.
[163] QIN Y, BRUZZONE L, LI B. Tensor alignment based domain adaptation for hyperspectral image classification[J]. IEEE
Transactions on Geoscience and Remote Sensing, 2019, 57(11) : 9290 - 9307.
[164] ELSHAMLI A, TAYLOR G W, AREIBI S. Multisource domain adaptation for remote sensing using deep neural networks
[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 58(5) : 3328 - 3340.
[165] JI S, WANG D, LUO M. Generative adversarial network⁃based full⁃space domain adaptation for land cover classification from
multiple⁃source remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(5): 3816 -
3828.
[166] XU Q, YUAN X, OUYANG C. Class⁃aware domain adaptation for semantic segmentation of remote sensing images[J] . IEEE
Transactions on Geoscience and Remote Sensing, 2020, 60: 1 - 17.
[167] FAN Y, DING X, WU J, et al. High spatial⁃resolution classification of urban surfaces using a deep learning method[ J].
Building and Environment, 2021, 200: 107949.
[168] 沈瑜,苑玉彬,彭静,等.基于深度学习的寒旱区遥感影像河流提取[J]. 农业机械学报, 2020, 51(7) : 192 - 201.
SHEN Yu, YUAN Yubin, PENG Jing, et al. River extraction from remote sensing images in cold and arid regions based on
deep learning[ J] . Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7) : 192 - 201. (in Chinese)
71
第3期 冯权泷 等:土地利用/覆被深度学习遥感分类研究综述