ArticlePDF Available

Review for Deep Learning in Land Use and Land Cover Remote Sensing Classification(土地利用/覆被深度学习遥感分类研究综述)

Authors:

Abstract

Accurate land use and land cover (LULC) mapping based on remote sensing image classification has been a hot topic nowadays. Recently, deep learning, especially convolutional neural network, has achieved promising results in computer vision tasks, which has also been introduced into the field of LULC mapping. Compared with classic machine learning methods, deep learning is capable of extracting the most representative features from remote sensing images, however, its performance is depended on massive labeled data. Considering deep learning has been widely used in LULC classification, the objective was to provide a comprehensive review of deep learning from the following perspectives as sample dataset, model structure and training strategy. Specifically, from the perspective of samples, the most commonly used LULC sample dataset was summarized and their academic influence was analyzed. From the perspective of models, the latest research of deep learning models were reviewed, including convolutional neural network, recurrent neural network, fully convolutional network. From the perspective of training strategies, various training methods that could tackle the data-hunger issue of deep learning were summarized, including active learning, semi-supervised learning, weakly-supervised learning, self-supervised learning, transfer learning. Finally, an outlook of deep learning in LULC mapping was provided, which was still from three perspectives of sample dataset, model structure and training strategy. Through the construction of large-scale LULC sample dataset, improvement of deep learning model structure and the increase of spatial-temporal generalization capability under limited samples, LULC remote sensing classification could yield a better performance and accuracy in future study.
2 0 2 2 农 业 机 械 学 报 53 卷 第
doi:10. 6041 / j. issn. 1000⁃1298. 2022. 03. 001
覆被深度学习遥感分类研究综述
冯权泷 牛博文 朱德海 陈泊安   杨建宇
(1. 中国农业大学土地科学与技术学院北京 100193; 2自然资源部农用地质量与监控重点实验室北京 100193)
摘要基于遥感分类实现高精度的土地利用和土地覆被制图是研究热点问题年来以卷积神经网络为代表的
深度学习在计算机视觉领域取得了长足发展同时也被引入到土地利用覆被遥感制图领域相比于经典机器学
深度学习的优势表现为能够自适应提取与分类任务最相关的特其缺陷表现为分类精度的提高依赖于海量
标签样本基于深度学习在土地利用覆被分类中日益增多的 究成本文从样本模型算法 角度 其研
究进展进行综述在样本方面归纳总结 了常用的土 地利 用 覆被样本集并分析了上述样本集的学术影响力
模型方面综述了土地利用覆被分类中常用的深度学习模型包括卷积神经网络循环神经网络全卷积神经网络
等的最新研究成果在算法方面综述了样 本稀疏条件 下的 土地利 用 覆被分类算法的最新研究进展具体包括主
动学习半监督学习弱监督学习自监督学习迁移学习等最后从样本模型算法 个角度对未来研究方向进
行展望通过构建大规模遥感样本数据集持续优化深度学习模型结构提升样本稀疏条件下深度学习模型的时空
泛化能力等研究可以进一步改善土地利用覆被分类效果和精度
关键词深度学习土地利用土地覆被遥感分类样本 模型 算法
中图分类号TP79 文献标识码文章编号1000⁃1298(2022)03⁃0001⁃17 OSID
收稿日期 2022 01 26  修回日期 2022 02 14
基金项目国家重点研发计划项目(2021YFE0102300)和国家自然科学基金项目(42001367
作者简介冯权泷(1988—)副教授博士生导师主要从事机器深度学习及在农业遥感中的应用研究,E⁃mail: fengql@ cau. edu. cn
通信作朱德海(1962—) 教授博士生导师要从事 技术在农业和国土资源管理中的应用研究,E⁃mail: zhudehai@ cau. edu. cn
Review for Deep Learning in Land Use and Land Cover
Remote Sensing Classification
FENG Quanlong1,2   NIU Bowen  ZHU Dehai1,2   CHEN Boan  ZHANG Chao1,2   YANG Jianyu1,2
(1 College of Land Science and TechnologyChina Agricultural UniversityBeijing 100193, China
Key Laboratory for Agricultural Land Quality Monitoring and ControlMinistry of Natural ResourcesBeijin100193, China
Abstract Accurate land use and land cover ( LULC mapping based on remote sensing image
classification has been a hot topic nowadays. Recently, deep learning, especially convolutional neural
network, has achieved promising results in computer vision tasks, which has also been introduced into the
field of LULC mapping. Compared with classic machine learning methods, deep learning is capable of
extracting the most representative features from remote sensing images, however, its performance is
depended on massive labeled data. Considering deep learning has been widely used in LULC
classification, the objective was to provide a comprehensive review of deep learning from the following
perspectives as sample dataset, model structure and training strategy. Specifically, from the perspective
of samples, the most commonly used LULC sample dataset was summarized and their academic influence
was analyzed. From the perspective of models, the latest research of deep learning models were reviewed,
including convolutional neural network, recurrent neural network, fully convolutional network. From the
perspective of training strategies, various training methods that could tackle the data⁃hunger issue of deep
learning were summarized, including active learning, semi⁃supervised learning, weakly⁃supervised
learning, self⁃supervised learning, transfer learning. Finally, an outlook of deep learning in LULC
mapping was provided, which was still from three perspectives of sample dataset, model structure and
training strategy. Through the construction of large⁃scale LULC sample dataset, improvement of dee
learning model structure and the increase of spatial⁃temporal generalization capability under limited samples,
LULC remote sensing classification could yield a better performance and accuracy in future study.
Key words: deep learning; land use; land cover; remote sensing classification; sample model
strategy
0 
土 地 覆 被 ( Land use and land cover,
LULC)专题图是表达自然土地类型以及人类开发
利用土地状况的专题要素地图在资源调查环境监
生态保护城市规划农业生产等领域具有十分
重要的作用由于遥感具有大范围同步观测等优
已经成为土地利用覆被制图的主要数据来源
如何基于 遥感影像 实现 土地利 用 覆被的自动分类
成为研究热点问题[1 - 8 ]
1  深度学习样本 模型 算法框架图
Fig. 1  Flow chart of sample model strategy for deep learning
在深度 9] 土地利用
遥感分类
[10 - 11] 其中人工设特征归一
等光谱指数纹理特征缨帽变换特征等[12 - 13]
器学习分类器多以决策树随机森林和支持向量机
为主[ 14 - 17] 人工设计特征对专家知识的要求很
同时其鲁棒性和泛力存一定致更
研究区和数据后已有的遥感分类模型往往不能取
得较好的分类结果
相比于经典机器学习算法深度学习不需要人
工设计特征的环节而是能够根据损失函数自动提
取与目标任务最相关的特征具有鲁棒性强模型易
于迁移等优势成为了遥感领域的一个研究热点
已经应用在城市土用分滨海湿地土地覆被
分类作物精细分类道路及建筑等专题要素制图等
领域[ 18 - 22] 鉴于深度习的 研究
本文拟从样本数据集模型结构算法策略方面
对深度学 习在土地 利用 覆被遥感分类中的研究进
展进行综述为相关研究人员提供参考
首先介绍人工智能与深度学习的相关知识
括卷积神经网络循环神经网络等常用网络模型
后从样本角度出发对现有的土地利用 覆被遥感分
类样本集进行综述其次从深度学习模型的角度出
综述土地利用 覆被遥感分类中用到的各种深度
神经网络模型再次从模型泛化能力的角度出发
稀疏样本下深度学习模型的学习策略进行综述
后对未来研究方向进行展望深度学习样本 模型
算法总体框架如图 所示
                      2
1  人工智能与深度学习技术概述
1. 1  人工智能
人工智能是研究用于模拟延伸和扩展人的智
能的 理 论 方 法技术及应用系统的一门技术科
[23] 随着大数据技术以及高性能计算的发展和
成熟以深度学习为代表的人工智能已经在语音识
目标检测机器翻译等领域取得了超过传统算法
的性能并逐渐受到遥感与地学领域专家的关注和
重视具体而言人工智能包括许多研究分支其中
机器学习是实现人能的种重而深度
学习作为机器学习个分通过构建深度神经
网络实现对人类大脑认知过程的模拟[9 ]
1. 2  深度学习
深度学 习 可以 看 作 经典 人 工 神 经网 络 的
版本通过增加含层数量从而提高 学习
和表达能力实际深度学习是深度神经网络的
同义词常用的深度学习模型包括卷积神经网络
环神经网络生成对抗网络以及用于语义分割的全
卷积神经网络等
1. 2. 1  卷积神经网络
卷 积 神 经 网 络 ( Convolutional neural network
CNN)主要用于计算机视觉Computer vison, CV)
[24 - 27] 通过卷积池化等操作对图像的高层语义
特征进行提取
一个典 VGG[ 25] 主要包
含卷积层池化层全连接层和分类层其中
层主要利用卷积算现特向量并通过
多层卷积堆叠实现多层级的图像特征提取池化层
包括均值池化最大值池化等主要为了减小特征图
的尺寸全连接层中所有神经元以全连接的形式进
行连接分类层主要采用 softmax 分类器
以自然图像分类为例相比于经典的机器学习
模型卷积神经网络的优势是将图像特征提取与分
类任务集成到一个模型中通过端到端训练可以使
模型自动学习到最表性图像而提
分类精度
1. 2. 2  循环神经网络
循环神经网络Recurrent neural network, RNN)
的输入一般为 视频等其隐含
层之间是存在连接的时刻隐含层的输入不仅来
自输入层同时来自 - 1 时刻隐含层的输出
循环神经网络的输入是一个序列数据
刻隐含层的输出表示循环神经网络当前的
状态[ 31] 用的循环神经网络包括长短时记忆网
Long short term memory, LSTM) [28] 门控循环
( Gated recurrent unit, GRU )[29] 、 Transformer[30]
由于循环神经网络在处理序列数据方面具有天
然的优势[31] 已经被应用在多时相遥感影像分析
高光谱图像分类中用于建模多时相数据之间以及
高光谱不同波段之间的相互依赖关系
1. 2. 3  生成对抗网络
生成 对 抗网 络 ( Generative adversarial network,
GAN) [32] 包 括生 成 器 ( Generator, G ) 和 判 别 器
Discriminator, D 其中生成器
真实图像的分布从而使生成的图像更加接近于真
实图像而判别器 主要对生成的图像进行真假判
生成对抗网络的训过程min - max
优化问题
随着网络的迭代训练生成器 与判别器
断进行对抗并最终达到一种动态平衡
生成的图像十分接近真实情况判别器 无法判断
出 图 像 真 假对于给定图像预测为真的概率为
50% 。 在遥感领域生成对抗网络主要用于模拟样
本的生成和模型的对抗训练
1. 2. 4  全卷积神经网络
全卷积神经网络( Fully convolutional network,
FCN)是将卷积神经网络 CNN 中的全连接层替换为
卷积层所形成的被用于图像语义分割任务中并在
医学图像分割领域[33 - 36] 得到相比于基于
中心像素所在图像分类全卷积神经网络
可以减少冗余计算提高大范围土地利用 覆被制图
的效率受到了广泛关注[ 37 - 38 ] 经典的全卷积神经
络 包 括 FCN[ 39] 、 UNet[40 - 42] 、 DeepLab[ 43 - 46] 等 模
2  地利用 覆被遥感分类样本研究进展
从样本角 度来综 述土地 利用 被遥
样本数据 随着深度学习的快速发
卷积神网络[47 - 49] [ 50 - 51]
积神经网络[52 - 53] 等模型均被应用到土地利用
遥感分类 然而如何验证不同模型之间的可比
从而进一步评价模型优劣成为关键问题
开源样本数据集的构建具有十分重要的意义
近年来各国学者构发布了一系列土地利
覆被遥感分类样本数据集涵盖了不同尺度
感器类型时间 空间 光谱分辨率等为相关研究提
供了基准数据支本文将其分为两个类型图像
块级样本和像素级样本其中图像块级样本多来自
于遥感场景识别数据用一个 ×大小图像块
image⁃patch) 表示一种土地利用 覆被类型而像
素级样本多来自于遥感语义分割数据集对不同
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
地利用 覆被的边界进行像素级别的标注
2. 1  图像块级土地利用 覆被遥感分类样本集
基于图像 块的土 地利用 覆被样本集与遥感场
景识别数据集类似其标注过程表现为对一个 ×
的图像块赋以特定的土地利用 覆被类别
该样本 集 对 应 的 深 度 学习 模 型 多 为 基 于 CNN
RNN 的图像分优势是标注过程简单劣势
是并不能获取特定地物的边界信息
列举了广泛使用且具有影响力的图像块级
样本数据集并给出了相关元数据
如表 图像块级样本集多以航空影像
UC Merced[54 ] 、SAT 4 SAT 6[58] 和高分辨率
Google Earth 卫 星 影 像 WHU RS19[55]
AID[60 ] 为主空间分辨率多在 0. 3 ~ 2 m 之间
而其光谱 RGB RGB NIR
   
2  图像块级土地利用 覆被样本示例[54]
Fig. 2  LULC sample based on image⁃patch[54]
 
1  图像块级土地利用 覆被遥感分类样本集
Tab. 1  Commonly used LULC sample dataset based on image⁃patch
 数据集名称 数据源 样本数量 样本尺寸
像素 ×像素
空间分辨
/ m 波段数 土地利用
覆被类别数 发布年份 文献序号
UC Merced 航空影像 2 100 256 × 256 0. 3 21 2010 [ 54]
WHU RS19 Google Earth 1 005 600 × 600 0. 5 19 2010 [ 55]
RSSCN7 Google Earth 2 800 400 × 400 0. 25 ~ 2 2015 [ 56]
Brazilian coffee scenes SPOT 50 004 64 × 64 10 2015 [57 ]
SAT 4 SAT 6 航空影像 500 000 / 405 000 28 × 28 4 / 6 2015 [58 ]
SIRI WHU Google Earth 400 200 × 200 12 2016 [ 59]
AID Google Earth 10 000 600 × 600 30 2017 [60 ]
EuroSAT Sentinel 27 000 64 × 64 10 / 20 / 60 13 10 2019 [61 ]
考虑到深学习 签样
的需求数据集整体呈现出样本数量不断增加的
趋势从几千发展到几十万不等此外少部分数
据集Sentinel 等多光谱卫星影像作为数据
其光谱分率有
对较低
上述样本 集在土 地利用 覆被类别数量的设定
上存在两种分化一方面部分数据集只关心少数
概要性的地物类别SAT 数据集仅包含裸地
森林草地和其它共 类土地覆被类型另一方面
部分数据集则更关注土地利用 覆被的精细分类
UC Merced、WHU RS19、AID 等包含几十种具有特
定语义的土地利用 覆被类别
2. 2  像素级土地利用 覆被遥感分类样本集
基于像素 的土地 利用 覆被样本集与遥感语义
分割数据集类似其标注过程表现为对某一特定地
物涵盖的所有像素进行标注3) 该样本集对应
的深度学习模型多义分模型优势是可以获
取地物的准确边界劣势是标注工作量较大
由于逐像 素的土 地利用 覆被制图能够提供更
3  像素级土地利用 覆被样本集示例[62]
Fig. 3  LULC sample based on pixel[62]
 
为精细的地物分布情对气候水文等多领
域的研究有着重要意义[63] 其样本数据集的发布也
日益增加
常用的像素级本集所示可以
大部分样本集拥有更多的波段数但在样本数量
别等方面都存在限性同时受到光谱分辨率的
制约这类数据集的空间分辨率较低同时大部分
数据集仅为指定研究区内的单幅影像与标注只有
一些最近发布的数据集DeepGlobe、GID) 其样
量和空间分辨率较高但 仅 为 一 般 的 RGB
RGB NIR 影像光谱分辨率较低
                      2
2  像素级土地利用 覆被遥感分类样本集
Tab. 2  Commonly used LULC sample dataset based on pixel
  数据集名称 数据源 样本数量 影像尺寸
像素 ×像素
空间分辨
/ m 波段数量 土地利用
覆被类别数
发布
年份 文献序号
Houston ITRES 349 × 905 2. 144 15 / 20 2014 [64 ]
Kennedy Space Center(KSC) AVIRIS 614 × 512 18 224 13 2014 [65
Botswana EO 348 × 512 30 242 14 2015 [65 ]
Indian pines AVIRIS 145 × 145 20 224 16 2015 [65 - 66 ]
Salinas AVIRIS 521 × 217 3. 224 16 2015 [65 ]
University of Pavia ROSIS 610 × 610 1. 3 103 2015 [65 ]
DeepGlobe Mix 803 2 448 × 2 448 0. 5 2018 [62]
GID GF 150 6 800 × 7 200 1 / 4 15 2020 [67]
雄安新区航空高光谱
遥感影像分类数据集 航空影像 3 750 × 1 580 0. 5 250 19 2020 [68
  像素级样本集一般具有更为精细的土地利用
覆被类别设定GIC 发布的 Indian pines 数据集供
包含玉米小麦等 16 种土地覆被类别,GID
集则包含了工厂居民区灌丛等共 15 种土地利 用
覆被类别
总体而言相比于图像块级样本集像素级样本
集仍缺乏标注质量大规数据且现有的大
部分数据集仅针对特定区域普适性有待提升
2. 3  土地利用 覆被遥感分类样本集影响力分析
Google Scholar 数作
力指标对常用土地利用 覆被遥感分类样本集进行
影响力分析基于 度的
本集影响力较大GIC 发布的 Indian
pines[65 - 66 ] University of Pavia[ 65] 数据集为代表
由该团队发布的 Salinas[65KSC65] 数据集也具有
较高的影响力在图像块尺度的样本集中经典数
据集 UC Merced[ 54] 有最高影响力国内学者提出
AID[60 RSSCN756] 数据集发布时间相对较晚
但由于其在样本数量质量尺寸等方面的优势
近两年影响力逐渐提升
同时表明国内外学者更多关注基于多
光谱影像的逐像素分类一方面由于更多光谱信息
的引入可以有效提高地物的类间可分性提升分类
精度另一方面逐像素分类结果能够对土地利用
覆被情况进行更精刻画也利于后续变化检测
等任务同时图像块级分类受限于大范围制图时
棋盘效应其在遥感场景分类中更受关注
3  于深度学习的土地利覆被遥感分类
模型研究进展
  从模型角度综述土地利用 覆被遥感分类中常
用的深度 包括卷积神经网络 CNN
环神经网络RNN)全卷积神经网络 FCN)
4  常用土地利用 覆被遥感分类样本集影响力
统计结果
Fig. 4  Impact statistics of commonly used LULC
sample dataset
 
3. 1  基于卷积神经网络的土地利用 覆被分类
卷积神经网络因其强大的图像特征提取能力
在土地利用 覆被分类中被广泛应用在前期研究
研究人员多倾向于直接使用计算机视觉领域内
的经典模 AlexNet、VGG、ResNet 或者自行搭
建一个简单网络通过训练基于图像块的分类模型
然后在整个研究区的影像上以滑窗sliding window)
式得到逐像素或逐图像块的预测结果其 中
REZAEE [69] 采用ImageNet 上预训练的 AlexNet
网络进行了湿地土被制的研并将其与随
机森林等经典机器模型行比结果表明卷
积神经网络可以有效改善湿地土地覆被分类精度
类似的研究如文献[70 - 76] 。
然而上述研究 CV 经典模型并没
有考虑到遥感多成像特点针对这一问题
研究人员转向 或双分支卷积神经网络的
研究用于同时学习遥感影像的空间特征和光谱特
在一个典型的双路神经网络中包含两个分支
或子网络即空间特征提取子网络和光谱特征提取
子网 HUANG [77设计了一个双路卷积
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
神经网络模型用于土地用制该模型的第
个分支 ImageNet 上预训练的 AlexNet
用于提取空间特征个分支是由几个卷积层级
联形成的小卷积网络small DCNN)用于提取光谱
特征最后采用特征堆叠的方法进行空间 光谱特征
的融合并基WorldView 高分
港和深圳的城市土地利用制图取得了 91. 25
分类精度类似的研究如文献[78 - 80] 。
笔者针对城市土地利用遥感分类问题对双路
卷积神经网络进行改构建了多尺度残差模块以
增强空间特征的代和可从而有效提高了
分类 精 度同时针对滨海湿地土地覆被分类问
[81] 通过引入多源光学雷达遥感影像提出了一
个多路卷积神经络模该模型通过多尺
度可变形卷积模块提高其对于地物尺寸和形状变异
的鲁棒性并设计了一个深度特征自适应融合模型
用于融合多传感器多时相的光学和雷达数据在黄
河三角洲 93. 78的分类精度并验证了多
传感器数据的融合可以有效增加滨海湿地土地覆被
类型之间的可分笔者还针对农业塑料覆
[82] 城中[ 83] 等土地利 用 覆被中的专题要素进
行了提取
5  多路卷积神经网络模型 81]
Fig. 5  Multi⁃branch convolutional neural network model[81]
 
3. 2  基于循环神经网络的土地利用 覆被分类
循环神经网络的优势在于对序列信号进行建
虽然不能像 CNN 那样对遥感影像的空间特征进
行提取RNN 对光谱特征和时序特征的学习能
要强于 CNN,同样被广泛应用于土地利用
遥感分类研究中[84 - 92]
在光谱特征提取方面,RNN 被用于多光谱和高
光谱影像的分类中用于建模不同波段之间的相互
依赖关 MOU [85] 针对高光谱影像的土地利
覆被分类较早使用 LSTM、GRU 等循环神
经网络构建了分类模型其中模型的输入为单个像
素对应的光谱曲线模型的输出则为对应的土地利
覆被类别并在 个航空高光谱数据集上验证了
RNN 模型的分类 后续研究则集中在如何继
续优RNN 模型结构从而提高光谱特征提取能
文献86] 研究具有典型性通过构建级联 RNN
模型进行高光谱分类该模型由 NN
其中第 RNN 用于去除高光谱影像中的冗余
波段RNN 则利用剩余波段进行影像分类
通过上述级联的方式可以进一步提高模型的分类
精度相关研究还包括文献[87
在时序特征提取方面,RNN 被用于多时相遥感
影像的分类研究中通过学习多时相影像之间的时
序依赖关系从而提高不同地物的类间可分性以改
土 地 利 用 覆 被 分 类 精 度其 中, RUΒWURM
[88] 基于多时相 Sentinel 号影像分别采用
LSTM GRU 构建了土地覆被分类模型并在 17
地物分类中取得了 90% 的精度验证了 RNN 在时
特征提取中的有效性类似研究有文献89 -
91] 均采 RNN 对耕地中的农作物进行了精细
分类
3. 3  基于卷积 循环神经网络的土地利用
分类
考虑到 CNN 的优势在于遥感影像的空间特征
提取RNN 的优势在于光谱特征和时序特征提
因此将 CNN RNN 进行耦合可以实现空
光谱特征之间的有效融合并进一步提高土地利
覆被分类的精度其中MEI [93] 基于高光谱
影像分别构建了空间注意力卷积神经网络和光谱
注意力循环神经网络模型分别对高光谱的空间特
征和光谱特征进行提并通过特征融合进一步提
高分类精度 MOU [94] 构建了一个 CNN RNN
合模型实现了光谱 空 特征有效
CNN 谱 空
RNN 用于提 通过级联
CNN RNN 模型实现了 土地利 用 覆被的变化检
                      2
类似的研究还包括文献[95 - 98] 。
笔者针对 小尺度 的土地 利用 被精
构建了一种基于循环注意力网络的 CNN RN
耦合模型[99] 应用在多时相无人机可见光影像的
分类中具体而言考虑到无人机影像具有
丰富几何结构信息的特点首先构建多尺度可变形
卷积神经网络对无人机影像进行空间特征提取
提高模型对于地块形状和尺度变异的鲁棒性同时
构建融合注意力机循环经网实现多时相
无人机影像空间特征和时序特征的自适应融合
模型取得 92. 80的分类精度并验证了循环注
意力融合模型在学习多时相特征依赖关系方面的有
效性
6  循环注意力网络模型 99]
Fig. 6  Attention⁃based recurrent convolutional
neural network[99]
 
3. 4  基于全卷积神经网络的土地利用 覆被分类
相比于 CNN、RNN 等模型以基于图像块的方式
进行土地利用 覆被分类全卷积神经网络可以实现
像素级的地物分类在大范围土地利用 覆被制图时
其计算效率高的优势较为明显其中 FCN 是计算
机视觉领域最早提出的全卷积神经网络模型被广
泛应 用 于土 地 利 用 覆 被 分 类 领 域其中张宏鸣
[100] 利用 FCN 8s 模型对灌区无人机影像进行了
渠系提取杨亚男等[101] FCN 模型对无人
机影像中的梯田进提取都取得了较好分类结
同时研究人员在 FCN 的基础上进行了模型改
如孙钰 102] 针对无人机影像农业塑料覆被
类任务对 FCN 模型进行了改进,SHRESTHA 103]
提出了一种增FCN 模型用于提高建筑物的分
类精度相关研究还包括文献[104 - 105] 。
同时,UNet 以模型结构简洁鲁棒性高等优势
受到了遥感领域研员的其模型也被不断
改 进并广泛应用于土地利用覆 被 分 类 中
DIAKOGIANNIS [106] 提出了一种 UNet
将残差连接空洞金字塔池化以及多任务
学习方法进行组合同时改Dice 损失以解决样本
不平衡 提 高 了 土 地 利 用 覆被的分类精度
YE [107] 将空间 光谱注意力机制应用于 UNet
以提升不同卷积层之间的特征表达一致性实现
建筑物的高精度提取类似的研究还包括文
[106 - 113] 。
DeepLab 列模型也在土地利用覆被分类中
得到了广泛应用其中 LIN 114] 利用道注
模块对 DeepLab 模型进行改进以提升模
特征 并将其应用于道路提取吴永静
[115] 采 用 ResNet 50 作 为 特 征 提 取 网 络 对
DeepLab 进行改进并基于高分辨率遥感影像实现
光伏用地的高精度分类相关研究还包括文
[72 ,115 - 119 ]。
4  本稀疏条件下土地利覆被遥感分类
算法研究进展
    相比于计算机视觉领域土地利用 覆被遥感分
类中的样本标注对专家知识的要求更高必要时
需要进行野外考察从而造成了训练样本的稀疏性
如果仅使用有限的样本将容易造成分类模型
的过拟合降低模型的时空泛化能力因此如何综合
利用有限的标签样本和海量无标签样本进行模型训
就成为了一个键技下面主要阐述样
本稀疏条 件下的土 地利 用 覆被遥感分类算法的研
究进展所涉及的算法包括主动学习半监督学习
弱监督学习自监督学习迁移学习等
4. 1  基于主动学习的土地利用 覆被遥感分类
主动学习最早见于机器学习领域是目前解决
标签样本稀疏的常用学习策略之一其核心思想
首先使用少量标签样本训练分类模型再利用该
模型从无标签样本集中选择最具代表性或最易错分
的样本由专家对其进行标注再加入到标签样本集
并迭代训练模型从而使模型具有更高的精度和
泛化能力[120 - 122]
主动学习的核心问题在于如何选取无标签样
其选择策略种类较多主要划分为 基于无
标签样本的不确定性如委员会查询[ 123] 基于无
签样本对模型的响程Fisher [124 ]
于无标签样本的分布情况如流形学习[ 125] 、KL
[126]
动学习备受遥感领域研究人员的关
[127 - 135] 并被应用到土地利用覆被遥感分类中
HAUT [131] 设计了一种主动学习策略用于贝叶斯
卷积神经网络的训练通过构建多维贝叶斯卷积神
经网 络 以 适 应 多 种 高 光 谱 影 像Indian Pines、
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
Salinas 等公 开 数 据 集 上 实 现 了 较好 的 分 类 结 果
杨承文等[132] 深度贝斯网络与主动习策
结合先基于有限的标签样本对模型进行预训练
筛选出不确定性高的样本对模型进行进一步训练
从而增强了模型在样本稀疏条件下的泛化性相关
研究还包括文献[130 ,133 - 134 ]。
上述方法均采用预先设计好的策略或准则对无
标签样本进行选取然而这些策略或准则的泛化性
仍难以得到保证为了解决这些问题部分学者将
度量学习与主动学结合通过优化损失函数的
计 以 提 高 无 标 签 样 本 选 择 的 合 理 性其 中
ZHANG [135] 提出了一种结合主动学习的多度量
学习方法通过多个度量指标的分配以学习并优化
损失函数Houston Indian Pines 数据上验
该方法的有效性
4. 2  基于半监督学习的土地利用 覆被遥感分类
与主动学习类似半监督学习旨在利用少量标
签样本和大量无标签样本对模型进行训练不同的
半监督学习更强调训练过程的自动化而不是主
动学习中大量的人工干预[136 - 137] 半监督学习主要
包括两大类基于伪标签的方法和基于一致性正则
化的方法前者主要利用为无标签样本赋予伪标签
的思想利用当前模型给予无标签样本最有可能被
预测的类别作为其伪标之后将伪标签加入标签
数据集对模型进行继续训[138] 后者主要依赖对
干扰不变性的假设即对同一样本进行数据增强
而增 强 后 的 样 本 之 间其预测标签应当保持一
[139 ]
由于土地利用 覆被分类往往难以获得海量
质量的标签样本因此半监督学习受到了广大研究
人员的关注其中在基于伪标签的半监督学习方
,CENGGORO [140] 采用了一种变分半监督学习
框架同时利用标签样本和无标签样本对深度学习
模型进行优化以解决土地利用 覆被分类中的样本
不平衡问题相关研究还包括文献[141
笔者在伪标签法方面开展了半监督深度学习的
相关研究针对半干旱区的土地覆被分类问题
出了一种多门控机制的半监督深度学习框架[142]
通过概率门不确定性门和抗噪性门的联合使用
筛选并生成高质的伪签样 通过
融实验证实了不门控的有
城市防尘绿网的遥感分类问题构建了一种 two⁃step
的半监督[ 143] 首先筛选高概率的无
标签样本然后将其与标签样本进行特征相似度计
top⁃k 的标签样本具有 的类该类
别赋给当前无标签样本
7  多门控机制的半监督深度学习框架 142]
Fig. 7  Multi⁃gate semi⁃supervised learning method 142]
 
  除了上述伪标签样方法 一致性正则化方
法也得到ZHANG [144] 提出了一种
基于半监督学习的语义分割网络( S4Net ),
签样本进行特征提同时对无标签样本施加随
机变换或扰动并利用组合的损失函数训练模型
DeepGlobe 数据集上取得了具有竞争力的结果
[145进行了类似研究
4. 3  基于弱监督学习的土地利用 覆被遥感分类
本文所指的弱监督学习主要针对不确切监督
Inexact supervision)问题[146] 即基于粗粒度的上游
标签实现细粒的下在土地利用覆被遥
感分类中常见的弱监督学习表述如下如何在只有
图像块级 别或低分 辨率 的土地 利用 覆被标注的情
况下去实现像素级别或高分辨率的土地利用 覆被
遥感分类任务
弱监督学习可以一定程度上实现粗粒度标注样
本的复用对于样本稀疏引起的模型过拟合具有一
定的缓 在近期受到了遥感研究人员的关
                      2
[147 - 151] SCHMITT [147] 探索了如何使
低分辨率的土地覆被样本去生成高分辨率的土地覆
被分类图首先采用 MODIS 500 m 分辨率的全球
土地覆
DeepLab v3 + UNet 语义分割模型在高分辨
Sentinel 影 像 数 据 集 SEN12MS 上进行训练并 在
DFC2020 数据集的验证集上进行精度评估虽然作
者指出上述方法的并不令人是其
术路线可以给人以启发因为低分辨率的土地利用
覆 被 样 本 比 较 容 易 获 得相似的研究还包括文
[148SCHMITT [147] 直接使用低分辨
率的样本对模型进行训练,WANG [149]
像块级的标签样本和类激活图( Class activation
maps, CAMs的方法获取像素级的伪标签并将
标签加入标签样本集UNet 语义分割模型进行重
新训练证明了上述弱监督方法在土地覆被分类中
的有效性针对跨领域的土地利用 覆被分类问题
LI [150] 提出了一个基于弱监督束的语义割模
通过弱监督迁移不变性约束弱监督伪标签约束
以及弱 改善了模型的分类
效果
4. 4  基于自监督学习的土地利用 覆被遥感分类
自监督学习属于无监督学习的一种[152]
没有明确人工监督信息的情况如标签从数据
本身出发构建学习算[ 153] 主要通设计
如 灰 度 图 像 上 色[ 154] 拼 图 游 戏[155] 图 像 修
[156] 来对模型进行预训练从而更好完成下游
任务如目标检测语义分割等近年来随着各
种辅助任务的提出自监督策略的训练效果越来越
接近全监督学习引起了越来越多国内外研究者的
关注
目前将自监督学习应用到土地利用覆被遥感
分类中的研究较少国内外相关研究均处于起步阶
其中 AYUSH [157 提出了地理感知自监督对
比学习策略该方法通过时序正样本对在空间上对
齐的方式并结合影像拍摄地点的知识Map of
the World 数据集上MoCo v2 模型提升了 8%
精度 REN [158] 提出一种基于相互息的自监
模型并首次将自监督学习应用于 PolSAR 土地覆被
分类任务中通过辅助任务的设计提高了土地覆被
制图的性能文献159 - 160 ]进行了类似研究
4. 5  基于迁移学习的土地利用 覆被遥感分类
迁移学习主要 源域和目标域
间的模型对齐问[ 161] 虑到遥感像具
的多域性即在时光谱等维度上存在天然
差异因此如何将源域学习到的知识迁移至目标域
并利用有
就依赖于迁移学习的深入研究
迁移学习主要包括基于模型参数的迁移基于
域适应的迁移基于对抗学习的迁移等其中基于
模型参数的迁移属于早期被广泛应用的方法深度
学习网络的微调法fine tune) 即属于此类方法
WURM [162] 利用在 QuickBird 上训好的
移 至 具 有 不 同 光 谱 波 段 的 Sentinel
TerrasSAR 并对贫民窟这一独特的土地利用
类型进行分类结果表明基于模型参数的迁移对异
源传感器QuickBird SAR)之间的学习效果较差
而对于同源感器 QuickBird Sentinel 2 ) 之间
的分类结果具有提升作用
在基于域适应的迁移方面,QIN [163] 提出了一
种基于张量对齐的适应 Domain adaptation, DA)
方法首先将源域和目标域的遥感影像分割成超像
然后通过对齐矩阵实现源域和目标域之间的子
空间对齐并通过投影矩阵完成特征重映射从而提
高了 目 标 域 内 土 地 利 用覆被分类的精度
[164 - 165进行了类似研究
在基于对抗学习的迁移方面,XU [166] 采用
抗学习策略提出了一种可转移注意力的对齐方法
以增加细粒度特征并在语义分割模型中使用域适
应方法以缓解类间不平问题文献[ 167 - 168
进行了类似研究
5  究展望
5. 1  大规模遥感样本数据集构建
深度学习本质上属于数据驱动模型其在土
利用 覆被遥感分类中的性能很大程度上取决于样
本数据的规模标注质量地物类别的多样性与完备
性等虽然研究人员相继发布了一些土地利用
被分类遥感样本数据然而大部分样本仅采样自
某一地区和某一时相这将导致训练出的深度学习
分类模型的时空泛力较如果直接将上述分
类模型用于其他地时相分类精度往往难以得
到保证
为了解决 土地利 用 覆被遥感分类中深度学习
模型的时空泛化问题一个最直接有效的办法是构
建大规模遥感样本数据集并进行公开发布从而有
助于广大研究人员利用其进行深度学习模型构建与
训 练实 际 上在 计 算 机 视 觉 领 域正 是 由 于
ImageNet 等大规模开源数据才有效
促进了深度学习在图像目标检测等领域
的发展和落地应用
在未来研究中可以优先考虑以下两种类型的
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
遥感样本数据集图像块级样本数据集像素级样本
数据集其中图像块级样本数据集的构建方法与
UC Merced、AID 等场景识别数据集类似用一个遥
感图像块来表示某一种特定的土地利用 覆被类型
样本标注的过程较为简单标注人员直接对该遥感
图像块的类别进行赋值即可然而这种样本并不能
提供精确的地物边界信息导致大区域制图结果出
现明显的边缘锯齿效此外一个遥感图像块中往
往同时存在多种地物类型这种场景复杂性也将增
加分类难度相比于图像块级样本数据集像素级
样本数据 集可以提 供每 一种土 地利 用 覆被类型的
边界信息然而标注工作量较高较为费时费力
在构建上述两类样本数据集时还需要考虑遥感
影像的多源性尽可能覆盖多尺度多传感器多时
多区域的遥感影像进而提高样本数据集的完备
性和可用性
5. 2  深度学习模型结构优化
在当前土地利用 覆被遥感分类研究中研究人
员或直接采用计算机视觉领域较为成熟的深度学习
模型或在经典模型上进行结构改进在各自数据集
上取得了较好的分类精度虽然也有相关研究人员
针对遥感影像的特行模结构其适
范围往往需要进一步验证
在未来的研究中一方面可以继续借鉴计算机
视觉领域的最新研究成果但更重要的是需要分析
遥感影像自身特点有针对性地对深度学习的网络
结构进行改进相比于计算机视觉领域关注的自然
图像遥感影像具有天然的多源多传感器多谱段
多尺度多时相等特征在设计分类网络时多光谱
影像高光谱影像雷达影像的特征提取网络是否需
要单独设计不同波段之间的特征是否需要融合
米级的无人机影像亚米级的高分辨率卫星影像以
及中低分辨率卫星影像其特征提取网络有何不同
多时相影像多传感器影像之间如何进行特征融合
从而进一步提高分类的精度和可靠性同时相比于
自然图像遥感影像更多揭示的是宏观地学现象
此在设计深度学习结构如何考虑增加地学
的先验知识从而提高模型结构的合理性也是一个
需要思考的问题
此外还可以研究深度神经网络结构的自动寻
优方法即网络结构也是从样本数据集中学习得到
需要注意的是网络结构的自动寻优需要海量
的训练样本如果样本集的规模较小其学习到的网
络结构 其时空泛化能力仍存在
缺陷
5. 3  稀疏样本下深度学习模型泛化性能提升
通过构建大规模遥感样本数据集可以一定程
度上解决深度学习模型的时空泛化能力问题然而
大规模样本集的构时费同时在实际的土地
利用 覆被遥感分类中可用的样本数量总是较少
因此稀疏样本是遥感领域研究者需要面对的一
个重要议题稀疏样本可以从时间和空间两方面去
理解即已有的样本数据集往往是基于某一特定时
特定空间的影像进行标注的那么在这一时空范
围以外的遥感影像如果不进行大规模重新标注
么其样本必然是稀疏的此外对历史影像而言
果没有对应时间段外采记录其样本类别只
能通过遥感影像目视解译的方法进行判读其不确
定性较高
为了解决稀疏样本问题在未来的研究中可以
重点考虑无监督学习半监督学习和迁移学习等算
其中无监督学习对标签样本的依赖度最低
通过海量无标签样训练从而将原始影像数据
转换到一个类间可分性高的特征空间而自监督学
习属于无监督学习一个门方其相关思想
也可以被遥感领域研究人员所借鉴这是因为遥感
影像作为天然的无样本可为无监督学习提
供海量无标签训样本同时半监督学习由于同
时考虑了有限的标签样本和海量的无标签样本
可以缓解因稀疏样本造成的遥感分类模型的过拟合
问题迁移学习则重点考虑不同光谱空间时间
辨率遥感影像之间本复问题可以采用域适
应的方法实现遥感分类模型的时空谱迁移提高模
型泛化能力
综上随着深度学习技术的不断发展土地利
覆被样本集的种类和数量将持续上升为模型训
练和精度对比提供支撑深度学习模型的结构
也将得到进一步优化并更能适应遥感影像的特点
各种学习策略的不断改进将会提高模型在样本稀
疏条件下的时空泛化能力上述样本 模型 算法的
改进将持 续推动深 度学 习在土 地利 用 覆被制图中
的广泛应用
参 考 文 献
[1  周珂杨永清俨娜光学遥感影像土地利用分类方法综述 , 2021, 21 (32 : 13603 -
13613.
ZHOU Ke, YANG Yongqing, ZHANG Yanna, et al. Review of land use classification methods based on optical remote sensing
images[J] Science Technology and Engineering, 2021, 21(32: 13603 - 13613. in Chinese)
                      2
[2  骆剑承胡晓东吴田军高分遥感驱动的精准土地利用与土地覆盖变化信息智能计算模型与方法研究J]
学报, 2021, 25(7) : 1351 - 1373
LUO Jiancheng, HU Xiaodong, WU Tianjun, et al. Research on intelligent calculation model and method of precision land use
cover change information driven by high⁃resolution remote sensing[J] . Journal of Remote Sensing, 2021, 25(7: 1351 - 1373.
in Chinese)
[3  刘哲刘帝佑朱德海作物遥感精细识别与自动制图研究进展与展望J] 农业机械学报, 2018, 49(12) :1 - 12.
LIU Zhe, LIU Diyou, ZHU Dehai, et al. Review on crop type fine identification and automatic mapping using remote sensing
J] Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12):1 - 12. in Chinese)
[4  张磊吴炳方关于土地覆被遥感监测的几点思考J] 国土资源遥感 2011( 1) : 15 - 20 .
ZHANG Lei, WU Bingfang. A discussion on land cover mapping[J] Remote Sensing for Land & Resources, 2011(: 15
20. in Chinese)
[5  陈永慧李小娟胡德勇遥感图像土 覆被 信息 取方 J] 范大 学报 科学 , 2009,
30( 1): 59 - 64 .
CHEN Yonghui, LI Xiaojuan, HU Deyong. Review on the methods for extracting land cover thematic information from remote
sensing image[J Journal of Capital Normal University(Natural Sciences Edition), 2009, 30(1: 59 64 in Chinese)
[6  赵春江农业遥感研究与应用进展J] 农业机械学报, 2014, 45(12) : 277 - 293.
ZHAO Chunjiang. Advances of research and application in remote sensing for agricultur Transactions of the Chinese
Society for Agricultural Machinery, 2014, 45(12: 277 - 293. in Chinese)
[7  GONG P, LIU H, ZHANG M, et al. Stable classification with limited sample: transferring a 30⁃m resolution sample set
collected in 2015 to mapping 10⁃m resolution global land cover in 2017J] Science Bulletin, 2019, 64: 370 - 373.
[8  SCHMITT M, HUGHES L H, QIU C, et al. SEN12MS—a curated dataset of georeferenced multi⁃spectral sentinel⁃1 2 imagery
for deep learning and data fusion[J] arXiv preprint, arXiv:1906. 07789, 2019.
[9  LECUN Y, BENGIO Y, HINTON G. Deep learning[ Nature, 2015, 521: 436 - 444
[10  ADAM E, MUTANGA O, ODINDI J, et al. Land⁃use cover classification in a heterogeneous coastal landscape using
RapidEye imagery: evaluating the performance of random forest and support vector machines classifiers International
Journal of Remote Sensing, 2014, 35: 3440 - 3458.
[11  朱德 逸铭冯权GEE 的山东省近 30 年农业大棚时空动态变化研究J] 机械 , 2020,
51( 1): 168 - 175 .
ZHU Dehai, LIU Yiming, FENG Quanlong, et al. Spatial⁃temporal dynamic changes of agricultural greenhouses in Shandong
Province in recent 30 years based on Google Earth Engine[J] Transactions of the Chinese Society for Agricultural Machinery,
2020, 51( 1) : 168 - 175. ( in Chinese)
[12  黄健熙侯矞焯武洪峰基于时间序列 MODIS 的农作物类型空间制图方法J] 农业机械学报, 2017, 48(10)
142 - 147.
HUANG Jianxi, HOU Yuzhuo, WU Hongfeng, et al. Crop type mapping method based on time⁃series MODIS data in
Heilongjiang Province[J] Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(10 : 142 - 147 in
Chinese)
[13  张荣群王盛安高万林基于时序植被指数的县域作物遥感分类方法研究J] 农业械学 , 2015, 46
) : 246 - 252 .
ZHANG Rongqun, WANG Sheng'an, GAO Wanlin, et al. Remote⁃sensing classification method of county⁃level agriculture
crops using time⁃series[J] Transactions of the Chinese Society for Agricultural Machinery, 2015, 46( Supp. : 246 252.
in Chinese)
[14  FENG Q, LIU J, GONG J. UAV remote sensing for urban vegetation mapping using random forest and texture analysis[ J]
Remote Sensing, 2015, 7: 1074 - 1094.
[15  FENG Q, LIU J, GONG J. Urban flood mapping based on unmanned aerial vehicle remote sensing and random forest
classifier—a case of Yuyao, China[ Water, 2015, 7(4: 1437 - 1455.
[16  BREIMAN L. Random forests[ J] Machine Learning, 2001, 45(1) : 5 - 32.
[17]   CHAPELLE O, VAPNIK V, BOUSQUET O, et al. Choosing multiple parameters for support vector machines Machine
Learning, 2002, 46(1) : 131 - 159
[18  ZHANG L, ZHANG L, DU B. Deep learning for remote sensing data: a technical tutorial on the state of the art[ J] IEEE
Geoscience and Remote Sensing Magazine, 2016, 4(2) : 22 -40.
[19  ZHU X, TUI A D, MOU L, et al. Deep learning in remote sensing: a comprehensive review and list of resources[ IEEE
Geoscience and Remote Sensing Magazine, 2017, 5(4) : 8 -36.
[20  KAMILARIS A, PRENAFETA F X. Deep learning in agriculture: a survey[ J] Computers and Electronics in Agriculture,
2018, 147: 70 - 90.
[21  李德仁张良培夏桂松遥感大数据自动分析与数据挖掘J] 测绘学报, 2014, 43(12) : 1211 - 1216.
LI Deren, ZHANG Liangpei, XIA Guisong. Automatic analysis and mining of remote sensing big data[J Acta Geodaetica et
Cartographica Sinica, 2014, 43(12: 1211 - 1216. in Chinese)
[22  陈前郑利娟深度 研究 [ J] . , 2019
35( 4): 43 - 49 .
CHEN Qian, ZHENG Lijuan, LI Xiaojuan, et al. Water body extraction from high⁃resolution satellite remote sensing images
based on deep learning[J Geography and Geo⁃Information Science, 2019, 35(4) : 43 -49. in Chinese)
[23  涂序彦何谓人工智能概念对象内容及方法 软件世界,1999(1 ):34 - 36.
TU Xuyan. What is “artificial intelligence”? conception, object, content and methodJ] Software World, 1999: 34 -
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
36. in Chinese)
[24  KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks
Advances in Neural Information Processing Systems, 2012, 25: 1097 - 1105.
[25  SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large⁃scale image recognition J] arXiv preprint,
arXiv: 1409. 1556, 2014.
[26]   HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition, 2016: 770 - 778.
[27  HUANG G, LIU Z, VAN D M L, et al. Densely connected convolutional networks[C]∥Proceedings of the IEEE Conference
on Computer Vision and Pattern Recognition, 2017: 4700 -4708
[28  HOCHREITER , SCHMIDHUBER J Long short⁃term memory[J] Neural Computation, 1997, 9(8) : 1735 -1780
[29  CHO K, MERRIENBOER B, BAHDANAU D, et al. On the properties of neural machine translation: encoder⁃decoder
approaches[J] arXiv preprint, arXiv: 1409. 1259, 2014.
[30  VASWANI A, SHAZEER N, PARMAR N, et al Attention is all you need[Advances in Neural Information Processing
Systems, 2017: 5998 - 6008.
[31 ]  COLA H. Understanding LSTM Networks EB / OL ] . [ 2022 01 25 ]. https: colah. github. io / posts / 2015 08
Understanding - LSTMs/ .
[32  GOODFELLOW I, POUGET J, MIRZA M, et al. Generative adversarial networks[ J] Communications of the ACM, 2020,
63( 11): 139 - 144.
[33  CHEN J, LU Y, YU Q, et al. Transunet: transformers make strong encoders for medical image segmentation J] arXiv
preprint, arXiv:2102. 04306, 2021.
[34   CAO H, WANG Y, CHEN J, et al Swin Unet: Unet⁃like pure transformer for medical image segmentation arXiv
preprint, arXiv:2105. 05537, 2021.
[35  熊俊涛刘柏林钟灼基于深度语义分割网络的荔枝花叶分割与识别[J]. 农业机械学报, 2021, 52(6): 252 - 258.
XIONG Juntao, LIU Bolin, ZHONG Zhuo, et al. Litchi flower and leaf segmentation and recognition based on deep semantic
segmentation[J Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(6: 252 - 258. in Chinese)
[36  李旭青张秦雪安志远基于可变形全卷积神经网络的冬小麦自动解译研究J] 农业机械学报, 2020, 51(9) :
144 - 151.
LI Xuqing, ZHANG Qinxue, AN Zhiyuan, et al. Automatic interpretation of winter wheat based on deformable full convolution
neural network[J Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9) : 144 -151. in Chinese)
[37  杨蜀秦宋志双瀚平基于 作物 [ J ] . , 2021,
52( 3): 185 - 192 .
YANG Shuqin, SONG Zhishuang, YIN Hanping, et al. Crop classification method of UVA multispectral remote sensing based
on deep semantic segmentation[J] Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(3: 185 -192.
in Chinese)
[38  WANG Y, ZENG X, LIAO X, et al. FGC Net: a building extraction network from high resolution remote sensing imagery
J] Remote Sensing, 2022, 14(2) : 144
[39  LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[ C] Proceedings of the
IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431 -3440.
[40  RONNEBERGER O, FISCHER P, BROX T. Net: convolutional networks for biomedical image segmentation
International Conference on Medical Image Computing and Computer⁃assisted Intervention, Springer, Cham, 2015: 234 - 241.
[41  ZHOU Z, SIDDIQUEE M M R, TAJBAKHSH N, et al. A nested U Net architecture for medical image segmentation
arXiv preprint, arXiv:1807. 10165, 2018
[42  QIN X, ZHANG Z, HUANG C, et al. U^2 Net: going deeper with nested U⁃structure for salient object detection[J Pattern
Recognition, 2020, 106: 107404.
[43  CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Semantic image segmentation with deep convolutional nets and fully
connected CRFS[ J]. arXiv preprint, arXiv:1412. 7062, 2014.
[44  CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Deeplab: semantic image segmentation with deep convolutional nets,
atrous convolution, and fully connected CRFs IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,
40( 4): 834 - 848 .
[45  CHEN L C, PAPANDREOU G, SCHROFF F, et al. Rethinking atrous convolution for semantic image segmentation[J] arXiv
preprint, arXiv:1706. 05587, 2017.
[46  CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder⁃decoder with atrous separable convolution for semantic image
segmentation[C∥Proceedings of the European Conference on Computer Vision ECCV), 2018: 801 - 818.
[47  季顺平田思琦张驰利用全空洞卷积神经元网络进行城市土地覆盖分类与变化检测J] 武汉大学学报信息科学
, 2020, 45(2: 233 - 241.
JI Shunping, TIAN Siqi, ZHANG Chi. Urban land cover classification and change detection using fully atrous convolutional
neural network[ J] Geomatics and Information Science of Wuhan University, 2020, 45(2: 233 - 241. in Chinese)
[48  宁纪锋倪静 于卷 [ J ]. , 2021,
52( 9): 213 - 220 .
NING Jifeng, NI Jing, HE Yijia, et al. Convolutional attention based plastic mulching farmland identification via UAV
multispectral remote sensing image[J] Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(9: 213
220. in Chinese)
[49  郭交李仪邦董思意融合栈式自编码与 CNN 的高光谱影像作物分类方法 J] 农业机械学报, 2021, 52(12)
                      2
225 - 232.
GUO Jiao, LI Yibang, DONG Siyi, et al. Innovative method of crop classification for hyperspectral images combining stacked
autoencoder and CNN[J] Transactions of the Chinese Society for Agricultural Machinery, 2021, 52 12 : 225 - 232. in
Chinese)
[50  WU H, PRASAD S. Convolutional recurrent neural networks for hyperspectral data classification[J] Remote Sensing, 2017,
9(3) : 298
[51  林蕾基于循环神经网络模型的遥感影像时间序列分类及变化检测方法研究 北京中国科学院大学, 2018.
LIN Lei. Satellite image time series classification and change detection based on recurrent neural network model[D] Beijing:
University of Chinese Academy of Sciences, 2018. in Chinese)
[52  刘文萍赵磊于深度学习的无人机土地覆盖图像分割方法[J]. 农业机械学报, 2020, 51(2): 221 -229.
LIU Wenping, ZHAO Lei, ZHOU Yan, et al. Deep learning based unmanned aerial vehicle landcover image segmentation
method[J] Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2:221 -229. in Chinese)
[53  AGGIORI E, TARABALKA , CHARPIAT G, et al. Fully convolutional neural networks for remote sensing image
classification[C∥2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2016: 5071 - 5074
[54  YANG Y, NEWSAM S. Bag⁃of⁃visual⁃words and spatial extensions for land⁃use classification[ Proceedings of the 18th
SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York, 2010: 270 - 279
[55  DAI D, YANG W. Satellite image classification via two⁃layer sparse coding with biased image representation IEEE
Geoscience and Remote Sensing Letters, 2011, 8(1) : 173 - 176.
[56  ZOU Q, NI L, ZHANG T, et al. Deep learning based feature selection for remote sensing scene classification[ IEEE
Geoscience and Remote Sensing Letters, 2015, 12(11) : 2321 - 2325.
[57  PENATTI O A B, NOGOGUEIRA K, DOS S J A. Do deep features generalize from everyday objects to remote sensing and
aerial scenes domains? [ C]Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops,
2015: 44 - 51.
[58  BASU S, GANGULY S, MUKHOPADHYAY S, et al. Deepsat: a learning framework for satellite imagery[C]∥Proceedings of
the 23rd Sigspatial International Conference on Advances in Geographic Information Systems, 2015: 1 10.
[59  ZHAO B, ZHONG Y, XIA G S, et al. Dirichlet⁃derived multiple topic scene classification model for high spatial resolution
remote sensing imagery[ J] IEEE Transactions on Geoscience and Remote Sensing, 2015, 54(4) : 2108 - 2123.
[60  XIA G S, HU J, HU F, et al AID: a benchmark data set for performance evaluation of aerial scene classification[J] IEEE
Transactions on Geoscience and Remote Sensing, 2017, 55(7) : 3965 - 3981
[61  HELBER P, BISCHKE B, DENGEL A, et al. Eurosat: a novel dataset and deep learning benchmark for land use and land
cover classification[J IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(7)
2217 - 2226.
[62  DEMIR I, KOPERSKI K, LINDENBAUM D, et al. Deepglobe 2018: a challenge to parse the earth through satellite images
C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2018: 172 181.
[63  GONG P, WANG J, YU L, et al. Finer resolution observation and monitoring of global land cover: first mapping results with
Landsat TM and ETM data[J] International Journal of Remote Sensing, 2013, 34(7) : 2607 -2654.
64]   DEBES C, MERENTITIES A, HERENMANS R, et al. Hyperspectral and LiDAR data fusion: outcome of the 2013 GRSS data
fusion contest[J] IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6) : 2405 -
2418.
[65  GIC Hyperspectral remote sensing scenes EB OL 2022 01 25] http: www. ehu. eus ccwintco index. php
Hyperspectral_Remote_Sensing_Scenes.
[66  BAUMGARDNER M F, BIEHL L L, LANDGREBE D A. 220 band aviris hyperspectral image data set: June 12 1992 Indian
pine test site EB / OL]. 2022 01 25] . https:∥purr. pardue. edu / publications/ 1947 / about? = l.
[67  TONG X Y, XIA G S, LU Q, et al. Land⁃cover classification with high⁃resolution remote sensing images using transferable
deep models[ J] Remote Sensing of Environment, 2020, 237: 111322.
[68  岑奕张立福张霞雄安新区马蹄湾村航空高光谱遥感影像分类数据集J] 学报, 2020, 2411: 1299 -
1306.
CEN Yi, ZHANG Lifu, ZHANG Xia, et al. Aerial hyperspectral remote sensing classification dataset of Xiongan New Area
Matiwan Village) J] Journal of Remote Sensing, 2020, 24(11) : 1299 - 1306. in Chinese)
[69  REZAEE M, MAHDIANPARI M, ZHANG Y, et al. Deep convolutional neural network for complex wetland classification
using optical remote sensing imagery[J] IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,
2018, 11(9) : 3030 - 3039
[70   KUSSUL N, LAVRENIUK M, SKAKUN S, et al. Deep learning classification of land cover and crop types using remote
sensing data[ J] IEEE Geoscience and Remote Sensing Letters, 2017, 14(5: 778 - 782.
[71]   ALSHEHHI R, MARPU P R, WOON W L, et al. Simultaneous extraction of roads and buildings in remote sensing imagery
with convolutional neural networks[J] ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 130: 139 149.
[72  NIU Z, LIU W, ZHAO J, et al. DeepLab⁃based spatial feature extraction for hyperspectral image classification[ J] IEEE
Geoscience and Remote Sensing Letters, 2018, 16(2: 251 255
[73  陈敏潘佳威李江杰结合 VGGNet Mask CNN 的高分辨率遥感影像建设用地检测 遥感技术与应用
2021, 36(2) : 256 - 264
CHEN Min, PAN Jiawei, LI Jiangjie, et al. High resolution remote sensing image construction land detection combined with
VGGNet and Mask R CNN[ J] Remote Sensing Technology and Application, 2021, 36(2: 256 264 in Chinese)
[74]   吴海平黄世存基于深度学习的新增建设用地信息提取试验研究全国土地利用遥感监测工程创新探索国土
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
资源遥感, 2019, 31(4) : 159 - 166
WU Haiping, HUANG Shicun. Research on new construction land information extraction based on deep learning: innovation
exploration of the national project of land use monitoring via remote sensing[J] Remote Sensing for Land & Resources, 2019,
31( 4): 159 - 166 . ( in Chinese)
[75]   田琳静宋文龙卢奕竹基于深度学习的农业区土地利用无人机监测分类J]中国水利水电科学研究院学
2019, 17(4) : 312 - 320
TIAN Linjing, SONG Wenlong, LU Yizhu, et al. Rapid monitoring and classification of land use in agricultural areas by UAV
based on deep learning method[J] Journal of China Institute of Water Resources and Hydropower Research, 2019, 17(4)
312 - 320. ( in Chinese)
[76  汪传建赵庆展马永建基于卷积神经网络的无人机遥感农作物分类[J]. 农业机械学报, 2019, 50(11): 161 -168.
WANG Chuanjian, ZHAO Qingzhan, MA Yongjian, et al. Crop identification of drone remote sensing based on convolutional
neural network[J] Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11: 161 -168. in Chinese)
[77  HUANG B, ZHAO B, SONG Y. Urban land⁃use mapping using a deep convolutional neural network with high spatia
resolution multispectral remote sensing imagery[ J] Remote Sensing of Environment, 2018, 214: 73 - 86
[78  XU X, LI W, RAN Q, et al. Multisource remote sensing data classification based on convolutional neural network[J IEEE
Transactions on Geoscience and Remote Sensing, 2017, 56(2) : 937 - 949
[79]   刘帅张旭含李笑基于双分支卷积网络的高光谱与多光谱图像协同土地利用分类[ J] . 农业
2020, 36( 14) : 252 - 262.
LIU Shuai, ZHANG Xuhan, LI Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery
based on dual branch convolutional neural network[J Transactions of the CSAE, 2020, 36(14: 252 262. in Chinese)
[80  FENG Q, ZHU D, YANG J, et al. Multisource hyperspectral and LiDAR data fusion for urban land⁃use mapping based on a
modified two⁃branch convolutional neural network[J] ISPRS International Journal of Geo⁃Information, 2019, 8(1) : 28.
[81  FENG Q, YANG J, ZHU D, et al. Integrating multitemporal Sentinel data for coastal land cover classification using a
multibranch convolutional neural network: case of the Yellow River Delta[ Remote Sensing, 2019, 11(9) : 1006
[82]   冯权泷牛博文朱德海基于多核主动学习和多源数据融合的农田塑料覆被分类J]农业机 械学,2022,53(2
177 - 185.
FENG Quanlong,NIU Bowen,ZHU Dehai,et al. Classification of agricultural plastic cover based on multi⁃kernel active learning
and multi⁃source data fusion[J] . Transactions of the Chinese Society for Agricultural Machinery,2022,53(2 :177 - 185. (in
Chinese)
[83  冯权泷陈泊安牛博文基于多尺度扩张卷积神经网络的城中村遥感识别 J] 业机械学, 2021, 5211)
181 - 189.
FENG Quanlong, CHEN Boan, NIU Bowen, et al. Identification of urban villages from remote sensing image based on multi⁃
scale dilated convolutional neural network[J] Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(11
181 - 189. ( in Chinese)
[84  张立福王飒刘华亮从光 间序 测研 [ J ]. 武汉 息科
2021, 46(4) : 451 - 468
ZHANG Lifu, WANG Sa, LIU Hualiang, et al. From spectrum to spectrotemporal: research on time series change detection of
remote sensing[ J] Geomatics and Information Science of Wuhan University, 2021, 46(4: 451 - 468. in Chinese)
[85  MOU L, GHAMISI P, ZHU X X. Deep recurrent neural networks for hyperspectral image classification[J] IEEE Transactions
on Geoscience and Remote Sensing, 2017, 55(7) : 3639 - 3655.
[86  HANG R, LIU Q, HONG D, et al. Cascaded recurrent neural networks for hyperspectral image classification J] IEEE
Transactions on Geoscience and Remote Sensing, 2019, 57(8) : 5384 - 5394
[87  MA A, FILIPPI A M, WANG Z, et al. Hyperspectral image classification using similarity measurements⁃based deep recurrent
neural networks[J] Remote Sensing, 2019, 11(2: 194.
[88  RUΒWURM M, KÖRNER M. Multi⁃temporal land cover classification with sequential recurrent encoders ISPRS
International Journal of Geo⁃Information, 2018, 7(4) : 129.
[89  NDIKUMANA E, HO T, BAGHDADI N, et al. Deep recurrent neural network for agricultural classification using
multitemporal SAR Sentinel for Camargue, France[J] Remote Sensing, 2018, 10(8) : 1217.
[90  ZHONG L, HU L, ZHOU H. Deep learning based multi⁃temporal crop classification[J] Remote Sensing of Environment,
2019, 221: 430 - 443.
[91  解毅张永清荀兰基于多源遥感数据融合和 LSTM 算法的作物分类研究 业工程学 , 2019, 35( 15
129 - 137.
XIE Yi, ZHANG Yongqing, XUN Lan, et al. Crop classification based on multi⁃source remote sensing data fusion and LSTM
algorithm[J] Transactions of the CSAE, 2019, 35(15) : 129 - 137. in Chinese)
[92  赵红伟陈仲新刘佳深度学习方法在作物遥感分类中的应用和挑战中国 资源 , 2020, 412)
35 - 49.
ZHAO Hongwei, CHEN Zhongxin, LIU Jia. Deep learning for crop classification of remote sensing data: applications and
challenges[J] Chinese Journal of Agricultural Resources and Regional Planning, 2020, 41(2) : 35 -49. in Chinese)
[93  EI X, PAN E, MA Y, et al. Spectral⁃spatial attention networks for hyperspectral image classification[J] Remote Sensing,
2019, 11(8) : 963.
[94  OU L, BRUZZONE L, ZHU X X. Learning spectral⁃spatial⁃temporal features via a recurrent convolutional neural network for
change detection in multispectral imagery[J] IEEE Transactions on Geoscience and Remote Sensing, 2019, 57: 924 935.
[95  LIU Q, ZHOU F, HANG R, et al. Bidirectional⁃convolutional LSTM based spectral⁃spatial feature learning for hyperspectral
                      2
image classification[J] Remote Sensing, 2017, 9(12: 1330.
[96  WU H, PRASAD S. Convolutional recurrent neural networks for hyperspectral data classification[J] Remote Sensing, 2017,
9(3) :298.
[97  张鹏刘冰左溪利用深度卷积循环神经网络的高光谱影像空谱特征分类方法 测绘科学技术学报
2021, 38(4) : 368 - 373
ZHANG Pengqiang, LIU Bing, ZUO Xibing, et al. Spatial spectral feature classification of hyperspectral images using deep
convolution recurrent neural network[ Journal of Geomatics Science and Technology, 2021, 38 : 368 - 373. in
Chinese)
[98  马欣悦王梨名祁昆仑基于多尺度循环注意力网络的遥感影像场景分类方 地球科学, 2021, 46(10
3740 - 3752.
MA Xinyue, WANG Liming, QI Kunlun, et al. Remote sensing image scene classification method based on multi⁃scale cyclic
attention network[ Earth Science, 2021, 46(10): 3740 -3752. in Chinese)
[99  FENG Q, YANG J, LIU Y, et al. Multi⁃temporal unmanned aerial vehicle remote sensing for vegetable mapping using an
attention⁃based recurrent convolutional neural network[J Remote Sensing, 2020, 12(10: 1668.
[100  张宏鸣王斌 [ J ] . , 2019,
50( 6): 241 - 248 .
ZHANG Hongming, WANG Bin, HAN Wenting, et al. Extraction of irrigation networks in irrigation area of UAV orthophotos
based on fully convolutional networks[ Transactions of the Chinese Society for Agricultural Machinery, 2019, 50
241 - 248. ( in Chinese)
[101  杨亚男张宏鸣李杭昊结合 FCN DenseCRF 模型 机梯 研究 J] 与应
2021, 57(3) : 222 - 230
YANG Ya'nan, ZHANG Hongming, LI Hanghao, et al. Research on UAV terrace recognition method based on FCN and
DenseCRF model[J] Computer Engineering and Applications, 2021, 57(3) : 222 - 230. in Chinese)
[102  孙钰韩京冶陈志泊基于深度学习的大棚及地膜农田无人机航拍监测方法J]农业机械学报, 2018, 49(2)
133 - 140.
SUN Yu, HAN Jingye, CHEN Zhibo, et al. Monitoring method for UAV image of greenhouse and plastic⁃mulched landcover
based on deep learning[ Transactions of the Chinese Society for Agricultural Machinery, 2018, 49 : 133 - 140. in
Chinese)
[103  SHRESTHA S, VANNESCHI L. Improved fully convolutional network with conditional random fields for building extraction
J] Remote Sensing, 2018, 10(7) : 1135
[104  MARMANIS D, SCHINDLER K, WEGNER J D, et al Classification with an edge: improving semantic image segmentation
with boundary detection[J] ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 135: 158 172.
[105  MOHAMMADIMANESH F, SALEHI B, MAHDIANPARI M, et al. A new fully convolutional neural network for semantic
segmentation of polarimetric SAR imagery in complex land cover ecosystem[J] ISPRS Journal of Photogrammetry and Remote
Sensing, 2019, 151: 223 - 236.
[106  DIAKOGIANNIS F I, WALDNER F, CACCETTA P, et al. ResUNet : a deep learning framework for semantic
segmentation of remotely sensed data[J] ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 162: 94 114.
[107  YE Z, FU Y, GAN M, et al. Building extraction from very high resolution aerial imagery using joint attention deep neural
network[J] Remote Sensing, 2019, 11(24) : 2970
[108  何直蒙丁海勇安炳琪高分辨率遥感影像建筑物提取的空洞卷积 Unet 算法 [ J/ OL] 学报2022 01
22] https:∥kns. cnki. net/ kcms/ detail/ 11. 2089. P. 20211215. 1136. 012. html.
HE Zhimeng, DING Haiyong, AN Bingqi. Unet: aatrous convolution⁃based neural network for building extraction from
high⁃resolution remote sensing images[J OL] Acta Geodaeticaet Cartographica Sinica[2022 01 22 https:∥kns. cnki.
net / kcms/ detail/ 11. 2089. P. 20211215. 1136. 012. html. ( in Chinese)
[109  CAO K, ZHANG X. An improved res⁃unet model for tree species classification using airborne high⁃resolution images[ J]
Remote Sensing, 2020, 12(7: 1128.
[110]   李星华白学辰李正军面向高分影像建筑物提取的多层次特征融合网J / OL]. 武汉大学学信息科学版
[2022 01 21] . https:∥kns. cnki. net / kcms / detail /42. 1676. TN. 20220114. 1321. 001. html.
LI Xinghua, BAI Xuechen, LI Zhengjun, et al. High⁃resolution image building extraction based on multi⁃level feature fusion
network[ OL Geomatics and Information Science of Wuhan University2022 01 21] https:kns. cnki. net kcms
detail /42. 1676. TN. 20220114. 1321. 001. html. ( in Chinese)
[111  ZHANG P, KE Y, ZHANG Z, et al. Urban land use and land cover classification using novel deep learning models based on
high spatial resolution satellite imagery[ Sensors, 2018, 18(11: 3717.
[112  YAN S, XU L, YU G, et al. Glacier classification from Sentinel imagery using spatial⁃spectral attention convolutional
model[J] International Journal of Applied Earth Observation and Geoinformation, 2021, 102: 102445
[113   ZHENG Z, WAN Y, ZHANG Y, et al CLNet: cross⁃layer convolutional neural network for change detection in optical
remote sensing imagery[ J] ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 175: 247 - 267.
[114  LIN Y, XU D, WANG N, et al. Road extraction from very⁃high⁃resolution remote sensing images via a nested SE Deeplab
model[J] Remote Sensing, 2020, 12(18) : 2985
[115  吴永静吴锦超林超基于深度学习的高分辨率遥感影像光伏用地提取J]测绘通报 2021( 5) : 96 - 101 .
WU Yongjing, WU Jinchao, LIN Chao, et al. Photovoltaic land extraction from high⁃resolution remote sensing images based
on deep learning method[J] Bulletin of Surveying and Mapping, 2021(5: 96 101. in Chinese)
[116  侯博文闫冬梅郝伟改进卷积网络的高分遥感图像城镇建成区提取J]中国图象图形学, 2020, 2512
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
2677 - 2689.
HOU Bowen, YAN Dongmei, HAO Wei, et al. Urban built⁃up area extraction using high⁃resolution remote sensing images
with an improved convolutional neural network J] Journal of Image and Graphics, 2020, 25 12: 2677 - 2689. in
Chinese)
[117  WANG Y, GAO L, HONG D, et al. Mask DeepLab: end⁃to⁃end image segmentation for change detection in high⁃resolution
remote sensing images[J International Journal of Applied Earth Observation and Geoinformation, 2021, 104: 102582.
[118  FU H, FU B, SHI P. An improved segmentation method for automatic mapping of cone karst from remote sensing data based
on DeepLab V3 + model[J] Remote Sensing, 2021, 13(3) : 441.
[119  SI Y, GONG D, GUO Y, et al. An advanced spectral⁃spatial classification framework for hyperspectral imagery based on
DeepLab v3 + [J] Applied Sciences, 2021, 11(12) : 5703.
[120  MACKA C. Information⁃based objective functions for active data selection[J] Neura Computation, 1992, 4(4): 59 604.
[121  SETTLES B. Active learning literature survey[ University of Wisconsin⁃Madison, Department of Computer Sciences,
2009.
[122  刘康钱旭王自强主动学习算法综述 J] 计算机工程与应用, 2012, 48(34) : 1 -
LIU Kang, QIAN Xu, WANG Ziqiang. Survey on active learning algorithms[ Computer Engineering and Applications,
2012, 48(34) : 1 - in Chinese)
[123   SEUNG H S, OPPER M, SOMPOLINSKY H. Query by committee[ Proceedings of the Fifth Annual Workshop on
Computational Learning Theory, 1992: 287 - 294
[124  RAJAN S, GHOSH J, CRAWFORD M M. An active learning approach to hyperspectral data classification IEEE
Transactions on Geoscience and Remote Sensing, 2008, 46(4) : 1231 - 1242
[125  ZHANG L, CHEN C, BU J, et al. Active learning based on locally linear reconstruction[J] IEEE Transactions on Pattern
Analysis and achine Intelligence, 2011, 33(10: 2026 - 2038.
[126  MCCALLUMZY A K, NIGAMY K. Employing EM and pool⁃based active learning for text classification Proc.
International Conference on Machine Learning (ICML) Citeseer, 1998: 359 367
[127]   王成军毛政元徐伟铭超像素与主动学习相结 的遥感影像变 检测方法 地球信息科学学报, 2018,
20( 2): 235 - 245 .
WANG Chengjun, MAO Zhengyuan, XU Weiming, et al. Change detection approach for high resolution remotely sensed
images based on superpixel and active learning J] Journal of Geo⁃Information Science, 2018, 20 : 235 - 245. in
Chinese)
[128  邓鸿儒徐佳单文龙利用 动深度学 提取极化 SAR 影像建筑区 J]绘科学技 学报, 2018, 35
278 - 284.
DENG Hongru, XU Jia, SHAN Wenlong, et al. Polarized SAR image building area extraction using active deep learning[J]
Journal of Geomatics Science and Technology, 2018, 35(3: 278 - 284. in Chinese)
[129  REN S, HE K, GIRSHICK R, et al. Faster R CNN: towards real⁃time object detection with region proposal networks[J
Advances in Neural Information Processing Systems, 2015, 28: 91 - 99.
[130  LIU P, ZHANG H, EOM K B. Active deep learning for classification of hyperspectral images[J] IEEE Journal of Selected
Topics in Applied Earth Observations and Remote Sensing, 2016, 10(2) : 712 -724.
[131  HAUT J M, PAOLETTI M E, PLAZA J, et al. Active learning with convolutional neural networks for hyperspectral image
classification using a new bayesian approach IEEE Transactions on Geoscience and Remote Sensing, 2018, 56 11
6440 - 6461.
[132  杨承文李吉明杨东勇基于深度贝叶斯主动学习的高光谱图像分J]. 计算机工程与应用, 2019, 55(18): 166 -172.
YANG Chengwen, LI Jiming, YANG Dongyong. Active learning for hyperspectral image classification with deep Bayesian
J] Computer Engineering and Applications, 2019, 55(18: 166 - 172. in Chinese)
[133  徐佳袁春琦程圆娥基于主动深度学习的极化 SAR 图像分类J]国土资源遥感, 2018, 30(1: 72 - 77.
XU Jia, YUAN Chunqi, CHENG Yuane, et al. Active deep learning based polarimetric SAR image classificatio
Remote Sensing for Land & Resources, 2018, 30(1: 72 - 77. in Chinese)
[134  DENG C, XUE Y, LIU X, et al. Active transfer learning network: a unified deep joint spectral⁃spatial feature learning model
for hyperspectral image classification[ J] IEEE Transactions on Geoscience and Remote Sensing, 2018, 57 : 1741 -
1754.
[135  ZHANG Z, PASOLLI E, YANG H , et al. Multimetric active learning for classification of remote sensing data[ IEEE
Geoscience and Remote Sensing Letters, 2016, 13(7) : 1007 - 1011.
[136  ZHU X, GOLDBERG A B. Introduction to semi⁃supervised learning[M California: Morgan & Claypool,2009:60 100.
[137  CHAPELLE O, SCHOLKOPF , ZIEN A. Semi⁃supervised learning[ London: The MIT Press, 2006: 16 - 70.
[138  LEE D H. Pseudo⁃label: the simple and efficient semi⁃supervised learning method for deep neural networks[C] ∥Workshop
on Challenges in Representation Learning, ICML, 2013: 896
[139  TARVAINEN A, VALPOLA H. Mean teachers are better role models: weight⁃averaged consistency targets improve semi⁃
supervised deep learning results[J] arXiv preprint, arXiv: 1703. 01780, 2017.
[140]   CENGGORO T W, ISA S M, KUSUMA P, et al. Classification of imbalanced land⁃use land⁃cover data using variational
semi⁃supervised learning[C]∥2017 International Conference on Innovative and Creative Information Technology (ICITech)
IEEE, 2017: 1 - 6.
[141  WU H, PRASAD S. Semi⁃supervised deep learning using pseudo labels for hyperspectral image classification IEEE
Transactions on Image Processing, 2017, 27(3: 1259 - 1270
[142  CHEN B, FENG Q, NIU B, et al. Mapping of land cover in semi⁃arid regions based on a multi⁃gate semi⁃supervised learning
                      2
method—a case study of Zhangbei, China[J Remote Sensing Letters, 2022, 13(2) : 207 -217.
[143]   LIU J, FDENG Q, WANG Y, et al. Urban green plastic cover mapping based on VHR remote sensing images and a deep
semi⁃supervised learning framework[ ISPRS International Journal of Geo⁃Information, 2020, 9(9) : 527.
[144  ZHANG B, ZHANG Y, LI Y, et al. Semi⁃supervised semantic segmentation network via learning consistency for remote
sensing land⁃cover classification[J ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences,
2020, 2: 609 - 615.
[145]   CHEN J, YANG M, LING J. Attention⁃based label consistency for semi⁃supervised deep learning based image classification
J] Neurocomputing, 2021, 453: 731 - 741.
[146  ZHOU A brief introduction to weakly supervised learning[ J] National Science Review, 2018, 5(: 44 - 53.
[147  SCHMITT M, PREXL J, EBEL P, et al. Weakly supervised semantic segmentation of satellite images for land cover
mapping—challenges and opportunities[ J]. arXiv preprint, arXiv: 2002. 08254 2020.
[148  YU Q, LIU W, GONÇALVES W N, et al. Resolution enhancement for large⁃scale land cover mapping via weakly supervised
deep learning[ J] Photogrammetric Engineering & Remote Sensing, 2021, 87(6: 405 - 412.
[149  WANG S, CHEN W, XIE S M, et al. Weakly supervised deep learning for segmentation of remote sensing imagery[ J]
Remote Sensing, 2020, 12(2: 207.
[150]   LI Y, SHI T, ZHANG Y, et al. Learning deep semantic segmentation network under multiple weakly⁃supervised constraint
for cross⁃domain remote sensing image semantic segmentation[ J] ISPRS Journal of Photogrammetry and Remote Sensing,
2021, 175: 20 - 33.
[151  ZHANG W, TANG P, CORPETTI T, et al. WTS: a weakly towards strongly supervised learning framework for remote
sensing land cover classification using segmentation models[J] Remote Sensing, 2021, 13(3: 394.
[152  JAISWAL A, BABU A R, ZADEH M Z, et al. A survey on contrastive self⁃supervised learning[ Technologies, 2021,
9(1) : 2
[153]   GOYAL P, MAHAJAN D, GUPTA A, et al. Scaling and benchmarking self⁃supervised visual representation learning[C]
Proceedings of the IEEE / CVF International Conference on Computer Vision, 2019: 6391 - 6400.
[154]   ZHANG R, ISPLA P, EFROS A A. Colorful image colorization[ C] European Conference on Computer Vision. Springer,
Cham, 2016: 649 - 666.
[155  NOROOZI M, FAVARO P. Unsupervised learning of visual representations by solving jigsaw puzzles [ C ∥ European
Conference on Computer Vision. Springer, Cham, 2016: 69 - 84
[156  HE K, CHEN X, XIE S, et al. Masked autoencoders are scalable vision learners[ J] arXiv preprint, arXiv:2111. 06377,
2021.
[157  AYUSH K, UZKENT B, MENG C, et al. Geography⁃aware self⁃supervised learning Proceedings of the IEEE CVF
International Conference on Computer Vision, 2021: 10181 - 10190
[158  REN B, ZHAO Y, HOU B, et al mutual information⁃based self⁃supervised learning model for PolSAR land cover
classification[J IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(11) : 9224 - 9237.
[159]   ZHAO Z, LUO Z, LI J, et al. When self⁃supervised learning meets scene classification: remote sensing scene classification
based on a multitask learning framework[ J] Remote Sensing, 2020, 12(20: 3276.
[160  李海峰黄浩哲彭剑有限标注样本条件下基于自监督特征学习的遥感影像分类 C] 第七届高分辨率
对地观测学术年会论文集 2020:80 - 93 .
[161  TZENG E, HOFFMAN J, ZHANG N, et al. Deep domain confusion: maximizing for domain invariance[J arXiv preprint,
arXiv:1412. 3474, 2014.
[162  WURM M, STARK T, ZHU X X, et al. Semantic segmentation of slums in satellite images using transfer learning on fully
convolutional neural networks[J] ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150: 59 69.
[163  QIN Y, BRUZZONE L, LI B. Tensor alignment based domain adaptation for hyperspectral image classification[ IEEE
Transactions on Geoscience and Remote Sensing, 2019, 57(11) : 9290 - 9307
[164  ELSHAMLI A, TAYLOR G W, AREIBI S. Multisource domain adaptation for remote sensing using deep neural networks
J] IEEE Transactions on Geoscience and Remote Sensing, 2019, 58(5) : 3328 - 3340.
[165  JI S, WANG D, LUO M. Generative adversarial network⁃based full⁃space domain adaptation for land cover classification from
multiple⁃source remote sensing images[J IEEE Transactions on Geoscience and Remote Sensing, 2020, 59: 3816 -
3828.
[166  XU Q, YUAN X, OUYANG C. Class⁃aware domain adaptation for semantic segmentation of remote sensing images[J] IEEE
Transactions on Geoscience and Remote Sensing, 2020, 60: 1 - 17.
[167  FAN Y, DING X, WU J, et al. High spatial⁃resolution classification of urban surfaces using a deep learning method[
Building and Environment, 2021, 200: 107949.
[168  沈瑜苑玉彬彭静基于深度学习的寒旱区遥感影像河流提取J]农业机械学报, 2020, 51(7) : 192 - 201.
SHEN Yu, YUAN Yubin, PENG Jing, et al. River extraction from remote sensing images in cold and arid regions based on
deep learning[ J] Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(7) : 192 - 201 in Chinese)
            冯权泷 等土地利用覆被深度学习遥感分类研究综述
... Using UAV remote sensing data to identify tobacco plants and monitor plant growth information based on deep learning can save manpower and material resources and provide accurate information for large-scale growth monitoring, fertilization, and transplanting [7]. This is applicable to the management of high-value-added economic crop cultivation [8,9]. ...
Article
Full-text available
Rapidly and accurately extracting tobacco plant information can facilitate tobacco planting management, precise fertilization, and yield prediction. In the karst mountainous of southern China, tobacco plant identification is affected by large ground undulations, fragmented planting areas, complex and diverse habitats, and uneven plant growth. This study took a tobacco planting area in Guizhou Province as the research object and used DJI UAVs to collect UAV visible light images. Considering plot fragmentation, plant size, presence of weeds, and shadow masking, this area was classified into eight habitats. The U-Net model was trained using different habitat datasets. The results show that (1) the overall precision, recall, F1-score, and Intersection over Union (IOU) of tobacco plant information extraction were 0.68, 0.85, 0.75, and 0.60, respectively. (2) The precision was the highest for the subsurface-fragmented and weed-free habitat and the lowest for the smooth-tectonics and weed-infested habitat. (3) The weed-infested habitat with smaller tobacco plants can blur images, reducing the plant-identification accuracy. This study verified the feasibility of the U-Net model for tobacco single-plant identification in complex habitats. Decomposing complex habitats to establish the sample set method is a new attempt to improve crop identification in complex habitats in karst mountainous areas.
... First, DL requires a substantial volume of training data, leading to high costs in data acquisition and annotation. Second, types and characteristics of land cover vary across different regions, necessitating region-specific data for model training [56]. Furthermore, the effective integration of multi-source data (optical imagery, radar data, elevation data, etc.) is an important research direction. ...
Article
Full-text available
Land use and land cover (LULC) changes are of vital significance in fields such as environmental impact assessment and natural disaster monitoring. This study, through an analysis of 1432 papers over the past decade employing quantitative, qualitative, bibliometric analysis, and knowledge graph techniques, aims to assess the evolution and current landscape of deep learning (DL) in LULC. The focus areas are: (1) trend analysis of the number and annual citations of published articles, (2) identification of leading institutions, countries/regions, and publication sources, (3) exploration of scientific collaborations among major institutions and countries/regions, and (4) examination of key research themes and their development trends. From 2013 to 2023 there was a substantial surge in the application of DL in LULC, with China standing out as the principal contributor. Notably, international cooperation, particularly between China and the USA, saw a significant increase. Furthermore, the study elucidates the challenges concerning sample data and models in the application of DL to LULC, providing insights that could guide future research directions to accelerate progress in this domain.
Article
Traditional change detection (CD) algorithms cannot meet the requirements of today’s high resolution remote sensing images (HR). Recently, deep learning-based CD has become a popular research topic. However, there are not many annotated samples for training deep learning (DL) models. Patch-based algorithm has become an important research direction in CD in response to the lack of training datasets, but the optimal patch size is relatively small and difficult to determine, which limits the use of spatial information and the extension of deep network. In this paper, we develop a feature-regularized mask DeepLab (FRM-DeepLab) for HRCD. First, a mask-based framework (MaskNet) that uses a few annotated samples to update model parameters is introduced. Based on MaskNet, we design a Mask-DeepLab to make full use of HR. Last, the deep features of unlabeled areas are extracted by an autoencoder as auxiliary information, and those features are concatenated in the middle-level features extracted by Mask-DeepLab to alleviate the influences of overfitting caused by small-scale samples. The algorithm is verified on three HRCD datasets. The visualization and quantitative analysis of the experiment results figure that this algorithm can implement significant performance improvement.