关键词:
遥感图像分类
Tucker分解
全张量分解神经网络
Tensor Transformer
摘要:
遥感图像分类是指根据遥感图像中地物的光谱特征、空间特征、时相特征等,利用算法对地物目标进行识别的技术,这项技术在农作物监测、灾害预警、城市规划等领域具有重要的研究意义。近年来,遥感影像朝着多模态,多谱段,多维度,多时相等方面发展,通过传感器采集获得的遥感数据具有高维度特性。传统神经网络其结构特性决定了它们无法直接处理高维张量形式的样本,而对高维遥感数据的降维处理又会破坏原始数据中隐含的结构信息,同时存在降维模型和分类网络之间的匹配问题,最终导致图像分类精度的瓶颈。论文针对以上问题,试图将张量分解和神经网络相结合,提出基于张量化神经网络的高维遥感图像分类解决方案,论文取得的成果如下:
(1)为了解决传统神经网络处理高维遥感数据可能造成的“维数灾难”问题,论文将高维遥感数据样本视为高阶张量,提出了在线张量分解的思想,定义了基于Tucker分解的特征提取层(Tucker Decomposition Based Feature Extraction Layer,TDFEL)和分类层(Tucker Decomposition Based Classification Layer,TDCL),并设计出一种全张量分解神经网络(Full Tensor Decomposition Network,FTDN)模型。提出的FTDN模型可直接支持高阶张量形式的样本输入,并使用TDFEL提取原始张量样本中的特征,使用TDCL实现分类任务。提出的TDFEL和TDCL能够充分利用高阶张量样本蕴含的结构信息,在避免“维数灾难”的同时提高了分类精度。实验结果表明,与其他先进的网络相比,FTDN网络分类精度平均提高了3%,且参数量仅为典型卷积网络的1%,实现了网络轻量化。
(2)高维遥感数据蕴含了丰富的空间和通道结构信息,传统Transformer网络的向量化输入仅能保留空间或通道某一维度的结构信息,从而造成图像分类的性能瓶颈。论文提出了张量化自注意力机制(Tensor Self-Attention Mechanism,TSAM),并以此构建了张量化Transformer神经网络模型(Tensor Transformer,TT)。提出的TT模型支持高维遥感数据张量形式输入,使用TSAM来捕捉高维遥感数据中的空间-通道联合结构相关性,能够在端到端的网络中以张量形式实现特征提取,充分利用了原始数据的空间通道联合结构信息,突破了遥感图像分类性能瓶颈。实验结果表明,与传统CNN类网络和先进的Transformer类网络相比,TT网络分类精度平均提高3%。