摘要
岩性识别和分类是地质学、资源勘查等不可或缺的环节,高光谱遥感的兴起为岩性识别提供新的思路。利用机器学习挖掘岩石高光谱图像中的信息从而准确识别岩性,这具有重要的应用价值。目前用机器学习的方法实现岩石的高光谱影像分类研究中,缺少对空间和光谱信息的充分利用,因此本文使用了一种加入注意力机制的三维卷积残差网络结构,能够有效提取岩石高光谱图像的空间、光谱特征以及空谱联合特征。本实验利用无人机搭载高光谱传感器采集了10种不同类型的岩石样本影像,应用该算法对岩石高光谱图像进行分类。实验结果表明:该算法与传统机器学习算法SVM、RF和深度学习算法ResNet、3D CNN和SSRN相比具有更高的精度。
岩石岩性识别和分类是地质工作的重要组成部分,准确高效地识别岩性具有重要的应用价
高光谱遥感图像具有光谱分辨率高、图谱合一、波段范围广且连续等特点,在岩性识别中其已被证明了可行性和有效
传统机器学习算法从岩石高光谱图像中提取光谱特征,却忽视了其重要的空间信息,而卷积神经网络层数过多会带来梯度下降问题,二维卷积对空谱信息的利用程度有限。另外,高光谱图像通常具有大量的光谱波段,同时包含很多冗余信
针对以上问题,本文选用了10种不同种类的岩石样本,通过无人机采集高光谱影像并制作数据集,并使用了基于注意力机制的三维卷积残差网络构建岩石分类模型,对岩石高光谱图像进行分析和分类,并与传统的机器学习方法和几种常见的深度学习算法进行对比,取得了最优的分类精度,该工作为无人机高光谱岩性分类提供了新的方法。
岩石高光谱图像含有丰富的光谱和空间信息,为了充分利用其光谱信息、空间信息和空谱联合信息,本文采用三维卷积的残差网络作为架构,以提取岩石高光谱图像更深层的抽象特征,通过加入注意力机制来区分不同特征的重要程度并提高网络性能。
通道注意力通过学习每个通道的重要性权重来选择性地放大或抑制不同通道的特征响应。这有助于模型更好地理解输入图像的语义信

图1 注意力机制模块
Fig. 1 Attention mechanism module
在上图的注意力机制模块中,第层的输入特征经过注意力机制生成重新校准(EFR)的特征图,其公式为:
(1) |
式中,表示在注意力机制模块中可训练的参数。更具体地说,首先通过全局平均池化进行空间压缩操作,计算描述符以表征每个通道:
(2) |
式中,表示第个通道的特征图,表示全局平均池化函数,是通道维度的描述符。为了找到有用的特征图,描述符沿着通道维度进行了重新加权。维度的损失直接影响恰当的通道预测,并且不能捕捉特征图中所有通道之间的适当跨通道相互关系。相反,本文注意力模块可以通过考虑个局部邻域,使用一维卷积捕获所有通道之间的跨通道依赖关系。为了提高中间特征选择的区分能力,需要通过自适应选择大小为的卷积核,来找到参与通道预测的最小局部邻域。本文注意力机制可以通过执行每个通道与其个邻域之间的线性交互来获得(其中= 1,…,)的最佳权重,所有通道共享相同的学习参数,即:
(3) |
式中,表示个相邻通道的集合,表示与每个相关的共享权重。
(4) |
式中,为尺度函数,并且。
光谱空间分类方法一般可分为两类,第一种方法分别利用光谱和空间上下文信

图2 三维卷积过程
Fig. 2 3D Convolution process
三维卷积可以在各个方向上进行特征提取,从而更全面地捕捉数据的本质。三维卷积在第层中第个特征图上位置处的值由以下公式给出:
(5) |
式中,是激活函数,本文使用ReLU作为激活函数,可以有效缓解梯度消失问题,并且模型更容易收敛;、、为三维卷积核的高度、宽度和光谱深度,是本层的卷积核数量,表示第层中第个特征图在位置处的输出,是层的特征图数量,而是前一层中第个特征图的卷积核在位置的值,为偏置项。
在岩石高光谱图像中,岩石样本的颜色、矿物组成、表面颗粒大小等特征共同形成了其在图像上的空间和光谱特征,因此不同种类的岩石在影像上的空谱特征具有差异性。空间信息具体表现为相近像元为同类的可能性大,对于岩石高光谱图像来说,同类岩石中相邻像元的关联性强。在光谱维度上,由于岩石内部矿物成分的组成和含量存在差异,导致该类岩石的中心像素与周围像素在光谱上呈现相关性。三维卷积可以捕获空间维度和光谱维度之间的复杂交互关系。这对于高光谱图像中存在的空间和光谱信息的耦合具有重要意义。相比之下,二维卷积可能无法捕捉到这些复杂的交互。
本文中三维卷积网络的输入数据是(S,S,B)的立方体,其中S为图像的长和宽,取值相同,B为原始波段数。将数据分块送进网络,采用三维卷积核,直接处理立方体数据,不用单独提取空间和光谱信息。最终输出层得到的结果是中心像素点的标签,从而实现像素级分类。
通过增加卷积神经网络的深度和宽度可以提高特征提取性能,但单纯增加深度和宽度会引起梯度弥散或梯度爆炸现象,网络的性能反而下降。残差结构增加了跳跃连接,通过恒等映射,可以很好地改善网络退化问题,在训练更深的网络的同时,又能保证良好地性能。本文的残差结构如

图3 残差结构
Fig. 3 Residual structure
本文使用三维卷积残差网络作为框架,一方面三维卷积块可以更好地利用光谱、空间相关性信息,另一方面残差结构可以保证训练深层网络的同时,又能拥有良好的性
(6) |
其中,,,表示第层的个输入三维特征,和分别表示第层的卷积核和偏置。、、分别表示激活函数、批归一化和注意力机制校准。网络结构如

图4 网络结构
Fig. 4 Network structure
岩石是地球表面的主要构成部分之一,根据它们的形成过程和组成成分,可以分为三大类别:沉积岩、火成岩和变质岩。本文从三大类岩石中分别选取了具有代表性的10种样本进行分析和实验。其中,沉积岩:岩屑砂岩、石英砂岩、长石砂岩;火成岩:粗粒花岗岩、安山岩、流纹岩、气孔状玄武岩;变质岩:长英二云片岩、角闪石片麻岩、千枚状板岩。如

图5 10种岩石样本
Fig. 5 Ten rock samples
如

图6 无人机和高光谱传感器。
Fig. 6 UAV and hyperspectral sensors.
地面背景对电磁波的反射会影响地物的光谱质量,尽量要选择对地物反射率影响较小的背景或者场地采集岩石的高光谱影像。本文将岩石样本放置在水泥地面上,分别拍摄了分散、聚集两种状态的高光谱影像,将其分别裁剪为621×636像素、438×484像素的尺寸大小,制作为岩石数据集,来验证本文算法的分类性能,其彩色影像由9、27、49波段合成,如

图7 实验采集岩石影像
Fig. 7 Rock images were collected in the experiment

图8 无人机高光谱采集现场照片
Fig. 8 Field photos of UAV hyperspectral acquisition
获取的影像为原始的数字值(Digital Numbers,DN),需要将其转化为0~1的标准反射率,以便更好地理解和分析图像中的岩石光谱特征。对无人机高光谱图像进行反射率校正,将影像的DN值转化为反射率值,反射率校正的公式如下:
(7) |
式中,为地物测量值,为暗电流测量值,为参考板测量值,为校正后的地物反射率。
反射率校正后的原始光谱存在噪声,会干扰地物分类和特征提取过程。通过光谱变换可以增强光谱特征,消减干扰,从而更有利于数据的分析。本文选择Savitzky-Golay(S-G)滤波器平滑预处理,平滑窗口为27,平滑次数为4,后续以此为基础进行分析及分类。在高光谱影像中,选取10种岩石所有像素点,制作岩石平均光谱曲线图,光谱变换前后效果如

图9 岩石高光谱影像平均反射率
Fig. 9 Average reflectance of rock hyperspectral imagery
原始光谱噪声波动比较大,影响数据的定量分析。经过光谱变换噪声降低了,曲线变得平滑。
岩石光谱形状与其成分、含量等因素都密切相关。0.45 μm~0.95 μm波段中,10种岩石的平均反射率在0~0.5之间,其中在0.45 μm~0.55 μm之间,10种岩石光谱曲线都较为平缓,可区分性不大;在0.55 μm~0.95 μm区间,流纹岩、石英砂岩、粗粒花岗岩、长石砂岩、安山岩的光谱曲线升高,可区分度变大,而千枚状板岩、角闪石片麻岩和岩屑砂岩的光谱曲线趋于重合,气孔状玄武岩由于其孔状结构和黑色的表面,对反射有一定的吸收作用,所以反射率最低并保持平缓。
实验使用了二维残差网络ResNet、三维卷积神经网络3D CNN、三维卷积残差网络SSRN和传统机器学习算法SVM、RF作为对比。其中,传统机器学习算法SVM和RF输入的是单个像素的n维像素值,而ResNet采用二维的卷积核,输入的是一个二维局部区域的S×S大小的像素值,3D CNN和SSRN以及本文方法采用三维卷积核,输入的是一个立方体S×S×B大小的像素值。
由于某些类别的样本不均衡,本实验采取从每一类中随机选取0.2%、0.3%、0.5%、0.7%和0.9%像素的训练样本进行训练,实验中所有网络采用Adam(自适应矩估计)优化器进行参数优化,学习率为0.001,迭代次数为200次,采用固定随机数种子重复3次实验,最后结果取平均值,避免仅一次实验带来的偶然性,每次批次处理32个样本。采用总体精度(Overall Accuracy,OA)、平均精度(Average Accuracy,AA)以及Kappa系数作为算法评价指标,地面背景也作为一种类别加入训练,但不参与最终的精度评定。
各算法在不同训练样本比例的总体精度图如

图10 各算法在不同比例训练样本下的总体精度
Fig. 10 OA of different methods with different training data size
在训练样本比例达到0.7%之后,深度学习算法的总体精度趋于饱和,本文选择将0.3%训练样本比例的分类图和精度评定进行展示,岩石高光谱分类结果如

图11 岩石高光谱分类结果图
Fig. 11 Classification map of rock hyperspectral images
Dataset | Indicators | SVM | RF | ResNet | 3D CNN | SSRN | Proposed |
---|---|---|---|---|---|---|---|
1 | OA/% | 80.5 | 81.0 | 87.6 | 89.3 | 90.3 | 91.5 |
AA/% | 80.5 | 80.5 | 86.3 | 89.3 | 90.0 | 90.9 | |
KAPPA | 0.79 | 0.79 | 0.87 | 0.89 | 0.88 | 0.90 | |
2 | OA/% | 79.9 | 82.5 | 84.7 | 85.2 | 86.9 | 87.1 |
AA/% | 80.2 | 82.4 | 85.0 | 83.4 | 86.8 | 87.7 | |
KAPPA | 0.79 | 0.80 | 0.83 | 0.84 | 0.84 | 0.85 |
根据分类结果,传统机器学习算法SVM和RF的分类精度较低,分类图中有很多分散的错分岩石或背景像素,深度学习方法相比之下分类精度较高,且分类图较为连续。数据集1的分类图中,岩石分布比较分散,对于所在位置和形状的分类比较准确,本文算法总体分类精度达到了91.5%,高于SVM和RF约10%。在数据集2的分类图中,聚集的岩石在接触部分出现了很多的错误分类现象,可能是在相邻部分的光谱出现混合像元导致分类错误。另外,相邻部分有遮挡阴影,阴影也会导致光谱质量下降,出现错误分类现象,而本文算法总体精度只达到87.1%。
深度学习算法的精度优于传统机器学习算法SVM和RF。不同类型的岩石可能含有相似的矿物组成,导致在高光谱图像上表现出相似的光谱特征,即“异物同谱”;而同类的岩石可能由于矿物组成的含量和分布不同,会在高光谱图像表现出不同的矿物特征,即“同物异谱”。目前,要解决这一问题,在高光谱图像分类时不仅要考虑光谱信息,也要考虑空间信息。SVM和RF的输入数据是一维,只利用了图像的光谱信息,忽视了空间信息,分类图中很多像素错分为地面背景或其它岩石种类,分类精度有限。相比之下,深度学习方法使用了二维或者三维的卷积核,能够利用图像的光谱和空间信息,得到的分类图中没有分散的错分像素点,且分类图较为连续,分类精度更高。
空谱联合信息有助于提升岩石分类效果。根据
通道注意力机制的加入有助于进一步提升岩石高光谱影像的分类精度。在
本文开展了岩石样本的无人机高光谱数据采集实验,并构建了基于注意力机制的三维卷积残差网络,三维卷积网络能够提取岩石的空谱联合特征,通过联合应用高光谱影像的光谱特征、空间特征和空谱联合特征,提升了岩石分类精度。在通道注意力机制的引入下,通过权重调整不同通道之间的关系,增强了网络对光谱信息的表达能力,这使得网络更能适应不同岩石样本的光谱特性,进一步提升分类性能。利用无人机高光谱技术能够实现岩石岩性的高精度分类,对于野外地质勘查中岩性的精细分类有重要意义。
虽然所提出的分类方法和其他方法相比,表现出最优异的性能,但还存在不足之处,之后的工作还需进一步优化模型,继续提高模型效率和鲁棒性,用更少的训练样本来达到更高的分类精度。另外要探索更多不同种类岩石的识别和分类,尤其是光谱相近不同种类岩石的智能分类。
参考文献
许振浩, 马文, 李术才, 等. 岩性识别:方法、现状及智能化发展趋势[J]. 地质论评, 2022, 68(6): 2290-2304. [百度学术]
XU Zhenhao, MA Wen, LI Shucai, et al. Lithology identification: Method, research status and intelligent development trend[J]. Geological Review, 2022, 68(6): 2290-2304. [百度学术]
FAN G , CHEN F , CHEN D ,et al. Recognizing multiple types of rocks quickly and accurately based on lightweight CNNs model[J]. IEEE Access, 2020(99): 1. [百度学术]
许振浩, 马文, 林鹏, 等.基于岩石图像迁移学习的岩性智能识别[J]. 应用基础与工程科学学报, 2021, 29(5): 1075-1092. [百度学术]
XU Zhenhao, MA Wen, LIN Peng, et al. Intelligent litho-logy Identification based on transfer learning of rock images[J]. Journal of Basic Science and Engineering, 2021, 29(5): 1075-1092. [百度学术]
林鹏, 许广璐, 许振浩, 等. 基于岩石矿物光谱原位测试的隧道内蚀变带快速识别方法[J]. 应用基础与工程科学学报, 2021, 29(5): 1093-1107. [百度学术]
LIN Peng, XU Guanglu, XU Zhenhao, et al. Rapid identification of alteration zone based on in-situ spectral testing of rock mineral in tunnelling[J]. Journal of Basic Science and Engineering, 2021, 29(5): 1093-1107. [百度学术]
毛运欣, 赵海强, 冯思琪, 等. 基于光谱匹配的高光谱遥感露天矿物识别方法研究[J]. 自然资源信息化, 2022(4): 28-32, 15. [百度学术]
MAO Yunxin, ZHAO Haiqiang, FENG Siqi, et al. Research on hyperspectral remote sensing open-pit minerals identification method based on spectral matching[J]. Natural Resources Informatization, 2022(4): 28-32, 15. [百度学术]
CHOC S J, JEONG G C, KIM J T. Analysis and comparison of rock spectroscopic information using drone-based hyperspectral sensor[J]. The Journal of Engineering Geo-logy, 2021, 31(4): 479-492. [百度学术]
李军华, 吴炜, 何艳, 等. 近红外光谱对天然岩石中矿物成分含量测定的研究[J]. 光谱学与光谱分析, 2013, 33(1): 85-88. [百度学术]
LI Junhua, WU Wei, HE Yan, et al. Study on determination the content of all kinds of composition in the natural rock by infrared reflectance spectroscopy[J]. Spectroscopy and Spectral Analysis, 2013, 33(1): 85-88. [百度学术]
LOBO A, GARCIA E, BARROSO G, et al. Machine learning for mineral identification and ore estimation from hyperspectral imagery in tin-tungsten deposits: Simulation under indoor conditions[J]. Remote Sensing, 2021, 13(16): 3258. [百度学术]
LIN N, FU J, JIANG R, et al. Lithological classification by hyperspectral images based on a two-layer XGBoost model, combined with a greedy algorithm[J]. Remote Sensing, 2023, 15(15): 3764. [百度学术]
朱世松, 杨文艺, 侯广顺, 等.一种岩石薄片智能分类识别方法[J]. 矿物学报, 2020, 40(1): 106. [百度学术]
ZHU Shisong, YANG Wenyi, HOU Guangshun, et al. An intelligent classification and recognition method for rock slices[J]. Acta Mineralogica Sinica, 2020, 40(1): 106. [百度学术]
XIE Y, PENG F, TAO Z, et al. Multielement classification of a small fragmented planting farm using hyperspectral unmanned aerial vehicle image[J]. IEEE Geo-science and Remote Sensing Letters, 2022, 19: 1-5. [百度学术]
LI S, SONG W, FANG L, et al. Deep learning for hyperspectral image classification: An overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709. [百度学术]
HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2016: 770-778. [百度学术]
ROY S K, MANNA S, SONG T, et al. Attention-based adaptive spectral-spatial kernel ResNet for hyperspectral image classification[J]. IEEE Transactions on Geo-science and Remote Sensing, 2020, 59(9): 7831-7843. [百度学术]
ROY A G, NAVAB N, WACHINGER C. Concurrent spatial and channel 'squeeze & excitation'in fully convolutional networks[C]//Medical Image Computing and Computer Assisted Intervention-MICCAI 2018: 21st International Conference, 2018: 421-429. [百度学术]
WANG Q, WU B, ZHU P, et al. ECA-Net: Efficient channel attention for deep convolutional neural netwo-rks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 11534-11542. [百度学术]
AHMAD M, SHABBIR S, ROY S K, et al. Hyperspectral image classification—Traditional to deep models: A survey for future prospects[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sen-sing, 2021, 15: 968-999. [百度学术]
LI Y, ZHANG H, SHEN Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67. [百度学术]
ZHONG Z, LI J, LUO Z, et al. Spectral-spatial residual network for hyperspectral image classification: A 3D deep learning framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(2): 847-858. [百度学术]