基于图像光谱超分辨率的苹果糖度检测

糖度是衡量苹果品质的关键指标。高光谱成像(由于含有丰富的图谱信息在糖度无损检测中有着广泛的应用前景。光谱超分辨率(SSR)可通过建立映射关系从低光谱维度RGB图像获得对应高光谱维度HSI图像，在HSI图像的高效获取上有着极大的优势。

苹果风味独特，清脆可口，深受全世界消费者的广泛喜爱。糖度是衡量苹果品质的关键指标。高光谱成像(HSI)由于含有丰富的图谱信息在糖度无损检测中有着广泛的应用前景,然而仍面临仪器笨重昂贵、操作耗时等问题。光谱超分辨率(SSR)可通过建立映射关系从低光谱维度RGB图像获得对应高光谱维度HSI图像，在HSI图像的高效获取上有着极大的优势。

01实验部分

HSI图像采集系统由高光谱相机、RGB相机、照明光源、升降台、果托和计算机组成，如图1所示。为避免外部杂散光线的干扰，所有设备均放置于暗箱内部(计算机除外)。

图1 图像采集系统

1.1SSR 方法

基于密集连接的SSR方法

在基于卷积神经网络光谱下采样投影恢复高光谱图像算法基础之上，提出了基于密集连接的SSR方法HSCNN-D，在特征提取时利用卷积层替换了频谱上采样操作，由此避免了对未知光谱响应函数的依赖。在特征映射的过程中，利用路径加宽的融合方案，使用了密集连接块代替了残差块，缓解了残差网络增加网络深度带来的梯度消失的问题。最后经过卷积层融合已处理的特征完成SSR。虽然该方法能够更适当地学习映射关系，但是在图像空间分辨率特征的应用仍然不足。

基于多尺度层级回归网络的SSR方法

基于多尺度层级回归网络的SSR方法通过并行多分支网络提取不同尺度下的特征，然后融合相应特征得到最终特征。基于层级回归网络算法为层间交互的四级回归网络。首先利用PixelUn-Shuffle层对输入图像进行空间下采样,使图像空间分辨率降低。根据分辨率的高低分别从上至下作为层级输入。下层低分辨率图像依次经过卷积层、残差密集块和残差全局块提取出特征，再利用PixelShuffle层对特征图完成上采样，然后与上层高分辨率图像特征拼接，再完成当层的特征提取。由于特征在底层较为紧凑，需要在上采样前利用卷积层进行通道加权，加强映射。残差密集块连接方法，有助于去除噪声和减少伪影。残差全局块的应用使得从输入端跳过连接通过注意力机制来扩大感受野。虽然基于多尺度层级回归网络的SSR方法能够提取不同尺度下的特征，但是会造成运算量过大的问题。

基于Transformer的SSR方法

多级光谱Transformer算法为基于Transfommer的SSR方法，将每一个光谱通道的特征图输人光谱多头注意力层进行计算响应值。光谱注意块由光谱多头注意力层和前馈网络组成。通过在光谱多头注意力层和前馈网络组成前面添加归一化层可以缓解梯度消失的问题，加快网络的收敛。然后，利用形网络结构将光谱注意块构建了一个单级光谱转换器，由此更好地提取上下文信息。最后，MST十十将由多个单级光谱转换器级联，从粗糙到精细逐步提高SSR质量。基于Trans-former的SSR方法具有优异的长距离依赖关系和全局信息捕捉能力。

1.2糖度回归分析方法

有效波长光谱提取

建立苹果糖度预测模型时，原始数据的全光谱波段数多并且波段间相关性高，将全光谱输入模型将导致计算时间长以及预测精度较低。通过有效波长光谱的提取可以减少大量的冗余信息和噪声，提高建模的准确性和稳定性。有效波长提取采用竞争性自适应重加权,将筛选后的有效波长光谱作为模型输入。

回归建模方法

偏最小二乘回归被广泛应用于化学计量学和光谱定量分析。该方法结合主成分分析、典型关联分析和多元线性回归三种方法，有效地解决多重相关性问题。利用样本的光谱数据作为自变量以及测量参考值作为因变量完成回归模型建立。

随机森林是一种机器学习的统计方法，通常应用于处理高维度数据。该方法基于决策树的集成算法，首先对原始样本随机选择样本子集，然后在不同的样本子集上训练每个决策树，最后对预测取平均以进行整体预测。

极限学习机是一种单隐层前馈神经网络，具有速度快和参数调整简单的特点。该方法可以随机初始化输入权重和偏移量并利用广义逆得到相应的输出权重。在进行回归预测时，需设置隐层节点数，从而得到唯一最优解。

02图像处理

颜料样本

采集图像前，对实验样本张贴黑色哑光2x2方格胶纸哑光材质可以减少反光。通过人工标定确定ROI，不仅可以增加样本量而且可以减少ROI配准。采集图像后，首先对原始RGB图像以及HSI伪RGB图像进行阈值化处理得到一值图像，其中伪RGB图像为从HSI图像中抽取三个波段(468、530以及703nm)进行合成的图像。然后采用二值图像掩膜至原始图像确定ROI质心，最后根据质心位置完成ROI框选并完成裁剪，得到样本图像。为避免裁剪ROI区域内存在黑色区域，保证裁剪后图像尺寸均为64x64.图2为ROI裁剪的过程。经过图像处理后，共生成220个RGB-HSI图像对作为训练模型的输入。

图2ROI裁剪过程

图3CARS提取的有效波长光谱分布图

表1CARS 提取的有效波长

表2利用提取有效波长糖度回归结果

03实验结论

结果表明，相比于全光谱，采用有效波长可以提升糖度预测的准确程度。本工作基于图像SSR完成了苹果糖度的准确检测，提供了经济高效的HSI图像获取方式。实现了快速便捷的新型糖度检测，可以提高检测的准确性和稳定性，在苹果产业自动化分选和智能化质检具有重要的实践意义和推广价值。

推荐

便携式高光谱成像

专门用于公安刑侦、物证鉴定、医学医疗、精准农业、矿物地质勘探等领域的最新产品，主要优势具有体积小、帧率高、高光谱分辨率高、高像质等性价比特点采用了透射光栅内推扫原理高光谱成像，系统集成高性能数据采集与分析处理系统，高速USB3.0接口传输，全靶面高成像质量光学设计，物镜接口为标准C-Mount，可根据用户需求更换物镜。

审核编辑 黄宇