具有高时空分辨率的宽带高光谱图像传感器，大大提高光能利用率
2024-11-10 09:44:51 来源：麦姆斯咨询评论：0 点击：

该宽带高光谱图像传感器由两个主要组件组成：宽带多光谱滤波阵列和宽带单色图像传感器芯片。它能够获取丰富的空间细节，并在宽光谱范围内保持较高的光谱精度。

高光谱成像能够捕捉物理世界的空间、时间和光谱信息，表征每个位置的内在光学特性。与多光谱成像技术相比，高光谱成像技术可获取大量波长通道（从几十个到几百个不等），与光谱分析技术相比，高光谱成像技术的空间测绘能力更强。这种高维信息可以精确区分具有相似颜色的不同材料，与人类视觉相比，具有更高的光谱分辨率和更宽的光谱范围，可进行更智能的检测。凭借这些优势，高光谱成像技术已广泛应用于遥感、机器视觉、农业分析、医疗诊断和科学监测等多个领域。

实现高光谱成像，最重要的挑战是高效获取密集的空间光谱数据立方体。现有的高光谱成像系统大多使用单个光学元件（如棱镜、光栅或光谱滤波器）和机械部件来扫描空间或光谱维度的高光谱立方体。然而，这些系统通常存在体积大、重量重、成本高以及操作耗时等缺点，限制了它们的广泛应用。

随着压缩感知理论和计算成像技术的发展，各种计算型快照式高光谱成像技术（如计算断层成像系统和编码孔径快照光谱成像等）被开发出来，它们将多维高光谱信息编码为单次测量数据，并利用压缩感知或深度学习算法对数据立方体进行解码。虽然这些系统有效地提高了时间分辨率，但它们仍然需要单独的光学元件进行明确的光调制，这对轻量级集成来说是一个沉重的负担。

为了实现集成高光谱成像，已有研究进行了大量的片上采集试验。最合理的方法是通过引入更多窄带滤光片来扩展红、绿、蓝（RGB）彩色相机的经典拜耳模式，进而开发商用多光谱成像传感器。然而，除了需要在空间分辨率和光谱分辨率之间进行大量权衡外，这种技术还由于窄带滤光而浪费了很多的光通量。

此外，得益于精细可调的光谱滤波能力，基于微纳制造技术的超构表面、光子晶体板阵列、法布里-佩罗（F-P）腔滤光片也被用于特定光谱范围内的光谱调制。从实验上看，这些现有原型大多覆盖可见光范围内约200 nm的区域，只有约20个通道。近来，利用散射介质的空间复用和点扩散函数特性，已有研究将其用于紧凑的无透镜高光谱成像系统。尽管采用了这些片上技术，但它们大多存在光谱范围窄、光能利用率低以及空间和光谱分辨率之间需要权衡等问题。

据麦姆斯咨询报道，北京理工大学张军院士团队近期在Nature期刊上发表了一篇题为“A broadband hyperspectral image sensor with high spatio-temporal resolution”的论文。该论文报道了一种片上计算高光谱图像传感器（被称为HyperspecI传感器）及其硬件制造、光学校准和计算重建的综合框架。首先，为了有效获取空间和光谱信息，研究人员利用光刻技术开发了一种宽带多光谱滤波阵列（BMSFA）制造技术。BMSFA由位于不同空间位置的不同宽带光谱调制材料组成。与传统的窄带滤光片相比，BMSFA可以在整个宽光谱范围内调制入射光，从而大大提高了光能利用率，有利于弱光和远距离成像应用。调制后的信息被压缩，并由底层宽带单色传感器芯片捕获，从而实现具有全时间分辨率的空间光谱压缩。然后，为了从BMSFA压缩测量结果中高效还原高光谱数据立方体，研究人员推导出一种轻量级高性能神经网络——光谱重建网络（SRNet），它具有更强的特征提取和先验建模能力。因此，可以从每一帧图像中重建具有高空间和光谱分辨率的高光谱图像（HSI），实现高通量实时高光谱成像。

HyperspecI传感器原理

HyperspecI传感器由两个主要组件组成：宽带多光谱滤波阵列（BMSFA）和宽带单色图像传感器芯片。BMSFA在光谱域对目标场景的高维高光谱信息进行编码，底层图像传感器芯片则捕获耦合的二维测量值。然后利用混合神经网络SRNet，从每一帧图像中高保真、高效地重建多通道高光谱图像。

HyperspecI传感器结构和原理

研究人员开发了一种光刻技术来制造BMSFA。首先，基于具有不同光谱响应的有机材料制备了宽带材料。然后，通过将宽带材料与负光刻胶耦合，制备出适合光刻技术的宽带光谱调制材料。这些材料根据最佳宽带光谱调制特性选择。再利用改进的光刻工艺，按照预先设计的光掩模将光谱调制材料固化在高透光率石英衬底上，形成BMSFA。为了满足不同光谱范围的需求，研究人员设计并制备了具有不同材料体系和空间排列的BMSFA。然后将制备的BMSFA分别与CMOS和InGaAs图像传感器芯片集成。

宽带多光谱滤波阵列（BMSFA）制造

BMSFA制造

HyperspecI传感器的高光谱成像示例表明，它能够获取丰富的空间细节，并在宽光谱范围内保持较高的光谱精度。此外，为了证明HyperspecI传感器在高光谱图像重建方面的高精度和高效率，研究人员将所提出的SRNet模型与现有最先进的基于模型和深度学习的算法进行了比较，结果表明所提出SRNet模型在精度和效率方面都优于其它算法。

HyperspecI传感器高光谱成像示例

研究人员根据所提出的框架制作了两个可见光-近红外（VIS-NIR）高光谱图像传感器（HyperspecI-V1和HyperspecI-V2）。HyperspecI-V1和HyperspecI-V2的光谱响应范围分别为400-1000 nm和400-1700 nm，平均光能利用率分别为71.8%和74.8%。在弱光条件下，HyperspecI传感器的性能大大优于马赛克型多光谱相机和扫描式高光谱系统。HyperspecI-V1的平均光谱分辨率为2.65 nm，HyperspecI-V2为8.53 nm。对于高光谱成像，HyperspecI-V1传感器在400-1000 nm范围内可生成61个通道，时空分辨率为2048 x 2048@47fps。HyperspecI-V2传感器可生成96个通道，时空分辨率为1024 x 1024@124fps。

高光谱图像传感器HyperspecI在智慧农业中的应用