快照高光谱成像：超构光学+小数据凸优化和深度学习理论
2023-11-26 21:29:38 来源：麦姆斯咨询 评论：0 点击：
通过将超构光学（meta-optics）与小数据凸优化 深度学习（CODE）理论相结合，该论文报道了一种紧凑型快照高光谱成像仪。
高光谱成像对于材料识别至关重要，但传统系统体积庞大，阻碍了紧凑型系统的发展。虽然先前的超构表面（metasurfaces）解决了体积问题，但复杂的制造工艺和巨大的占位面积仍然限制了它们的应用。
据麦姆斯咨询报道，近日，国立成功大学（National Cheng Kung University）的研究团队在Nature Communications期刊上发表了题为“Metasurface-empowered snapshot hyperspectral imaging with convex/deep (CODE) small-data learning theory”的论文。通过将超构光学（meta-optics）与小数据凸优化/深度学习（CODE）理论相结合，该论文报道了一种紧凑型快照高光谱成像仪。该高光谱成像仪仅包含一个在可见光窗口（500 - 650 nm）工作的多波长超构表面芯片，显著减小了设备尺寸。为了展示所提出的高光谱成像仪的高性能，研究人员使用4波段多光谱成像数据集作为输入。通过CODE驱动的成像系统，仅使用18个训练数据点即可高效生成高保真度的18波段高光谱数据立方体。多共振（multi-resonant）超构表面与小数据学习理论的完美结合有望为基础科学研究和实际应用提供紧凑型的先进仪器。
利用平面超构光学和小数据学习理论计算成像的优势，研究人员提出并在实验中演示了一种紧凑型快照高光谱成像仪（见图1）。这种先进的超构表面驱动的高光谱成像仪是由专门设计的由多共振等离子体超构原子（meta-atoms）构建的多波长离轴聚焦超构反射镜（MOFM）实现的。在可见光窗口工作时，MOFM能够在一次测量中获取4幅图像的多光谱数据集。
图1 超构表面赋能高光谱成像的原理示意图
该研究不使用滤波器构建彩色物体多光谱图像的主要思想，是利用多共振超构原子作为超构表面构建单元。研究人员将铝（Al）纳米棒与专门设计的分布式布拉格反射器（DBR）相结合，以实现多共振超构原子。为了在空间上将彩色图像分离成多个波长通道，研究人员通过引入具有横向色差的多共振超构原子来设计MOFM。多共振超构原子和MOFM的设计如图2所示。
图2 多共振超构原子和离轴聚焦超构反射镜的设计
接下来，研究人员制造了MOFM并通过实验表征其光学功能，如图3所示。
图3 多波长离轴聚焦超构反射镜（MOFM）的聚焦和成像演示
为了从多光谱图像中获得高质量的高光谱数据立方体，研究人员开发了一种创新的机器学习理论。提出的成像技术应用了CODE学习理论，该理论最初是为基于小数据学习（SMDL）的高光谱卫星数据恢复（数据稀少且昂贵）而开发的，通过巧妙地结合凸优化（convex optimization）和深度学习的优势以实现光谱超分辨率，从而在计算上获得清晰的高光谱图像。
图4 CODE小数据学习与成像理论的流程示意图
研究人员通过实验演示了使用单个超构表面芯片的快照高光谱成像，结果如图5所示。
图5 快照高光谱成像
为了定量分析基于MOFM的高光谱成像仪的成像性能，研究人员计算了逐像素均方误差（MSE）损失，该数据被广泛用于比较真实图像（地面实况）和生成图像中各个像素的MSE，如图6a所示。图6b、6c分别为两个高光谱成像数据立方体的均方根误差（RMSE）和光谱角映射（SAM）。以上这些结果表明，所提出的方法在现实世界的实时成像中具有很大的潜力。
图6 高光谱成像数据立方体的保真度
综上所述，这项研究提出并通过实验演示了一种基于MOFM的超构表面赋能的快照高光谱系统，该系统与创新的CODE小数据学习理论相结合。以4波段图像的小数据集作为输入，该系统可以生成由18波段高保真彩色图像组成的像差校正高光谱数据立方体。初始的4波段多光谱图像是使用单颗超构表面芯片获取的，显著减少了高光谱成像仪的占位面积。所开发的高光谱成像仪外形紧凑、设备尺寸小，在先进系统和空间仪器（例如无人机系统和小型卫星）方面具有巨大的潜力。虽然所提出的快照高光谱系统目前仅展示了可见光区域的18波段数据立方体，但值得注意的是，波段数量和光谱范围可以进一步扩展。这归功于所开发的超构原子的多共振特性，其覆盖了从可见光到近红外区域的广泛范围。
论文链接：https://doi.org/10.1038/s41467-023-42381-5
延伸阅读：