索尼讲述首款偏振图像传感器的研发历程
2021-06-03 19:53:08   来源：麦姆斯咨询   评论：0   点击：

据麦姆斯咨询介绍，偏振图像传感器（Polarization Image Sensor），或称为偏光图像传感器，能够将人眼无法察觉的光的偏振特性可视化。这项成像技术不仅为制造业和智能交通提供了一个很有前景的应用潜力，而且还将其优势进一步扩展到医疗、安防等领域。

成像技术并不仅仅在于创建我们可以看到的视觉图像，在索尼半导体解决方案集团（Sony Semiconductor Solutions Group，简称：SSS集团），我们还追求捕捉人眼无法看到的图像，并应对种种成像技术挑战。

偏振图像传感器可以检测偏振光——这是我们肉眼看不见的光波振动方向，轻松实现了传统方法难以做到的任务，例如物体形状识别、反射清除、变形及划痕检测。索尼（Sony）研发团队怀揣着伟大的想法在这项传感技术研究中努力工作。他们钻研了这个“深邃”的偏振领域，全球首创了半导体芯片和偏振滤光片的制造工艺融合，实现了工业级偏振图像传感器的量产。这为制造业、智能交通系统（ITS）、医疗、安防，以及科学研究等领域的发展提供了巨大潜力。近期，该研发团队的4位成员讲述了他们如何开发这种偏振传感技术，揭示了偏振光带来的未来可能性。

本次4位索尼讲述人

捕捉人眼不可见的偏振光使我们能够显著提高制造业的检测精度

问：什么是偏振和偏振图像传感器？

Yamagishi：光具有波动性，可以用振幅（亮度）、波长（颜色）、波的传播方向、波的振动方向（偏振）等参数来描述。

光的各种特性

简单地说，我们人类眼镜只能感知光的部分参数，例如光的亮度、颜色和传播方向，但光波的振动方向——偏振，人眼无法直接感知。

偏振图像传感器能够捕捉光波的振动方向，可用于检测光照射到物体表面时振动方向的变化，进而实现物体形状识别、消除水或玻璃表面上的干扰反射光以看清另一侧的物体。

问：偏振图像传感器的用途有哪些？

Kato：目前，制造业和智能交通系统已经进行评估并导入偏振图像传感器。在制造业方面已经有部分应用，例如玻璃或透明塑料产品的变形检查、金属产品的目视检查，以及显微镜等。索尼研发的集成4向（0°、45°、90°和135°）偏振滤光片的图像传感器逐步将应用范围扩展到新的领域，例如在制造业中，传统的黑色物体检查是使用肉眼完成的，这产生很高的检查失败率，而使用偏振图像传感器可以实现检测的自动化。又如，在以前需要旋转偏振滤光片并拍摄多张照片以识别缺陷部件的地方，偏振图像传感器可以一次完成任务。针对智能交通系统，偏振图像传感器在去除车辆挡风玻璃上的反射光方面具有价值。此外，越来越多的行业对偏振图像传感器表现出兴趣，例如医疗、科学研究、安防、移动设备等。

3个摄像头系统成像比较：采用偏振图像传感器的摄像头系统消除反射光，改善人脸识别

问：图像传感器和偏振滤光片必须解决哪些困难？

Kato：工业传感应用所需要的不是人眼觉得美丽的影像，而是定量数据，从而可以判断产品成色、有无附着物或划痕等异物、物体识别等。传感技术依赖于对比度的变化。传统的图像传感器识别的是亮度和颜色的对比度变化。对于偏振图像传感器，还有一个附加参数，即偏振光的对比度。这有助于实现更准确的检测。传统方法使用偏振滤光片获得偏振信息，需要拍摄多次，每次旋转物体或偏振滤光片。由于需要使用机械装置来旋转偏振滤光片，因此成为一个耗时的过程，这使得将偏振应用于生产线的检查并不实际。索尼的偏振图像传感器集成了4向偏振滤光片，可实现一次拍摄即可获得偏振图像。这意味着可以实时获取偏振信息。

索尼偏振图像传感器的组成架构

在研发过程中遇到超出想象的困难，团队的创造力和问题解决能力是前进的动力

问：这是一个没有先例的偏振图像传感器研发项目，你们的理念是什么？

Yamazaki：由于我们研发的产品是市面上没有的，具备世界首创微纳结构的偏振图像传感器。因此，很多方面都是全新的体验。

例如，我们必须弄清楚图像传感器需要什么样的偏振元件，应该测量什么才能获得所需的偏振信息，以及我们应该达到什么样的精度水平。在偏振数据处理方面，我们与索尼研发部门的偏振算法开发团队密切合作，通过文献调查和反复的偏振模拟，以及对反射光去除和物体形状识别处理数据的现场测试，才最终确定了这款偏振图像传感器的特性。

另外，偏振图像传感器有一项固有特性，那就是消光比。它是指示偏振测量准确度的参数。消光比越高，精度就越高。但是，它与透光率（灵敏度）成反比。我们希望尽可能地提高消光比，但又不想降低透光率。这是两种相反的特性，但是由于我们的努力，最终达到了目标设定的消光比，同时兼顾了透光率。

Kato：关于结构，下图展示了偏振图像传感器的截面图。这张图中条纹的位置就是偏振滤光片的部分，它是一种将金属加工成线性狭缝的光栅（超薄金属板等间距排成阵列）。

索尼偏振图像传感器的截面图

问：你们如何克服消光比和透光率的权衡关系问题？

Yamazaki：最初，我们从工艺稳定性和可靠性的角度出发，采用氧化膜填充偏振滤光片的超薄金属板间隙，但结果证明这种方法无法解决消光比和透光率的权衡关系。理论上，只要使偏振滤光片的宽度和间隙远远小于光的波长（即要求更细的光栅和更窄的间隙），就能提高消光比和透光率的特性，但在金属加工技术上存在限制。另外，我们注意到因为通过氧化膜时，光的波长变短，如果使用以氧化膜填充偏振滤光片的结构间隙，则需要进一步缩小偏振滤光片的宽度和间隙。

然后，我们想到了把偏振滤光片的间隙变成空气层的气隙结构。这种创新的结构解决了消光比和透光率的权衡关系问题。一个关键问题得到了解决，但还有一系列其他挑战等待着我们。例如，需要确立气隙结构的稳定性和可靠性，利用纳米级加工实现偏振滤光片的多层结构，并将这种极小的结构集成在图像传感器的不平坦表面上。

Osawa：在量产方面，需要保证这种微纳结构达到一定的质量水平。如果以500万像素图像传感器为例，则必须为500万个像素都实施这种微纳加工并确保均一的品质。保持高质量和成品率是一项非常具有挑战性的任务，但是同时，这也是一直以来索尼备受客户好评的重要原因。因此，就像我们的其它图像传感器一样，我们希望确保偏振图像传感器也具有出色的质量。

问：作为全球首创的偏振图像传感器，在产品评价标准上难度有多大？

Yamagishi：我所在的团队负责建立偏振图像传感器的评估方法。一般情况下，光源产生的光只要不通过偏振滤光片，就会被认为是非偏振光。因此，我一开始认为只要在常规图像传感器的评价光源里安装上偏振滤光片和转动结构，就能简单地开发出偏振图像传感器的评价测试环境。但实际实验后发现，偏振图像传感器像素输出结果与设想的完全不同，测试开发非常不顺利。然后我们对光源本身进行了细致的调查，发现该光源的偏光状态就不是均匀的，其发出的光有很少一部分就存在偏振性。

市场上销售的光源在光强、均匀性等方面有相应的规格参数，但没有提供偏振特性，因此厂商自然也不会保证偏振品质。即使是相同产品型号的光源，因为没有明确规格，个体间的偏振状态也是存在差异的（有偏差）。这些问题造成我们不仅得研究偏振图像传感器本身的偏振问题，还必须了解光源的偏振状态。此外，我们在评价中还发现经判断没有问题而实际被用于评价的光源，其偏振状态会随着时间的推移而发生改变。因此在评估测试过程中，我们为此提出了一系列的应对措施。

同样地，偏振滤光片在购买后首先需要进行测试和验证。如果它们没有达到预期的水平，我们需要采购更多种的偏振滤光片并重复最初的过程，这使我们的困难远远超过最初的预期。

偏振滤光片效果演示

Osawa：虽然设计和制造过程很重要，但还有一个同样重要的因素，那就是对批量生产的晶圆进行装运前检查，以确保产品质量。这是我和Yamagishi密切合作的方面，我们利用研究部门在原型制作中开发的专业知识和技术经验，在索尼半导体制造公司（Sony Semiconductor Manufacturing Corporation）熊本技术中心的工程师帮助下，改进检查工序，不断积累检查数据，最终确立了索尼偏振图像传感器的高品质检测手段。

话虽这么说，但它并不像听起来那么简单。我们经常会遇到没有按预期得到测试结果的情况。每次发生这种情况时，我们都会分析评估环境、传感器属性等因素，以确定失败的原因。

索尼在普通CMOS图像传感器方面拥有丰富的数据和专业知识，但在偏振特性方面几乎没有积累，传统方法往往以失败告终。从头开始创造新的事物是一场巨大的斗争。

幸运的是，我们有元器件、设备、光学等方面的专家，他们能够快速正确地进行改进，在将高质量的偏振图像传感器推向市场方面做出了无价的贡献。

偏振图像传感器市场仍处于早期阶段，市场和应用面临考验

问：偏振图像传感器可以提供哪些应用解决方案？

Kato：在制造业方面，由于黑色物体和透明体对比度很低，普通相机难以捕捉和检测，因此过去都是以人眼目视或抽样方式进行检查。

索尼的偏振图像传感器使上述类型的检查自动化成为可能，并且还降低了误识别的机率。此外，它还解决了必须旋转偏振滤光片的耗时、逐点识别缺陷等问题。如果采用偏振图像传感器，能够实现“一拍即测”，获得视场内清晰的全貌。这将有助于减少检查所需的时间和人力。

其它使用偏振图像传感器的应用解决方案还包括反射光去除、3D识别、材料识别、透明材料的失真检测等。

偏振图像传感器的应用范围非常广泛，不能简单地用几句话来描述。索尼网站上提供更多信息，包括视频和白皮书等资料。

目前，很多机器视觉相机已经搭载了我们的偏振图像传感器，并开始在市场上销售了，欢迎感兴趣的朋友试用和评价。

螺丝钉成像对比：普通的图像传感器 vs. 偏振图像传感器

问：偏振图像传感器的未来应用趋势如何？

Kato：若要获取偏振信息，光源的控制很重要。我们预计将先从能控制光源的工厂开始导入偏振图像传感器。

对于制造业而言，偏振图像传感器有望在检查中得到更多应用。潜在地，偏振图像传感器可以对以前无法自动化或使用普通图像传感器无法完成的此类检查做出重大贡献。

另外在智能交通系统方面，偏振图像传感器可以提供的应用解决方案是为去除车窗上的反射光。传统的偏振滤光片对于消除某些车型的反射是无效的。我听说有一些智能交通系统项目由于这个问题而没法实现。我希望索尼的偏振图像传感器能够在这种情况下取得突破。

问：如果偏振图像传感器与人工智能（AI）相结合，未来会发生什么？

Yamagishi：对于人工智能而言，有更多的数据作为判断依据总是有利的。从这个意义上来说，增加“偏振”这个维度的信息是非常有帮助的。而且，在反射光产生干扰的场景中，偏振传感技术可以过滤掉不需要的信息，这是一个强大的优势。通过偏振图像传感器去除不需要的信息，可以大幅提高人工智能的判断精度。因此，偏振图像传感器与人工智能结合，无论是出于增加信息的目的，还是便于筛选的目的，都非常适合。

类似地，将偏振图像传感器与其它类型的传感器结合，可能有助于进一步提高检测的准确性，例如通过多光谱传感技术检测肉类的新鲜度时，人工智能可以利用波长和偏振信息来做出判断，大大提升检测精度。

Kato：我也认同偏振图像传感器和人工智能是非常好的搭配。因为这样能获取更多光的信息，原理上可以提升识别精度。

我们曾利用多种传感器+深度学习技术比较人、车辆、透明瓶等物体的识别率，发现在测试环境中，无论什么情况下，都是偏振图像传感器的识别率更高。

为了将偏振图像传感器和人工智能结合并应用在实际场景中，除了需要图像数据处理的知识外，还必须对“偏振”有一定程度的理解。这使得技术难度或许提高，但正因如此，也是一个充满商机的崭新领域。

树荫下的汽车成像对比：普通的图像传感器 vs. 偏振图像传感器

研发和量产并不是终点，我们将满足不同客户的需求，拓展偏振传感技术潜力

问：今后，你们还将应对哪些挑战？

Yamazaki：偏光图像传感器有其独有的优点，但目前还有一些缺陷，例如偏振图像传感器因为集成了偏振滤光片而导致感光灵敏度和图像分辨率受损。所以，我们今后想开发一种感光灵敏度和图像分辨率不会下降的偏振图像传感器，从而拓宽该传感器的应用范围。

从结构上来说，各种规格的图像传感器上都可以集成偏振滤光片。随着未来对偏振传感技术需求的增长，对偏振图像传感器的需求将会多样化。因此，我们会尝试开发高品质的测试环境和光源技术，确保产品的高质量。

Osawa：最近，我与客户交流的机会越来越多，由此也倾听到客户面临的各种挑战。凭借索尼强大的传感器系列产品，包括偏振图像传感器，我们希望能够帮助客户实现最佳的应用解决方案。如果在寻找解决方案时遇到难题，我们会以此为契机开发新的技术，为一个更加美好的世界而做出贡献。

Kato：我相信随着传感技术的不断发展，将使得机器代替人类完成各项任务，从而将人类从单纯的作业任务中解放出来。这将帮助我们拥有更多时间来丰富生活。但是，像这种复杂的偏振传感技术，如果很难导入实际生活和生产中，那么技术的价值就大打折扣了。因此，我认为必须关注并创建让客户顺畅使用这些技术的环境。技术被实际使用之后才体现价值。因此，我们会努力推动新技术的实用化。