Oculi利用感存算一体化技术打造全球首款“软件定义视觉传感器”
2021-12-16 14:29:50 来源：麦姆斯咨询 评论：0 点击：
Oculi希望通过为图像传感器每个像素增加存储和计算能力，使机器视觉变得更像人类视觉。目前，Oculi正在开发消费级增强现实和虚拟现实系统应用的手势识别和眼球跟踪产品，其他目标应用还包括智慧城市基础设施，以及面向未来的汽车视觉传感。
据麦姆斯咨询报道，一家从约翰霍普金斯大学（Johns Hopkins University）独立出来运营的初创公司Oculi，希望通过为图像传感器每个像素增加存储和计算能力（感存算一体化），使机器视觉变得更像人类视觉。目前，Oculi正在开发消费级增强现实/虚拟现实（AR/VR）系统应用的手势识别和眼球跟踪产品，其他目标应用还包括智慧城市基础设施，以及面向未来的汽车视觉传感。
据Oculi首席执行官（CEO）Charbel Rizk称，除了当前热议的基于事件的视觉感知框架，其他方面还有很大的创新空间。
Rizk说道：“当前，在机器视觉领域遇到的问题是，我们所使用的传感器和处理器是为不同应用目的而开发的，现在直接把它们放在一起，然后希望努力在下游投入足够的处理能力来解决问题。但事实并非如此，因为问题实际上始于图像传感器层面。机器视觉可不是为了输出漂亮的图片。真正应该关注的是效率，我们如何以更高效的方式获取信息？”
像素级集成存储和计算功能
Oculi开发的传感和处理单元（Sensing and Processing Unit, SPU）芯片，基于像素级集成的存储和计算功能，类似于人眼的工作方式。每个Oculi像素都包括了传感和数字处理功能（逻辑单元和小存储单元），使传感器像素足够智能，能够在检测到感兴趣的内容时提供信息。当然，如果应用需要，仍然能够提供全帧图像输出。用户可以选择不同的输出模式，通过软件优化隐私、延迟和功耗。Rizk补充称，对于大多数应用，SPU的功耗为毫瓦级。
Oculi采用专有IntelliPixel®技术的SPU™，通过在像素中集成传感+预处理能力，提供实时视觉智能（Vision Intelligence, VI）
与现有基于事件的动态视觉传感器类似，Oculi的传感器可以输出检测变化像素数据的“事件”。但Rizk认为，这种事件输出缺乏模拟人类视觉所需的效率。
“有时候，我们需要捕捉的不只是事件变化，而是需要捕捉场景中的某些内容。”Rizk表示，“现在的事件传感器在这种情况下就无法提供任何信息。这时我们确实需要完整的全帧输出。因此，我们开发了自己的架构，可以通过软件获取所有这些输出。”
Oculi的SPU在像素级结合了视觉感知、处理和存储功能
由于每个像素都能够进行一些基本计算，因此算法可以在SPU上实现，而无需外部处理。除了全帧图像和事件输出，Oculi的SPU还支持两种额外的输出形式。
1、智能事件
一种输出是“智能事件”，与全帧图像相比，智能事件使用的带宽不到10%，但也包含了应用所需要的足够信息。智能事件也可以基于颜色或深度传感（使用两个SPU进行高速立体视觉）。关键是，与传统基于事件的视觉感知相比，智能事件大大降低了信号噪声。凭借每个像素中的存储能力，可以在多个帧上评估一致性，以帮助消除噪声。与纯粹基于帧的视觉相比，显著降低了带宽。
Oculi的SPU在芝加哥成功地进行了现场测试，为过路费电子计费系统计算过往的车辆。此外，该测试还利用智能事件估算了速度。
Oculi的SPU提供的输出，从左至右分别为：全帧图像、事件图像、智能事件图像以及可操作数据（上方为车轴计数，下方为“向右滑动”的手势）
2、可操作信息
另一种输出是“可操作信息”，通过利用模式识别技术在SPU上处理智能事件，进一步减少了带宽。因为，对于某些应用，并不需要进一步的视觉处理。
例如，作为智慧城市基础设施现场测试的一部分，Oculi应客户要求对其硬件进行了重新编程，以用作山洪暴发警报系统。其传感器经过校准，可以对相机前的雨滴进行计数，从而估算降水量（通过确定雨滴的大小和运动来实现）。并且，降水量的估算完全在SPU上完成。
手势识别、汽车环境感知
基于Rizk的学术工作，以及测试芯片的数次迭代，Oculi于2019年从Johns Hopkins University独立出来运营。这家初创公司正在进行种子轮融资，并正与潜在的代工合作伙伴洽谈合作。
虽然这项技术最初专注于军事应用（早期展示了枪口闪光检测），但Oculi现在正在寻求消费类和汽车领域的应用市场。目前，该公司的目标是消费级AR/VR系统中的手势识别和眼球跟踪。AR/VR供应商希望能够去除遥控手柄，节省头戴设备的电池电量。Oculi还在与汽车制造商就未来的高级驾驶辅助系统（ADAS）/自动驾驶汽车（AV）机遇展开合作。此外，智慧城市基础设施、人脸识别和人员检测也在探索之中。
Oculi视觉智能（Vision Intelligence, VI）平台
Oculi的产品路线图包括具有不同级别片上处理能力的产品系列。未来的器件可能会在芯片上增加人工智能（AI）功能。演示开发板上的工程样品（单目、双目/立体视觉SPU）和软件开发工具套件，现在已经可以提供。
延伸阅读：