导语:受到跳蛛的启发,哈佛大学约翰·保尔森工程与应用科学学院(SEAS)的研究人员开发了一种紧凑而高效的深度传感器。该传感器将多功能,扁平的金属元素与超高效算法结合在一个单镜头里来测量深度。可用于微型机器人、小型可穿戴设备或轻量级的虚拟现实和增强现实头盔。(该研究发表在《美国国家科学院院刊》上)
尽管我们的技术不断进步,但在研发方面,没有什么能打败自然的进化,比如跳蛛。尽管它们的大脑很小,但这种小蛛形纲动物有着令人印象深刻的深度感知能力,这使得它们能够从几倍长于身体长度的距离精确地扑向毫无戒心的目标。
于是,受到跳蛛的启发,哈佛大学约翰·保尔森工程与应用科学学院(SEAS)的研究人员开发了一种紧凑而高效的深度传感器。该传感器将多功能,扁平的金属元素与超高效算法结合在一个单镜头里来测量深度。可用于微型机器人、小型可穿戴设备或轻量级的虚拟现实和增强现实头盔。
下图显示了金属深度传感器实时捕获半透明蜡烛火焰的深度的过程。左边的两个图像是相机传感器捕获的原始图像,这两张图像由金属元素形成,并且模糊程度略有不同。通过这两幅图像,研究人员实时计算出物体的深度,结果如下图右边所示。
图片来源:Qi Guo and Zhujun Shi /哈佛大学
“进化产生了各种各样的光学配置和视觉系统,而这些光学配置和视觉系统是为不同目的量身定制的。而光学设计和纳米技术最终使我们能够探索人造深度传感器和其他视觉系统,这些系统同样具有多样性和有效性。”论文合著者、物理学博士Zhujun Shi 这样表示。
当今许多深度传感器,例如手机、汽车和视频游戏机中的深度传感器,都使用集成光源和多个摄像头来测量距离。例如,智能手机上的人脸识别使用数千个激光点来映射人脸轮廓,这适用于有足够空间放置电池和快速电脑的大型设备,但对于像智能手表或微型机器人这样的功率和计算能力有限的小型设备呢?
明显是不适用的。而事实证明,进化为我们提供了许多选择。
我们知道,人类使用立体视觉来测量深度,这意味着当我们看着一个物体时,我们的两只眼睛中的每只正在收集略有不同的图像。尝试以下操作:将手指直接放在您的脸部前面,然后交替睁开和闭合双眼。看看手指是如何移动的?事实上,我们的大脑获取了这两个图像,并逐个像素地对其进行检查,然后根据像素的移动方式计算到手指的距离。
但是,这种匹配计算,即你获取两幅图像,然后搜索对应的部分,在计算上是很繁琐的。人类有一个很好的、很大的大脑来进行这些计算,但是蜘蛛没有。不过,如今跳蛛已经进化出一种更有效的深度测量系统:跳蛛的每只主眼都有一些分层排列的半透明视网膜,这些视网膜可测量具有不同模糊量的多个图像。
例如,如果一只跳跃的蜘蛛用一只主眼注视着一只果蝇,那么该果蝇在一个视网膜的图像中会显得更清晰,而在另一幅视网膜的图像中则更模糊。正是这种模糊变化编码了果蝇的飞行距离信息。
金属深度传感器可以实时捕捉果蝇的深度
图片来源:Qi Guo and Zhujun Shi /哈佛大学
在机器视觉中,这种距离计算称为离焦深度。但是到目前为止,要复制大自然,就需要配备有内部动力元件的大型摄像头,这些摄像头可以随时间捕获不同焦点的图像。但很明显,这限制了传感器的速度和实际应用。
而金属元素可以解决这一问题。
该论文的研究人员通过实验证明了金属可以同时产生包含不同信息的多个图像,且在此基础上,设计了可以同时产生两个具有不同模糊度的图像的金属材料。该金属为紧凑的深度传感而设计,由亚波长间隔的方形纳米颗粒组成。如下图所示,通过交替使用两种不同的纳米图形(在这里以红色和蓝色显示),该金属同时形成两个图像。这两幅图像模拟了跳蛛眼中分层的视网膜所捕捉到的图像。
为紧凑的深度传感设计的金属
图片来源:Qi Guo and Zhujun Shi /哈佛大学
但不同于跳蛛的是,跳蛛是通过分层的视网膜来捕获多个同时图像的,而金属则可以将光线分开,并在光敏传感器上同时形成两个不同的散焦图像。
而在获取分层图像后,为解决繁琐计算的问题,该研究团队还开发了一种超级高效的算法,来解释这两幅图像,并构建一个深度图来表示物体距离。
Zickler实验室研究人员、该论文合著者,博士QiGuo表示:“能够一起设计超表面和计算算法是非常令人兴奋的,这是创建计算传感器的新方法,它为许多可能性打开了大门。”
金属透镜是一项改变游戏规则的技术,因为他们有能力实现现有的和新的光学功能,比现有的镜片更有效、更快、更少体积和复杂性。光学设计和计算成像技术的突破使我们研制出了这种新型深度相机,它将为科学和技术带来广泛的机遇。