技术应用

ToF 3D图像传感器正在改变我们参与摄影和混合现实的方式

发布时间:2023-06-13 00:00:00 来源:英飞凌 责任编辑:wenwei

【导读】视频技术的问世掀起了一场席卷全球的视听通信革命。今天,整个世界都非常依赖照片和视频媒体来实现各种目的,包括商业、通信、教育和娱乐。采集和显示视频的机制也突飞猛进。而3D摄像头的采用,使用户可以以前所未有的信息量观察事物。


1683795883596509.jpg


这个过程所不可或缺的一环,就是给数字视频添加深度信息,使其更接近真实。本文探讨了如何使用飞行时间(ToF)传感器实现此目的,以及ToF传感器正在如何改变我们与VR和其他视频技术的交互方式。


ToF 3D图像传感器简介


总的来说,飞行时间(或 ToF)是一种基于光的飞行时间测量物体距离的方法。ToF传感器或摄像头会发射调制红外光束,并测量从不同距离的不同表面接收到的光的相位差。该数据被转换为距离,并为照明场景提供深度。ToF传感器使用逐像素处理,这需要复杂的算法,但由于其广泛的适用性,愈发受到物流、汽车和消费电子领域的亲睐。通过在三个维度上进行扫描,ToF传感器可以创建目标对象的 3D 图像。


ToF传感器工作原理


3D ToF图像传感器的操作非常简单。它根据光子混合器设备(PMD)的原理进行检测。ToF传感器主要分为两类:直接传感器和间接传感器。直接ToF传感器的工作原理是通过发射光、收集反射信号,然后测量信号延迟[图1];接着,用光飞行时间来测量距离,从而实现场景的3D重建。


1683795871227327.png

图1  直接ToF传感器的工作原理(简版)(图源:作者)


间接ToF传感器的工作原理是,不断发射调制信号并分析反射信号,以确定相位差。两个接收器以调制光的频率不断地打开和关闭,其中一个接收器与另一个接收器的操作相位不同。因此,每个接收器都会收到部分反射信号,并根据接收到的光的数量,来确定相位差,如图 2 所示。


1683795857387938.png

图2 两个检测器交替收集感兴趣物体的光(图源:作者)


优势及应用


ToF传感器可以在不影响图像分辨率的情况下,扩大测量范围,并在低成本、可靠和紧凑的封装中提供全部数字细节,这为3D增强型摄影提供了优化解决方案。最新的ToF传感器功耗较低,对移动设备来说,是一个具有吸引力的选择。此外,与结构光发射等技术相比,ToF传感器对精确的机械对准的依赖程度较低。新型ToF传感器允许使用更高的调制频率,因此,显著提高了精度。


Stratview Research的数据显示,从2021到2026年,ToF的年增长率有望达到16.8%(1)。ToF摄像头的应用主要集中在消费电子行业和物流行业的3D成像和扫描。它有望通过以低成本提供丰富的3D视觉效果来彻底革新3D检测和成像。


ToF传感器可以用于辅助面部识别、安全跟踪、库存管理,以及环境和建筑物映射等应用。在现代车辆中,ToF传感器可实现近距离环境映射、辅助泊车以及车内的许多其他功能,例如:驾驶员监控或手势控制。不过,最有趣的应用要数消费电子和混合现实。凭借小巧的外形和较高的能效,ToF传感器可能是唯一一项准备进军消费电子领域的3D成像技术。


案例研究:增强AR/ MR体验


将3D ToF传感器整合到消费电子领域,仍是一个尚未开发的市场,具有颠覆性的意义。Counterpoint Research称,在智能手机中整合ToF摄像头,有望成为未来的主要趋势之一(2)。在最近的一场网络研讨会上,来自TECNO、三星和DXOMARK Image Labs的专家声称,ToF和动态视觉传感器(DVS)等功能可以使手机摄像头的性能胜过数码单反相机(DSLR)(3)。在过去,智能手机和游戏设备将3D ToF摄像头用于高度逼真的增强显示/混合现实(AR/MR)应用。AR/MR应用将现实世界与虚拟元素相融合,为用户带来了更好的商业互动、3D设计和游戏娱乐体验。


尽管AR/MR尚未成为主流,但随着这些技术背后的工具的迅猛发展,AR/MR成为智能手机日常用途的代名词指日可待。


实现MR体验所需的两大要素分别是:智能手机摄像头以及可以检测用户周围环境并将其显示在屏幕上的应用程序。通过这种方式,就可以映射现实世界,然后将虚拟图像放入其中。为实现这一点,智能手机摄像头必须能够对扫描区域提供深度和细节图像。


ToF传感器通过准确映射物体及其周围环境,成为该场景中的主角。MR是大有前途的3D设计辅助技术,例如:室内设计师可以使用自己的手机绘制房间,并进行数字化家具布置。同样,真实世界的物体也可以使用ToF传感器摄像头进行3D映射和数字化处理。市面上已经有了很多这类商用移动应用程序,但却因摄像头而无法实现逼真的映射效果(4)。


ToF将显著增强深度信息,而映射图像又为创新和快速的 3D设计带来了无限可能。混合现实的另一个应用是商业交互,专业人士可以借此展示逼真的场地/项目图像,来加深理解。


MR还被用于创建真实的商业背景,也就是将人们插入一个人的视野中,并将虚拟会议变成真实会议。ToF传感器是这个操作的核心,因为只有3D成像提供的深度信息才能使这种体验更加逼真。最近,由社交网络巨头推出的元宇宙概念就将利用这一精确技术,这将促进对ToF传感器的需求和创新。


游戏是另一个利用AR/MR ToF优势的领域。游戏设备和现在的智能手机正在使用ToF传感器的手势识别功能来实现完全沉浸式的体验。当ToF传感器被集成到移动设备的前置摄像头时,就可以大幅增强面部识别等安全措施。通过在后置摄像头中使用3D技术,ToF传感器有望实现出色的计算摄影和沉浸式VR体验。无需大量后期处理,ToF传感器就可以在图像和视频中有效地渲染背景虚化效果。


在理想的情况下,混合现实要比虚拟现实和增强现实技术先进得多。它对处理能力提出了较为苛刻的要求,需要实时获取高精度3D深度数据。此外,光照条件是实现MR所需的逼真感的一大挑战。不论是房屋和车辆等室内环境,还是光照受天气影响的室外环境,强大的ToF摄像头都必须能够在所有光线条件下捕获准确的深度数据。


在商业交互和日常生活中使用MR技术,对许多人来说似乎为时过早。然而,在新冠疫情期间,整个世界对模糊虚拟世界和现实世界边界的服务需求呈指数级增长,这促使非面对面服务加速发展。因此,我们可以合理地预期,在不远的将来,增强AR/MR技术将成为工作和娱乐所不可或缺的技术。更不用说ToF这类技术,它作为愈发强大的MR性能的支柱性技术,将变得更加重要。


英飞凌ToF传感器


英飞凌与pmdtechnologies合作推出了REAL3™图像传感器系列,pmdtechnologies是一家专注于 ToF 技术的德国公司,在该领域处于领先地位。这系列传感器使用红外光进行飞行时间(ToF)传感,并为每个像素配备一个微透镜,因此,几乎没有光能损失,而且准确性更高。英飞凌第六代REAL3™ 3D ToF传感器特别专注于消费类应用,例如:智能手机应用,特别是基于AR/MR的拍照和摄像。该传感器的功耗比前几代产品低40%,这对于需要长时间开启ToF摄像头的游戏等应用来说非常重要,可以保护电池寿命。考虑到现代智能设备对尺寸的严格限制,ToF传感器的设计占用面积仅为4.4 × 4.8 mm²,与前几代产品相比缩小了35%。


REAL3™图像传感系统的另一个突出特点是,增大了传感范围,可达10 m。调制频率越高,ToF传感器的深度精度就越好,但这会影响传感器的测量范围。因此,REAL3™图像传感器使用两个调制频率,并对收集到的数据进行细致的后期处理,以便在不影响深度质量的情况下,实现相当大的测量范围。这些传感器还配备了pmdtechnologies的背景照明抑制(SBI)技术,可降低像素饱和度,使摄像头能够在各种光照条件下运行。传感器还可以通过 I2C 接口动态地重新配置,以适应新的操作环境。通过将所有这些功能整合到一个成像系统中,看似不可能的应用现在似乎已经成为一个确定的现实。因此,设计师需要留意英飞凌在高精度3D图像传感器方面的最新创新。


参考文献


1.Stratview Research. Time-of-Flight (ToF) Sensor Market | Market Size, Share & Forecast Analysis | 2021-26 [Internet]. 2022 Jul [cited 2022 Jul 31]. 


Available from: https://www.stratviewresearch.com/1731/time-of-flight-(ToF)-sensor-market.html


2.Counterpoint Research. Brighter, steadier, smarter: How smartphone cameras will improve in 2022 [Internet]. BBC Future. [cited 2022 Aug 20]. 


Available from: https://www.bbc.com/storyworks/future/looking-ahead-with-tecno/brighter-steadier-smarter-how-smartphone-cameras-will-improve-in-2022


3.Counterpoint Research. Global Mobile Camera Trends 2022: Innovation Talk [Internet]. Counterpoint Research. 2021 [cited 2022 Aug 20]. 


Available from: https://www.counterpointresearch.com/global-mobile-camera-trends-2022-innovation-talk/


4.Velichko Y. How AR Fills Your Room with Virtual Decor [Internet]. PostIndustria. 2021 [cited 2022 Jul 31]. 


Available from: https://postindustria.com/how-ar-fills-your-room-with-virtual-decor-top-home-virtual-furniture-placement-apps-ar-furniture/



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:


且看超紧凑DC-DC转换器如何解锁Beyond 5G技术!

纳芯微车规传感器解决方案赋能汽车电动化、智能化发展

瑞萨设计标准化如何节省工业传感设备的总成本

有关自动导引车(AGV)的五个关键问题,你都能答对吗?

隔离型驱动芯片下面到底能不能走线


为您推荐

传感器技术在构建实时监控系统中的作用 业界新闻

传感器技术在构建实时监控系统中的作用

在无线传感器技术中,物联网生成的传感器数据通过无线方式传输到网络服务器,工程师可以在其中跟踪参数。远距离无线通信提高了工业 4.0 的成本效率并减少了人力。实时监控系统旨在显示传感器节点周围的快速变化,这需要快速、低延迟的数据传输。如果数据到达云端存在延迟,则违背了通过传感器技术进行实时监控系统的理念。

安防监控 通信广电 传感技术 光电显示 传感器

支持卫星节点互联|Nordic 双芯方案赋能 MATIX Box 工业资产远程监控 业界新闻

支持卫星节点互联|Nordic 双芯方案赋能 MATIX Box 工业资产远程监控

工业现场网络条件差异大,不少偏远、屏蔽场景蜂窝信号不足,给资产在线监测带来阻碍。Azzurro Digitale 推出的 MATIX Box 资产监控终端,选用 Nordic nRF9151 蜂窝模组与 nRF54L15 多协议 SoC 组合方案。nRF9151 支持 LTE-M、NB-IoT 以及 DECT NR + 本地专网,蜂窝信号差时可切换本地组网;内置加速度计采集设备运行、停机数据,提前预警故障。搭配 nRF54L15,可扫描蓝牙信标做室内定位,同时和卫星传感器节点通信,采集温度、压力等环境参数。整机采用锂亚电池供电,低功耗设计支撑最长两年免换电池,加密直连云端,部署简单安全,配套 EAM 平台实现资产运维、预防性维护与供应链追踪。

安防监控 通信广电 互联技术 传感技术 传感器 NORDIC

Teledyne e2v推出Nexora - 新一代背照式全局快门CMOS图像传感器系列 新品速递

Teledyne e2v推出Nexora - 新一代背照式全局快门CMOS图像传感器系列

Teledyne e2v 推出全新 Nexora™ CMOS 图像传感器系列,面向机器视觉等高要求成像场景,兼顾高灵敏度、高速成像与低功耗。该系列提供 12MP、16MP 两种分辨率,分黑白与彩色型号,依托自研背照式像素技术与 3D 堆叠架构,拥有优秀的集光效率,适配智能交通、户外监控等复杂光照环境。传感器搭载 LVDS 接口,封装紧凑,便于相机厂商整机开发,产品将于德国斯图加特 VISION 展会展出,目前可按需申请资料与样品。

安防监控 传感技术 光电显示 传感器

豪威推出 TheiaCel™图像传感器,车外摄像头实现领先 LED 闪烁抑制 业界新闻

豪威推出 TheiaCel™图像传感器,车外摄像头实现领先 LED 闪烁抑制

豪威集团,全球排名前列的先进数字成像、模拟和显示技术等半导体解决方案开发商,当日发布800万像素CMOS汽车图像传感器OX08D30。产品基于TheiaCel™技术打造,面向高级驾驶辅助系统(ADAS)与自动驾驶(AD)车外摄像头应用。OX08D30进一步拓展单次曝光动态范围,有效抑制LED闪烁以及各类时序采样伪影,在复杂光照环境下均可输出高质量图像。该传感器与目前主流ADAS平台广泛使用的OX08D10实现引脚对引脚兼容。

安防监控 汽车电子 传感技术 光电显示 传感器

西门子S7-200 PLC通过以太网桥接器连接研华工控机和触摸屏应用案例 技术应用

西门子S7-200 PLC通过以太网桥接器连接研华工控机和触摸屏应用案例

某中小型制造业工厂现有生产车间采用传统工业控制架构,主控设备为西门子S7-200 PLC,负责统筹生产线20余台伺服电机、传感器及执行器的协同工作。随着工业数字化升级推进,工厂计划引入上位机监控系统及西门子Smart 700 IEV3触摸屏,实现生产参数实时监控、故障报警及工艺调整,但原有系统存在严重通信瓶颈,亟需通过以太网转换设备完成网络升级,兼顾设备利旧与功能扩展,最终选用远创智控PPI-ETH-YC01直通型以太网处理器(以下简称PPI-ETH-YC01模块)作为核心转换设备,实现传统串口设备与以太网设备的无缝对接。

安防监控 通信广电 互联技术 传感技术 传感器

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆