黑河市网站建设公司,网站备案 域名过期,杭州的网站开发,杭州制作网站企业目前市面上主流的3D光学视觉方案有三种#xff1a;
双目立体视觉法#xff08;Stereo Vision#xff0c;在下文称双目法#xff09;#xff0c;结构光法#xff08;Structured Light#xff0c;在下文称结构光#xff09;以及飞行时间法(Time of Flight, ToF在下文称T…目前市面上主流的3D光学视觉方案有三种
双目立体视觉法Stereo Vision在下文称双目法结构光法Structured Light在下文称结构光以及飞行时间法(Time of Flight, ToF在下文称ToF。
目前较为成熟的方案是结构光和ToF。其中结构光最为成熟已经在工业3D视觉中大规模应用。ToF的概念是扎根于深度传感器的。这里的深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布。对于深度传感器来说一般用于测量深度的方案分别有结构光、双目和ToF三种其中结构光iPhone目前的Face ID就是使用了基于结构光的深度传感器和双目技术都是基于几何原理做间接深度估计而ToF则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。 1.1 双目立体视觉法Stereo Vision
双目立体视觉法的技术原理是通过从两个视点观察同一物体从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差视差来获取物体的三维图像比如把一只手指放在鼻尖前方左右眼看到手指会有一个错位的效果这个位置差被称为视差。相机所要拍摄的物体离相机越近视差越大离相机越远视差就越小。由此可以得出当两个相机的位置等条件已知时就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中通常采用两个摄像机作为视觉信号的采集设备通过双输入通道图像采集卡与计算机连接把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换最终向计算机提供图像数据。
双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构并对物体的形状和空间关系进行描述把过去的简单二维图像分析推广到了复杂的三维场景标志着立体视觉技术的诞生。随着研究的深入研究的范围从边缘、角点等特征的提取线条、平面、曲面等几何要素的分析直到对图像明暗、纹理、运动和成像几何等进行分析并建立起各种数据结构和推理规则。特别是在1982年David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系使得立体视觉已成为计算机视觉中一个非常重要的分支。
一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现同时该技术易受环境因素干扰对环境光照强度比较敏感且比较依赖图像本身的特征因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制它过度的依赖于被拍摄物体的表面纹理如果被摄物体表面没有明显的纹理使用双目立体视觉法会无法匹配与之对应的像素的问题。 1.2 结构光法Structured Light
该技术是一种主动双目视觉技术结构光技术的基本原理是通过近红外激光器将具有已知的结构特征比如离散光斑、条纹光、编码结构光等的光线投射到被拍摄物体上再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构再将获取到的信息进行更深入的应用。其工作原理可看作是另一种双目法红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。
结构光在消费电子领域的商用最早可追溯到2009年微软与以色列3D感测公司 PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代2010年11月上市后该产品成为 2011 年销售最快的消费电子设备。尽管产品大获成功但第一代 Kinect 的准确度、图像分辨率和响应速度并不理想。2017年苹果发布iPhone X首次搭载 3D 结构光模组可实现3D人脸识别技术成为苹果近几年最大的创新。此前由于半导体工艺等多方面技术的限制3D 感测很难应用到体积非常有限、功耗要求低的手机上因此iPhone X 的发布是结构光技术的重大突破市场对结构光技术的热情重新点燃。主要结构光方案厂商还有美国的英特尔、高通/Himax以色列 Mantis Vision 以及国内华为、奥比中光等公司。iPhone X 发布后国内小米、华为和 OPPO 也先后发布了首款搭载结构光模组的智能手机其中小米采用的是以色列 Mantis Vision 公司的解决方案华为采用的是自研方案OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了结构光模组。
结构光技术相较于双目技术有一个好处结构光的红外激光器发射出了光可以照亮被扫描物体所以它不需要像双目结构一样依赖于光源而且在较平整没有图案的物体表面也可以测算出物体的三维深度。综上所述结构光相较于双目结构有两个优点1在场景较暗的场景下也可以运作正常2在没有明显纹理的物体上也可以实现深度扫描。 1.3 飞行时间法介绍
ToF是Time of Flight的缩写直译为飞行时间通过给目标连续发送光脉冲然后用传感器接收从物体返回的光通过探测这些发射和接收光脉冲的飞行往返时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差来换算被拍摄景物的距离以产生深度信息此外再结合传统的相机拍摄就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
ToF最早的商用可追溯到 2006 年 7 月衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立并推出商用ToF摄像头产品系列 SwissRanger最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro采用的是pmd/英飞凌的ToF方案该手机可实现一些如三维测量等简易的 AR 应用但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后安卓厂商纷纷加入 ToF 镜头的阵营。此后有越来越多的手机厂商在手机上搭配ToF镜头。
典型ToF测量设置描绘在图中,它包含几个构建块:(a)脉冲/调制光源在ToF中一般使用VCSEL请见下文解释(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d)由一组光探测器像素组成能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口为传感器提供电源、所需的偏置电压/电流信号、数字控制相位并从传感器读取数据流这通常需要进一步的小处理以获得3D体积数据。最后传感器接口负责与外部到PC或处理单元的通信。 ToF 技术具有以下的优点1、软件复杂性低设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快缺点则在于室外受自然光红外线影响大、远距离无法保证精度。
飞行时间测量技术D-ToF
在经典的飞行时间测量中直接飞行时间Direct ToFD-ToF下文称为D-ToF的原理比较直接即直接发射一个光脉冲之后测量反射光脉冲和发射光脉冲之间的时间间隔就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算 其中表示光在空气中传播的速度。D-ToF通常用于单点测距系统但由于像素级亚纳秒电子秒表的实现困难D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPADsingle- photon avalanche diode单光子雪崩二极管是一种高灵敏度的半导体光电检测器其被广泛运用于弱光信号检测领域。结合D-ToF技术可用来精确检测记录光子的时间和空间信息继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂能胜任生产任务的厂家并不多并且集成困难。所以目前研究D-ToF的厂家并不多更多的是在研究和推动I-ToF。
飞行时间测量技术I-ToF
D-ToF的另一种解决方案是所谓的间接ToFIndirect ToFI-ToF下文称为I-ToF而I-ToF的原理则要复杂一些。在I-ToF中发射的并非一个光脉冲而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差通过检测该相位差就能测量出飞行时间从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下不需要精确的秒表而是需要时间选通光子计数器或电荷积分器它们可以在像素级实现只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。 学习文章摘录
【精选】ToF 3D视觉传感技术详解、应用场景和市场前景-CSDN博客
