3D视觉主要技术路径 3D结构光技术原理

  复原获取三维立体成像，不会轻易受到外界环境、复杂光线D成像技术相比更稳定，体验感更强，安全性更高。

  3D传感器作为3D视觉的眼睛，通过多个摄像头与深度传感器的组合能轻松的获得物体三维位置及尺寸等数据，实现三维信息采集。目前3D视觉传感器主要有双目相机、结构光相机及TOF（Time of flight）相机。

  ·3D结构光技术原理：采用红外光源，发射出来的光经过一定的编码投影在物体上， 这些图案经物体表面反射回来时，随着物体距离的不同会发生不同的形变。图像传感器将形变后的图案拍下来，基于三角定位法，通过计算拍下来的图案里的每个像素的变形量，来得到对应的视差，从而进一步测算深度值。

  ·TOF工作原理：采用红外光源发射高频光脉冲到物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离。TOF目前市场上有两种主流方案 dTof和iTof。行业的人表示，未来，dtof会逐渐取代itof方案，因为dtof在很多关键性能方面对于itof都有非常大的优势，如分辨率，精度对距离感知不明显，超低功耗，抗干扰能力强，标定方式简单。但其技术壁垒较高，系统集成度高，供应链资源少。

  ·双目立体视觉技术原理：通过从两个视点观察同一物体，从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中，一般会用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。

  随着视觉技术逐步从2D向3D过渡，3D视觉传感器以深度感知能力，在三维空间实时感应、目标物体精准识别、多重障碍检测避障、

  决策及自动化引导等方面占据领先技术优势，目前已大批量应用在物流电商、自动化、制造业厂内物流、工业及服务机器人、商业等多元化场景，应用边界不断拓宽。 在移动机器人领域，3D视觉大多数都用在导航、避障以及末端物料识别、对接。 准确感知复杂环境是移动机器人的第一个任务。“环境”在这里包含多重含义，以无人叉车叉取托盘为例，既包含室内外不同光照强度的干扰、前方是否有障碍、行进路面是否空阔平坦，也包含环境有什么类型的物体、是否有人误入需要减慢或暂停、前方托盘是空载还是满载、满载托盘的插孔位在哪里、又如何规划叉取路线等。 简化逻辑就是，基于视觉感知的移动机器人准确识别周围环境，要避开动静态障碍物（避障），动态接近至到达目标物体（导航），并与目标物体正确交互（目标探测、定位识别）。·导航在导航方面，视觉导航被认为是未来的主要方向之一。从技术的角度而言，当前应用较多的2D激光导航，只能检测到固定平面的障碍物，对于高于或低于此平面物体都是其盲区，3D视觉技术则可以克服此缺点，可以获取现实三维场景完整的几何信息，利用带有深度信息的图像来实现对于场景的精准的数字化，以此来实现高精度的识别、定位、重建、场景理解等

  的关键功能。 专注于视觉导航移动机器人开发的蓝芯科技表示，3D视觉SLAM无人叉车在多变场景、空旷环境中的应用优势大于2D激光SLAM机器人。“例如在地堆型仓库，地堆货物随时都在变动，对采取了激光SLAM方案的移动机器人而言，频繁的进出库、位置的时刻变化，意味着激光雷达扫描的轮廓时刻在变，要在一直在变化的环境中做到可靠定位是十分困难的事情。在大型空旷车间场景，车间内部钢结构立柱间距较大，地面缺少其他固定参照物。激光SLAM机器人在这类场景下扫描的点云稀疏，定位的可靠性大大减弱。而视觉SLAM机器人通过搭载深度相机采集周围环境图像，采集的环境信息丰富，生成稠密点云图，环境局部改变不影响机器人定位，因而拥有较高的场景适应性。”   除性能外，从成本的角度来看，当前激光传感器的价格要远高于3D深度相机，视觉技术的应用正好契合了移动机器人厂商降成本的需求。·避障市面上避障传感器种类非常之多，如：单线激光雷达、超声波、碰撞条等。碰撞条通常作为最后一道暴力防撞措施；超声波避障常常会出现误判；单线激光雷达存在比较大盲区（只扫描二维平面内的障碍物，低于或高于激光的障碍物无法检测，存在比较大安全风险隐患）；3D视觉传感器可弥补激光这一缺陷。目前移动机器人最佳避障方案应是3D视觉传感器＋激光雷达，——3D视觉传感器作为中短距离精确避障，激光雷达作为远距离二维避障。因为TOF基本不存在盲区，所以目前用于AGV避障的3D视觉相机基本是TOF型的。

  ·末端识别、对接一些仓库货物放置环境复杂，人工/货车放置托盘的位置不够精确，导致无人叉车依靠传统的

  限位或者单目相机识别的方式无法准确识别托盘，常常出现无人叉车对接托盘位置偏移角度较大，进而导致进叉失败，叉车工作效率低下。 依靠3D 视觉进行托盘图像采集，结合相应图像处理算法对叉车货物托盘进行识别，并得到其位置与姿态坐标，智能调整进叉方向以此来实现无人化智能托盘搬运，解决无人叉车对接托盘位置偏移角度较大的问题。同时，结合AI算法对托盘识别模型进行强化训练和深度学习，能更加进一步提升其识别叉车货物托盘与跟踪的准确性。

  导航、避障、末端识别对接……尽管都要使用到3D视觉技术，但由于各自的需求特性不同，对技术方面的要求也会有一些差异。

  相关负责这个的人说；“从细节上讲，导航应用，最重要的是测距精度和帧率，避障应用，最重要的是FoV尺寸和帧率；末端识别应用，最重要的则是高测距精度和点云密度。” 近几年，伴随着移动机器人对3D视觉技术需求的上升，针对不同应用的不一样的需求，为越来越好的适应场景，3D视觉厂商门也针对性的推出了相应产品。 作为工业自动化领域电子传感器的领先制造商之一。易福门3D ToF相机自2017年开始在移动机器人行业逐渐渗透，随后不断深入，目前已与国内众多移动机器人厂商达成合作，被大范围的应用于各大国内外机器人公司的AMR上，包括各种无人叉车，各种潜伏式、重载式AGV等。不论是室内还是室外用，避障导航还是末端识别对接，易福门都可提供非常完善的3D感知方案。图漾科技

  是全球领先的3D机器视觉供应商，为工业和行业应用提供高性价比的3D工业相机和配套软件方案。图漾科技基于创新并拥有核心专利的3D视觉技术，基于双目散斑静态结构光和TOF技术平台，现已推出FM/FS、FM-IX、PM/PS、TM/TL等四个产品系列、共30多个产品型号的量产产品矩阵，在移动机器人领域，图漾主要提供3D ToF工业相机TM461-E2、TL460-S1-E1(内置AI边缘算力)等产品。而除了传感器厂商外，自主开发视觉传感器的移动机器人厂商，通过实际应用不断打磨迭代产品的移动机器人厂商，也开始将其视觉传感器推向市场，如蓝芯科技。2022年，蓝芯科技开始将视觉产品部分独立出来支持和赋能部分移动机器人公司。

  ，采用940nm光源，可全天候工作，包括可以直接在阳光照射条件下使用，这帧率较高，可以一直工作在20 FPS，让视觉里程计更加准确，回环检测更容易，可大幅度提高局部场景的导航和定位能力。

  ，采用了940nm光源，可全天候工作，并且强化了FoV的角度，达到了105°*78°，是市面上FoV最大的3D ToF相机。两台O3R225可得到超过180°的3D视野，4台O3R225可达到360°的3D视野，同时还可持续工作在20FPS。

  ，这两款产品可提供非常高精度的点云，同时点云密度比较高，适合托盘或者货物的位置和角度检测定位。

  TM461-E2，0.1-10.0m测距范围，深度视场角65°H * 50°V，在96.4 mm x 67.5 mm x 35.8 mm的紧凑体积内，集成了2K RGB分辨率+ VGA 深度分辨率的2路摄像头及边缘计算等功能，可以在一定程度上完成实时精确的动态目标检测及视觉导航避障功能。

  TL460-S1-E1，基于索尼背照式ToF传感器IMX556，毫米级测量精度，深度视场角62°H * 49°V，支持远距离和室内外应用（室内9.5m，室外4m），内置地平线TOPS的本地AI算力，可实现高达30帧/秒的RGB-D图像采集分析、实时图像处理和

  FOV109°×92°，抗环境光能力强，达150kLux，可提供避障SDK，支持移动机器人对悬空/低矮障碍物检测，和动/静态障碍物检测。已在AMR产品中成熟应用。Eagle-S1：FOV 114°×35°，体积小便于安装，带避障区域设置功能，直接输出避障控制信号，使用方法完全兼容2D避障激光雷达，用于无人叉车叉齿避障。Eagle-M4：

  随着移动机器人应用不断深入，要让机器人看见世界、看清世界、看懂世界，市场将对其感知能力提出了更高的要求，而3D视觉技术的发展正好契合了这种需求。

  图漾科技相关负责这个的人说：“视觉传感器技术的发展从早期的单点感应传感器，到2D视觉传感器，一直到现在3D视觉传感器。3D视觉传感器更接近于人眼的传感原理，使得3D视觉

  ”图漾科技3D TOF 智能工业相机TM461-E2易福门方面也提到，近几年，3D视觉技术的发展让移动机器人装上眼睛，后期它对眼睛的需求会慢慢的大。 但总的来看，当前3D视觉在移动机器人领域的应用尚在初期阶段。未来，随着移动机器人一直更新迭代，应用环境的愈加多样化，对3D视觉系统也将有着更为严苛的要求，这也将刺激3D视觉系统升级。易福门相关负责这个的人说，随着移动机器人的持续不断的发展，对于3D相机的需求也将不断的提高，如更高的分辨率，更快的帧率，更好的环境适应性等，这些都是未来发展的方向，“我们应该根据机器人厂商的需要，去提供更适配的产品。”

  ，“未来，视觉感知系统一定是往信息更加稠密、以及多样化角度进行融合，因为只有拉升了信息量，后端才能谈智能化、柔性化，才能做分析，才能更安全更稳定。感知系统一定是一个从前到后的过程，先有足够信息捕获量，再谈信息处理，我们从过往的项目经验中得到了很深的体会。从这个维度来看趋势，感知的颗粒度只会不断细化。”编辑：黄飞

  。这些传感器能同时捕捉场景的多个视角，并通过计算距离和形状来创建三维模型。这种

  本质上是数字化的。零件或产品最初是使用计算机辅助设计 (CAD) 软件设计或从数字零件库获

  可以大范围的应用于工业制造、自动化生产、医疗、军事等领域，具有高效、准确、稳定等优点。本文将从

  场景。再比如说对航拍数据来进行点云分割和点云数据的语义理解，帮助快速低成本获取城市

  扫描的应用包括生物识别、安防、工业检查、质量控制、医疗、牙科和原型设计。

  广泛应用到人脸识别、智能机器人、无人驾驶、ARVR等领域；比如，OPPO、华为和苹果等公司推出的

  广泛应用到人脸识别、智能机器人、无人驾驶、ARVR等领域；比如，OPPO、华为和苹果等公司推出的

  人脸解锁具有无感的体验优势，可以解放双手，备受消费者青睐。目前市场上的

  摄像头采集视野空间内每个点位的三维座标信息，通过算法复原获取三维立体成像，不会轻易受到外界环境、复杂光线

  必将成为趋势。2017年，苹果在收购PrimeSense四年后，就迅速地将

  上周中兴通讯终端事业部总裁倪飞预告，中兴将在上海MWC上展示全球首个屏下

  ，以及ToF（Time of Flighgt，飞行时间）。其中，ToF

  之一，赋能安防从“看清”变“看懂”，带来更加广阔的智能化应用空间。而奥比中

  换装等功能。 但实际上，正式对外发布的iPhone X并没有通过深度摄像头实现AR功能，甚至与深度相关的功能比如面部识别和 Animoji也仅限于前置摄像头。 这一切的根源不难理解，皆因iPhone X所搭载的

  的热潮。在国内市场上，OPPO在今年6月19日发布了OPPO Find X，同时搭载

  推出了名为“Face ID”的新功能用于日常解锁和 Apple Pay。但彼时推出的一众量产全面屏安卓手机仅只是在外貌上模仿了苹果的刘海设计，iPhone X “刘海屏”背后线D

  。TI提供多样化的DLP芯片组合，可在个人电子科技类产品中使用的小型、集成扫描引擎，以及工业检测系统中使用的大型高分辨率图案发生器。

  的手机OPPO Find X体验太给力，OPPO Find X采用了高端旗舰产品上才能见到的

  ，通过在人脸建立15000个识别点，带来远比指纹更安全的解锁和支付体验。基于

  ToF，运用到vivo新品中，并量产商用。是不是又一次被蓝厂惊掉了下巴。

  应用于手机的重要场景。随着安卓阵营的加入，打破了ios系统的封闭生态，相信未来会有更多基于

  区别是，一个输出二维的纸张，一个输出三维的水杯。 具体怎么一个原理工作的，又有很多东西可以展开来讲。有研究员开发了一种创建三维网格

  门槛，绝对会给我们的世界带来非常大的变革。与此对应的，城市也将会迎来新的发展机遇和变化。