视觉检测领先者
全国咨询热线:13812953225

3D机器视觉主流的四种技术路线

发布时间:2024-02-19 17:05:56 人气: 来源:下载雷火电竞亚洲先驱
案例介绍

  ✓ 预计到2025 年全球3D 视觉感知市场规模达到150 亿美元,年复合增长率(CAGR)达 20%

  1)3D视觉感知技术最早被用于工业领域的测量和扫描。在技术刚刚诞生时,主要被用于工业设施和零部件的三维测量、物体和材料的微小形变测量等。在多家的积极推广下,3D视觉感知技术加快速度进行发展,在过去10 年内初步实现了从工业往领域延申的变革。

  2)3D视觉目前主要有四种技术路线:激光三角测量、结构光、飞行时间(ToF)、多目视觉等是 3D 视觉目前主要的几种技术路线。几种技术路线的不同之处主要在于发射光获取数据的方式不同。

  2)目前,3D视觉技术的主要下业最重要的包含消费电子、汽车(与座舱)、锂电、、OT、等。根据 Yole Devolopement 的预测,未来消费电子类和智能汽车行业是3D视觉市场扩容的重要推动力。

  在技术刚刚诞生时,主要被用于工业设施和零部件的高精度三维测量、物体和材料的微小形变测量等。为了可以适应工业领域严苛的工况,并且满足精确到微米级别的测量精度,3D视觉测量设备通常要多种技术融合使用,比如利用相位结构光以及高精度工业相机组成工业三维测量仪器。这会导致设备成本高、体积大、功耗高,应用普及缓慢。在此阶段,市场上主要的玩家为德国高慕公司(GOM)、瑞典海克斯康(HEXAGON)、美国 公司等。这一些企业的设备主要使用在于测量工业零部件三维尺寸和形变,对工业部件实现高精度3D 数字化作业等。

  激光三角测量、结构光、飞行时间(ToF)、多目视觉等是 3D 视觉目前主要的几种技术路线。几种技术路线的不同之处主要在于发射红外光获取数据的方式不同。

  特点:其精度非常高,可达微米级。但其扫描速度和工作范围有限。尽管如此,它在在线检测中仍得到了广泛应用,尤其是因为其高精度和动态测速性能。

  工作原理:根据投影光束形态的不同,结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。通过被测物体反射回来的光栅与参考光栅之间的几何关系,分析得到每一个被测点之间的高度差和深度。

  特点:计算简单,测量精度较高,对于平坦的、无明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线要求高,造价昂贵。目前,结构光法主要使用在在条件良好的室内。

  特点:与结构光相比,ToF不需要复杂的光模式解析,具有较高的鲁棒性。其深度图质量和精度都较好,但对某些材质,如玻璃,有几率存在挑战。ToF技术较为复杂,成本相对较高。

  工作原理:使用两个或多个RGB 彩色相机获取图像,并通过双目匹配、三角测量等来得到深度信息。

  特点:这是一种被动的3D 测量技术,需求相比来说较低,但计算复杂度高。在弱光或目标特征不明显的情况下,其表现可能不佳。在工业自动化和X86 系统中,双目相机得到了广泛的应用。

  3D 视觉感知技术与经过多年的发展,已在、半导体、AIoT、3C 消费电子、工业自动化、汽车应用等多个领域实现了推广应用,市场空间十分广阔。

  随着下游市场需求的一直增长和3D 视觉感知技术的升级,3D视觉感知市场将迎来快速增长期。随技术的进步,2D成像技术已不能够满足当前日益复杂的应用需求,尤其是在、虚拟现实、增强现实等领域。3D视觉感知技术,凭借其可提供深度信息的特性,为各种应用带来了更丰富的数据维度,从而大幅度的提升了其应用价值。Yole Devolopement 的研究报告报告进一步证实了这一市场趋势。据其统计,2019年,全球 3D 视觉感知市场规模已达 50 亿美元。同时预计在 6 年之内,市场规模将会翻三倍,到2025 年达到 150 亿美元。年复合增长率(CAGR)达 20%,这也代表着 3D 视觉感知技术的应用和普及速度正在加快。

  消费电子类和智能汽车行业是3D 视觉市场扩容的重要推动力。多个方面数据显示,2019 年至 2025 年间,领域的市场规模预期从20.17 亿美元激增至81.65 亿美元,年均复合增长率高达26%。市场规模占比从40%增至 54%。而汽车领域的市场规模则预计从8.54 亿美元增长至36.73 亿美元,年均复合增长率达到28%,市场规模占比从17%增至 25%。这两大应用领域将成为 3D 成像和的主力军,推动其在全世界内的普及和应用。

  锂电池制造:在现代的锂电池生产线上,机器视觉技术已成为了确保产品质量和效率的关键工具。从动力电池的前期制造到后期的封装,机器视觉在每一个关键工序中都发挥着重要的作用。在涂布、辊压等前端工序中,锂电池可能会产生各种表面缺陷,例如露箔、暗斑和划痕。而机器视觉技术可以实时这些缺陷,确保生产出的产品达到标准。随着电池制造工艺的复杂性增加,如电芯后段的裸电芯极耳翻折和密封钉焊接,以及模组和PACK 阶段的底部蓝胶和焊缝等,机器视觉的应用已逐渐成为标准配置。

  这一技术在应对锂电池行业快速发展中也面临着挑战。首先,随着大规模制造的到来,如何在保持高精度的同时提高生产效率,是一个普遍的问题。其次,新材料和新工艺的应用速度远超过了机器视觉技术的迭代速度。例如,随着磷酸锰铁、硅基负极、高镍三元等新材料的出现,以及CTC、CTB 等新工艺的应用,机器视觉技术需要更快地适应和升级。此外,虽然机器视觉已经在锂电池生产中发挥了重要作用,但对于大量的检测数据仍然没有得到充分利用。

  为了解决这些问题,业内已经采取了一系列的措施。在技术层面,推出了轻量化语义模型,确保机器在面对新工艺时具有更强的应对能力。产能布局上,重点投入到工业人工智能、先进和计算成像等研发项目,以扩充自身的视觉系统和智能视觉装备的产能。此外,产品矩阵也进行了调整,重点发展了原材料隔膜检测、极片电极段的检测以及后工序的焊接检测。

  半导体这一高度集成、精细的产业,无疑慢慢的变成了机器视觉技术最早大规模应用的领域之一。在过程中,机器视觉起到了不可或缺的作用。从硅片的检测分选,到晶圆的缺陷检测,再到成品的外观检测,机器视觉技术都发挥着核心作用。例如,硅片检测分选使用了3D 测量系统来对硅片的多种性能参数进行自动检测,实现了检验测试的数据的管理与自动分类。又如在过程中,机器视觉用于检测晶圆表面的各种缺陷,如杂物、裂纹等,并在封装工艺中检测晶片、胶水、焊线等的质量。

  半导体行业仍然面临着一些技术与标准化的挑战。首先,目前关于半导体检测设备的技术,尤其是微纳米及纳米级的2D、3D 光学成像技术,主要掌握在国外,这给国内产业带来了一定的压力。其次,虽然3D 视觉检测与生产工艺紧密相关,但其设备还未有统一的国家标准,这在一定程度上制约了产业的进一步发展。

  为了应对这些挑战,行业已经开始进行技术突破。例如,开发了基于AI的缺陷检验测试算法平台,提高了算法的迁移能力和缺陷的检测能力。同时,也在研发高速高精度的光学成像系统和运动隔震平台架构,以实现更精确和稳定的检测效果。

  随着 芯片、激光芯片等新技术的出现,对机器视觉技术的要求也将更高,但机器视觉技术在半导体行业的应用无疑将更广泛和深入。

  随着3D 视觉感知技术的不断成熟其为工业领域的生产、制造和研发带来了革命性的机遇。

  高精度数据采集:传统的2D 数据采集方法在许多领域中已不能够满足高精度要求。3D视觉感知技术在汽车、航空、家电和医学等行业,为研究人员和生产线提供了细致、准确的三维数据,这大幅度的提升了制造和检测的精度。

  先进质控在线检测:在工业生产里,质量控制是至关重要的。3D视觉技术不但可以处理低对比度、高反射或透明材料,还能有效地识别和定位产品上的细微缺陷,以此来实现更为精确的在线质量监控。

  柔性装配与自动化:高度的生产自动化需要精确的数据支持。3D视觉在自动装配中的应用,尤其在需要高精度和灵活性的领域如精密仪器制造已经变得不可或缺。、协作臂配合3D 视觉系统能实现更为精确的组装和定位。

  仓库与供应链自动化 :在物流和供应链管理中,3D 视觉技术正在为仓库自动化带来全新的变革。从精确的货物定位到智能拣货,这项技术提供了必要的数据支持,使得仓库操作更高效、准确。

  机器人的导航与感知:在工业环境中,机器人稳定、安全的视觉引导是至关重要的。它通常分为两种主要策略:一种是结合移动机器人与机器视觉,另一种是结合机械臂与机器视觉。这两种策略为机器人提供了在其操作环境中精确定位和导航的能力。

  在众多的环境感知技术中,激光雷达和各自拥有其独特的优点和局限性。例如,激光雷达以其高精度和广泛的探测范围为人所知,能够有效地为机器人构建其周围环境的3D 信息模型。然而,它在恶劣天气条件下可能会受到干扰。相对之下,毫米波雷达在烟雾、灰尘等低能见度环境中表现出色,其强大的穿透性使其能在这些特殊环境下提供较为可靠的测距信息。但是,其测距的精度相对较低。

  随着和人工智能的崛起,尤其是卷积(CNN)和变形器(Transfmer)的进步,3D 视觉技术的研究和优化已在精确度和效率上获得显著提升。

  在3D 视觉的深度学习应用中,典型的工作流程可分为模型训练和图像识别两大阶段。

  模型训练:此阶段的关键任务是从大量标注的3D 数据样本中提取和学习有代表性的特征。这通常涉及大量的计算,包括前向传播、误差反向传播以及优化等过程。在深度学习模型中,网络的深度、层数和结构复杂度都可能会影响到模型的最终性能。

  图像识别:在模型训练完毕后,我们大家可以使用它来识别新的、未标记的3D 图像数据。此阶段最重要的包含数据预处理、特征提取和最终的分类或回归等任务。

  深度学习,尤其是卷积神经网络和变形器网络,已经为3D 视觉带来了多方面的革命性变化。

  高精度和鲁棒性:通过多层网络结构,深度学习模型能自动地从原始数据中提取和学习复杂的特征,这极大地提高了3D 物体识别和分类的精度。

  广泛的应用领域:由于其出色的泛化能力,深度学习模型已被成功应用于多个3D 视觉领域,包括物体检测、场景理解、人体姿态估计、深度估计等。

  3D 工业视觉领域的主流参与者大概能划分为两大类别:传统2D 视觉的内外资领先厂商,以及国内新兴厂商。这一些企业之间的经营事物的规模和专长有所不同。

  来自传统2D 视觉领域的头部厂商,无论是国内还是国外品牌,都在工业高精度和高效率的测量与识别领域展现出了明显的优势。这一些企业通常在工业应用中结合1D、2D 和 3D 技术,实现更精准的识别和测量。

  例如,基恩士和康耐视凭借其领先的镜头和CMOS 技术,能够在短短0.6 秒内完成检测。与此同时,他们在3D 技术的算法上也取得了显著的进步,如基恩士搭载的AI 芯片和康耐视的VisionPro Deep Learning 软件。

  在工业高端应用,如汽车、3C、锂电池、半导体等领域,这些头部企业,如基恩士、和奥普特等,凭借在 2D 视觉领域的深厚技术和客户基础,成功地转型和升级,赢得了大量的高价值订单。相比之下,许多国内的3D 视觉初创公司更多地聚焦于中低端的应用领域,例如物流、金属加工、3C等。

  2021 年,我国机器视觉市场中海康机器人、基恩士、康耐视等厂商处于领先地位

  在机器视觉软件方面,定位算法模块数量、算法性能、软件灵活性和易用性等因素都是决定性的考量点。在这一方面海内外主流玩家侧重点不同。

  虹软的拍摄算法与VisDrive:手机方面,虹软科技作为全球安卓系手机拍摄算法的霸主,、华为、OPPO、VIVO、小米等手机生产厂商均是公司客户,公司技术储备丰富,已实现对于单摄、双摄、深摄的全面覆盖,并不断推出新的K 带动手机拍摄算法单机价值量提升。汽车方面,虹软科技推出了一系列舱内、舱外视觉解决方案。截至2023H1,分别搭载了公司DMS、OMS、Face ID、TOF 手势、舱外体态识别拍照、AVM 等舱内外算法的量产出货车型已有数十款,主要车型如理想L9,长城哈佛系列、欧拉系列、坦克系列,合众哪吒系列,长安CS75、PLUS、UNI-T,长安新能源深蓝SLO3,吉利豪越 L、银河 L7、领克 06,奇瑞星途揽月,东风岚图Free、梦想家、追光等。

  康耐视的VisionPro:这款软件搭载了超过 100 种工具,其中 2D 定位精度在最好情况下能够达到1/40 像素,而通常情况下为1/4 像素。其处理效率很出色,5M像素的图像处理时间在50ms 以内。但是在3D 视觉定位的精度上,VisionPro达到了 2.5μm,尽管其具体的处理效率尚未公开。除了硬件性能,VisionPro也为提供了不错的软件体验,虽然其不支持底层框架的开放,但确实支持二次开发,使得软件灵活性和易用性都保持在行业的中等水平。

  奥普特的SciVision:与VisionPro 类似,SciVision也提供了超过 100 种工具。不过,它在 2D 定位的精度上并未披露具体数据,但其28M 像素的图像处理速度为68.19ms。从软件的灵活性和易用性角度看,SciVision主要是针对直接应用,其工具的拖拽式操作和专用性设计使得整体易用性处于中等水平。

  凌云光的VisionWare展现了另一种竞争策略:其提供的工具超过100 种,2D 定位精度为 1/2 像素,5M 像素的图像处理速度为 20ms。更令人印象非常深刻的是,其 3D 定位精度达到了 2μm,处理速度为500ms。在识别算法上,其 99%的识别率和 5M 像素图像的 80ms 处理速度都表现出色。但从软件使用的角度来看,VisionWare主要以直接应用为主,其工具的拖拽式操作和专用性设计与SciVision相似。

  海康机器人的VisionMaster:这款软件凭借其 1500+算子和 170+工具在数量上远超其他三家。在2D 定位上,其最好的精度能够达到1/16 像素,而通常情况下为1/4 像素,5M像素的图像处理时间仅为10ms。此外,其3D视觉定位的精度为6μm,处理速度为300ms。在软件的灵活性和易用性上,VisionMaster同样展现出了优势。它支持算子调用、SDK二次开发,以及底层框架的开放。整体的软件设计既图形化又流程化,为开发者提供了友好的交互体验。

  MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!跟帖赢好礼~

  电源小课堂 从12V电池及供电网络优化的角度分析电动汽车E/E架构的趋势

  贸泽开售支持工业、无人机和机器人应用的 TDK InvenSense IIM-20670 MotionTracking MEMS器件

  贸泽开售支持工业、无人机和机器人应用的TDK InvenSense IIM-20670 MotionTracking MEMS器件2024年2月5日 – 专注于引入新品的全球半 ...

  【2024年1月31日,德国慕尼黑讯】全球功率系统和物联网领域的半导体领导者英飞凌科技股份公司与设备制造商欧迈斯微电子和ToF(以下同)技术专 ...

  中国上海,2024年1月30日2023年生成式AI人工智能的涌现,引起全球瞩目,飞快进步的人工智能技术不但有效提升了工作生活的效率和质量,更助 ...

  与机器人相比,人类肢体极为灵活,能做出精细动作,并能有效地将能量转化为运动。受人类步态的启发,日本研究人员将肌肉组织和人造材料结合 ...

  12月25日,博世智能驾驶与控制事业部微信公众号发文,官宣自2024年1月1日起,吴永桥先生将出任博世智能驾驶与控制系统事业部(XC)中国区总......

  Intel Lunar Lake超低功耗处理器首曝:24年的超线-Wire温度传感器在微控制器环境中的接口

  有奖直播: 解读安森美半导体电源解决方案 ,聚焦服务器电源、光伏逆变器

  点评《让世界更安全——TI Hercules开发实战手册》,精彩好礼等你拿!

  模电怎么学?TI帮你定制课程清单!体验“模电选课测试”功能,赢精彩好礼