视觉检测领先者
全国咨询热线:13812953225

图像和面部识别的现代挑战——以及人工智能如何促进微边缘解决方案

发布时间:2024-04-26 15:21:38 人气: 来源:下载雷火电竞亚洲先驱
案例介绍

  虽然图像识别能成为提高安全性和生产力的强大工具,但系统模块设计人员不断面临着如何在更小、更低功耗的设备中提供更快速、更细致分类的挑战。趋势是通过在位于物联网边缘的微型微控制器上运行基于AI的识别算法来应对这一挑战。

  本文着眼于图像处理如何变得更复杂、可用的支持技术和基于不同半导体制造商的硬件和ECO的一些实际实施可能性。

  图像识别及其主要子集——面部识别——多年来已大范围的应用于工业和安全领域。然而,尽管技术进步使得用户能使用摄像头进行图像识别,但识别结果往往并不理想。对图像进行分类的尝试可能会受到诸如比例或透视变化、背景混乱或照明等问题的影响。

  因此,始终存在提高这些系统性能的压力,以便它们可提供更细致的识别和分类功能,同时提供更稳健和准确的结果。而且,随着更好的技术的出现,图像识别为提高生产力或安全性创造了更多机会。

  3D面部识别就是一个很好的例子。2D系统曾经足以满足访问控制等应用的需求,直到人们学会使用面部图片等欺骗技术来愚弄它们,因此3D识别成为克服这一问题所必需的。它还解决了一些问题,例如在人们留胡子后或他们是否戴着眼镜或新冠病毒口罩时进行识别。

  复杂的图像识别技术正在安全以外的领域发挥着及其重要的作用。在工业中,它可用于提升产品形状、尺寸和颜色方面的质量,而在汽车应用中,它可应用于路边检测、车道检测、实时车道中的动物、人类或物体检测。它还可以绘制人类存在的地图,例如在公共交通上。

  更强大的硬件加上日益复杂的人工智能软件也使得图像识别系统具有情绪检测功能。例如,汽车供应商可以在智能汽车中使用面部情绪检测技术,在驾驶员感到困倦时发出警报。

  然而,寻求提供更强大、低延迟解决方案的系统构建商必须同时消耗更少的能源、空间和成本。他们必在追求环保的同时保持技术竞争力。

  越来越多的应对措施是将曾经在云中的大型服务器上运行的系统移至边缘。这在某种程度上预示着AI算法现在在微型微控制器上运行,这些微控制器必须非常快速且高精度地映射传入的图像。虽然这在工业中并不是非常重要,因为机器人有更多的空间和功率,但在其他应用中,这项技术能将强大的图像识别解决方案放到用户的手机和手表上。

  在边缘本地运行面部识别系统,而不将数据发送到云端,也解决了对隐私的担忧。

  从系统研发人员的角度来看,人工智能图像识别系统与任何其他电子科技类产品一样,包含许多硬件和软件构建块,这些构建块必须集成到一个基本平台中,该平台能更加进一步开发为特定于应用的解决方案。这些包括:

  相机或其他输入设备:相机采用不一样的技术;相机技术的选择将从根本上影响总系统的设计。

  输出设备:其中可能包括安全门,它允许面部识别系统控制对安全区域的访问;还可能有一个显示器提供人工智能分析的结果。此外,如果图像识别系统是更大基础设施的一部分,则将有网络连接。

  微计算硬件:这可能只包含一个核心处理器,但它更有可能还有一个人工智能引擎加速器来提高性能。

  AI算法:许多图像识别应用程序能使用相同的硬件,但可以运行不同的AI算法来完成不同的应用程序。

  选择卷积神经网络(ConvNet/CNN)等AI算法来从原始图像数据中提取有意义的内容和动作,从而获取信息。

  寻找一家能够提供最适合您想要采用的图像采集和处理方法的硬件和开发环境的半导体制造商。

  3D面部识别方法涉及使用传感器更精确地捕捉面部形状。与传统的面部识别方法不同,3D面部识别的准确性不受光照影响,甚至可以在黑暗中进行扫描。3D面部识别的另一个优点是它可以从多个角度识别目标,而不仅仅是直接的轮廓。与2D面部识别不同,它不会被未经授权进入安全区域的人使用的照片所欺骗。

  iPhone X(及更高版本)配备了Face ID技术,该技术依靠3D面部识别来识别其所有者。

  3D面部识别过程有六个主要步骤:检测、对齐、测量、表示、匹配以及验证或识别。

  3D飞行时间(ToF)是一种无扫描仪LIDAR(光检测和测距),它使用纳秒持续时间的高功率光脉冲来捕获感兴趣场景的深度信息(通常在短距离内)。

  ToF相机通过使用激光等调制光源和对激光波长敏感的传感器主动照射物体来测量距离,以捕获反射光。传感器测量发射光和相机接收反射光之间的时间延迟Δ。时间延迟与相机和物体之间的距离(往返)的两倍成正比,因此距离可以估计为深度=cΔ/2,其中c是光速。

  测量ΔT的方法有多种,其中最流行的有两种:连续波(CW)方法和基于脉冲的方法。应该指出的是,目前市场上已经实现并上市的绝大多数CW ToF系统都使用CMOS传感器,而脉冲ToF系统则使用非CMOS传感器(特别是CCD)。

  使用上述任一技术捕获图像数据后,我们需要一种人工智能算法在所选硬件上运行来分析数据并提供有意义且可操作的结果。

  一种方法是使用卷积神经网络(ConvNet/CNN):深度学习算法可以接收输入图像,为图像中的各个方面/对象分配重要性(可学习的权重和偏差),然后区分一个方面/另一个方面。

  CNN所需的预处理远低于其他分类算法。虽然在原始方法中,过滤器是手工设计的,但经过足够的训练,CNN有能力学习这些过滤器/特征。

  CNN能够通过应用相关滤波器成功捕获图像中的空间和时间依赖性。由于涉及参数数量的减少和权重的可重用性,该架构能够更好地拟合图像数据集。换句话说,可以训练网络更好地理解图像的复杂性。

  然而,其他深度学习算法也在快速发展,使用了较低精度的数据类型,例如INT8、二进制、三进制和自定义数据。

  无论选择哪种人工智能算法,为了有效,它必须在合适的硬件上运行,能够提供必要的处理能力,而不对电力、空间、重量或成本提出过高的要求。

  在实际的硬件实现方面,每个半导体制造商都倾向于根据自己开发的底层硬件以及合适的软件和开发工具提供自己的生态系统。在决定与哪家半导体制造商合作时,开发人员必须意识到他们正在致力于制造商的开发生态系统及其图像处理硬件。

  Analog Devices的解决方案基于其MAX78000系列,其中包括超低功耗卷积神经网络(CNN)推理引擎MAX78002。MAX78002先进的片上系统架构采用带有FPU CPU的Arm® Cortex®-M4和超低功耗深度神经网络加速器。(参见文本框:“神经网络加速器的作用。”)

  深度学习是目前最重要的机器学习方法之一,用于解决以前只能由人类解决的复杂任务。在计算机视觉或语音识别等应用中,与非学习算法相比,深度神经网络(DNN)的准确度很高,在某些情况下甚至比人类专家还要高。与非学习算法相比,DNN的准确性更高,因为它能够在对大量训练数据进行统计学习后从输入数据中提取高级特征。

  统计学习可以有效地表示输入空间并具有良好的泛化能力。然而,这种能力需要大量的计算工作——然而,通过增加参数的数量,可以提高网络的准确性。因此,DNN的趋势显然是网络规模呈指数级增长。这导致计算工作量和所需的内存大小呈指数级增加。

  因此,仅中央处理单元(CPU)不足以处理计算负载。因此,结构优化的硬件加速器用于提高神经网络的推理性能。对于在边缘设备上运行的神经网络进行推理,除了吞吐量之外,能源效率也是必须考虑的重要因素。

  作为MAX78000的后续产品,MAX78002具有额外的计算能力和内存,是新一代人工智能(AI)微控制器的一部分,旨在以超低功耗执行神经网络并实时运行。物联网(IoT)的边缘。

  该产品将最节能的AI处理与Analog Device久经考验的超低功耗微控制器相结合。基于硬件的卷积神经网络(CNN)加速器使电池供电的应用程序能够执行人工智能推理,同时仅消耗微焦的能量。

  您能够正常的使用MAX78002评估套件(EV kit)与微控制器进行交互;这为利用设备功能构建新一代人工智能产品提供了一个平台。该套件具有板载硬件,如数字麦克风、串行端口、数字视频端口(DVP)和相机串行接口(CSI)相机模块支持,以及3.5英寸触摸式彩色薄膜晶体管(TFT)显示屏。

  该套件还包括用于监控并在辅助TFT显示屏上显示功率级别的电路。MAX34417监测MAX78002的电压和电流,并向MAX32625报告累积功率,MAX32625用作功率数据处理器,同时控制功率显示。

  开发人脸识别模型:设计人员可以在PyTorch上使用Analog Devices开发流程构建人脸识别模型,使用不同的开放数据集进行训练并部署在MAX78000评估板上。图4显示了开发流程。

  面部对齐:确定子图像中面部的旋转角度(3D),以通过仿射变换补偿其效果。

  Xilinx 使用不同的硬件方法,基于其 Kria K26 SOM(模块上系统)。 SOM 旨在帮助开发人员在其首选的设计环境中通过开箱即用的低成本开发套件更快地部署其智能视觉应用程序。

  K26 SOM非常适合边缘应用,因为其底层 Zynq MPSoC 架构可提供高性能功耗比和低拥有成本。Kria SOM是硬件可配置的,使其具有可扩展性和面向未来的特点。

  原始计算能力:K26可配置各种深度学习处理单元(DPU)配置,并根据性能需求,将最适用的配置集成到设计中。 例如,DPU B3136 在 300MHz 时的峰值性能为 0.94TOPS。

  较低精度数据类型支持:随着深度学习算法的快速发展,人们开始使用较低精度的数据类型,例如 INT8、二进制或自定义数据。 GPU 供应商很难满足当前的市场需求,因为他们必须修改/调整其架构以适应自定义或较低精度的数据类型支持。 Kria K26 SOM 支持全范围的数据类型精度,例如 FP32、INT8、二进制和其他自定义数据类型,并且事实证明,对较低精度数据类型的操作消耗的功耗要低得多。

  低延迟和功耗:Zynq MPSoC 架构的可重配置性使开发人员能够在设计时减少或无需外部存储器访问,这不仅有助于降低应用程序的整体功耗,还可以通过降低端到端延迟来提高响应能力 。

  灵活性:与数据流固定的 GPU 不同,Xilinx 硬件提供了灵活性,可以独特地重新配置数据路径,以实现最大吞吐量和更低延迟。 此外,可编程数据路径减少了批处理的需求,这是 GPU 的一个主要缺点,并且成为较低延迟或较高吞吐量之间的权衡。

  为了进行评估和开发,Xilinx 提供了 KV260 入门套件,其中包括与以视觉为中心的承载卡配合的 Kria K26 SOM。 这种预定义的视觉硬件平台与基于Yocto或 Ubuntu 构建的强大且全面的软件堆栈相结合,再加上预构建的视觉加速应用程序,为开发人员利用 Xilinx 技术构建系统提供了前所未有的途径。

  开发完成后,生产部署的定制就很简单。 Kria SOM 与最终用户设计的简单载卡配合使用,该载卡包含特定于其自己的目标系统的连接和附加组件。

  应用示例:Xilinx 与智慧城市视频分析解决方案的行业领导者 Uncanny Vision 合作,目标是向市场提供世界一流的汽车车牌(车牌)识别 (ANPR) 解决方案。 作为智慧城市建设的一部分,该应用程序正在世界许多城市广泛采用。

  ANPR 应用程序是一个基于 AI 的管道,包括视频解码、图像预处理、机器学习(检测)和 OCR 字符识别。 图 6 显示了该应用程序的构建块。

  恩智浦半导体扩展了其 NXP EdgeReady 产品组合,增加了安全人脸识别解决方案,该解决方案利用高性能 3D 结构光模块 (SLM) 相机与 i.MX RT117F MCU 相结合。 这是第一个将 3D SLM 相机与 MCU 相结合的解决方案,可在边缘提供 3D人脸识别的性能和安全性,从而无需像传统上那样在 MPU 上使用昂贵且耗电的 Linux 实现配备高性能 3D 相机。

  最新的 EdgeReady 解决方案使智能锁和其他访问控制系统的开发人员能够快速轻松地将基于机器学习的安全人脸识别添加到智能家居和智能建筑产品中。 该解决方案可在室内和室外应用、各种照明条件下提供可靠的 3D 人脸识别,包括明亮的阳光、昏暗的夜光或对传统人脸识别系统构成挑战的其他困难照明条件。

  使用 3D SLM 相机可实现先进的活体检测,有助于区分真人与欺骗技术(例如照片、模仿者面具或 3D 模型),以防止没有经过授权的访问。

  i.MX RT117F 采用先进的机器学习模型作为恩智浦 eIQ 机器学习软件的一部分,在其高性能 CPU 内核上运行,可实现更快、更准确的人脸识别,从而改善用户体验和电源效率。

  与基于 i.MX RT106F MCU 的 NXP EdgeReady 安全人脸识别解决方案类似,先进的活体检测和人脸识别都是在边缘本地完成的,使得个人生物识别数据可以保留在设备上。 这有助于解决消费者隐私问题,同时还消除与基于云的解决方案相关的延迟。

  上述文章讨论了可用于开发改进的图像识别系统的技术,并介绍了不同半导体制造商的硬件平台和可用于实施这些技术的开发ECO的示例。关键字:人脸识别引用地址:图像和面部识别的现代挑战——以及人工智能如何促进微边缘解决方案

  面部识别技术正在不断改进,但对于现有面部识别系统而言,如果被识别者的面部存在故意遮挡,比如贴上假胡子或者戴着大墨镜,那识别起来还是非常困难。不过现在,印度国家理工学院和科学研究所联合英国剑桥大学开发出了一套更新的面部识别架构,可用来识别被遮挡的人脸。 “即便一个人的面部存在伪装,这套系统依然能够进行身份识别,”剑桥大学的Amarjot Singh介绍道,“它可以用来识别试图摆脱执法部门追踪的犯罪分子。执法部门对于伪装面部识别(DFI)所存在的挑战和问题很感兴趣,因为这项技术可以帮助他们识别罪犯。” 在工作时,这套基于深度学习的系统会去识别人脸的14个关键区域,其中有10个在眼镜周围,3个在嘴唇附近,还有1个在鼻子上。即便这些部分

  人脸识别 并不是一项新技术,人脸识别算法技术的演进到现在已经将近20多年。 不过目前大部分人脸识别仍以2D图像为基础,由于2D人脸识别存在人脸特征信息损失的情况,因此,2D人脸识别无法保证100%安全,在金融支付等场景中也无法应用。 3D人脸识别可建立毫米级精度的3D 深度图,误识别率仅为百万分之一。结合视觉算法,可杜绝虚假照片、视频或者硅胶人脸面具等身份冒用情况。   因此,我们可以看到,去年苹果iPhone X就率先开始将3D人脸识别引入到了智能手机当中。随后,很快越来越多的智能手机厂商也开始跟进。今年5月底,小米虽然抢先推出了3D结构光的安卓智能手机——小米8透明探索版,但是直到本月初在开始有限的开售。值得注意的是,其采用的

  想必这几天,不少人都被一条「天坛公园靠人脸识别发厕纸」的新闻刷了屏。据说是因为要解决游客过度使用公厕厕纸问题,天坛公园推出了「人脸识别厕纸机」,只有当你「刷脸成功」才能获得厕纸,想要通过这种方式解决同一个人反复取纸的问题,一些国外媒体也纷纷来凑热闹报道了这件事。 毫无疑问,在我们生活中,人脸识别技术被应用的越来越广泛了,不论是门禁、考勤系统,还是支付安全、生活娱乐应用等,都开始加入这种先进的技术。 在方便快捷的同时,一些人也开始担心这项技术的安全性,前几天的「3·15」晚会上也为大家展示了对这项技术的一些可能风险。那么,当人脸识别继续普及到我们身边,下一步它又能为我们带来怎样的期待?今天我们不妨来聊一聊。 从科幻走进

  杭州运河广场,一个智能识别人脸、可实现AI人脸迎宾的服务机器人吸引了不少人气。这是上城区公安分局小营综合服务大厅“上班”的“小远”机器人,日前专程赶赴杭州公安110警营开放日活动现场,到“最多跑一次”专区,为群众提供身份证补办、咨询等智能服务。 在杭州市公安局上城区分局“上班”的小远机器人 随着人工智能的不断发展,AI机器人已经走到我们眼前,进入日常生活。其中,服务机器人作为应用场景较广的落地产品之一,发展态势尤为猛烈。人脸识别作为机器人智慧之眼的核心技术,正在为越来越多的厂家所应用。 提质增效,机器人开启智能服务模式 机器人产业的发展,离不开企业的攻坚和行业的进取,更离不开政府政策的引导和支持。 2012年,中国国家科技部

  3D视觉和姿态识别解决方案提供商SoftKinetic是索尼全资子公司,它们将在上海世界移动通信大会MWC上(6月28日至7月1日)推出最新的产品原型,展示他们DepthSense飞行时间(ToF)技术的最新进展,其中就包括增强现实(AR)和人脸识别。 SoftKinetic将展示最新一代DepthSense相机模块和中间件技术,允许用户在AR体验中实现自然的手部交互。此外,SoftKinetic在安全性和易用性上带来了全新的生物识别技术。通过与KeyLemon,Visio Ingenii等面部识别技术团队的合作,SoftKinetic的3D飞行时间(ToF)相机现在可轻松地实现3D人脸识别,应用于用户认证等场景。此外,Soft

  在经历了多次跳票之后,EXEED星途TX终于与我们见面了,但这依然不是最终量产版,至少从工作人员那里得来的消息是,车机系统后期还要OTA升级。 说到这里我就想先吐槽一下,星脉、星途、星越,后面如果再出一个星际,这是要和星空杠上了? 你也一定奇怪我为什么没说奇瑞星途,因为EXEED本身就是一个品牌,但它又不是奇瑞的子品牌,而是战略品牌,或许可以理解为观致、领克的定位,不知你有没有懂…… 总之这款车依然集成了奇瑞最先进的制造工艺和科技成果, 包括搭载第三代1.6T直喷发动机+7DCT变速箱,TX车型匹配四驱,TXL车型接入百度智能车联网系统。 背景:百度强势入局车联网为EXEED带来了什么 EXEED星途TXL是 首款搭

  让你过把“特工”瘾 /

  还记得英伟达去年推出的StyleGAN吗?全新的生成器架构让这个“新一代GAN”生成的人脸真实到可怕。现在,StyleGAN已经开源,包括源代码和官方TensorFlow实现,附有详细使用说明。多说一句,还请谨慎使用,不要让StyleGAN成为第二个DeepFake。 还记得英伟达震撼世人的 新一代GAN 吗? 以假乱真的精细人脸生成,令不少研究人员都惊呼:已经无法分辨虚拟和现实! 上述人脸全部由计算机生成,StyleGAN的全新风格迁移生成器架构能控制发色、眼睛大小等脸部特征。来源:NVlabs/stylegan 论文、源代码、高清Flickr人脸图像数据集等所有的材料都公布了出来,非商业使用的情况

  系统 /

  经过十多年的技术发展和应用市场培育,当今生物识别技术已经在诸多应用领域规模化应用。就中国市场而言,生物识别技术的应用,过去还主要是以其分之技术之一的指纹识别技术为主体,在中国市场,指纹识别的应用占据了绝大部分市场份额(根据2007年的数据,中国生物识别市场,指纹识别应用占据的市场份额超过90%)。这与全球生物识别技术应用的大趋势有较大差距。不过,我们也欣喜的看到,一些新技术,如人脸识别技术,在中国市场的应用,近一两年的发展也非常迅猛,其市场潜力不可低估。本文将从技术和应用角度,对生物识别技术目前的两个发展速度最为显著的分支:人脸识别,以及多重生物识别,分别进行论述。 人脸识别技术 就全球市场而论,人脸识别是仅次于指纹识

  储物柜 开发文档

  储物柜 代码

  信号完整性指南:实时测试、测量与设计仿线FTG的无感正弦波无刷电机驱动电路

  2021_Digikey KOL系列:新型智能曝光算法在人脸识别中的应用

  嵌入式工程师AI挑战营(初阶):基于RV1106,动手部署手写数字识别落地

  美光率先量产面向客户端和数据中心的 200+ 层 QLC NAND 产品

  美光 2500 SSD 采用业界领先的 QLC NAND,性能远超竞品...

  消息称高通再战服务器芯片市场:台积电 N5P 工艺、80 核 Oryon 双路

  4 月 26 日消息,根据国外科技媒体AndroidAuthority 报道,高通公司在发布骁龙 X Elite Plus 芯片之外,内部正在研发代号为“SD ...

  安霸CV75S AI SoC 将视觉语言模型和视觉Transformer引入相机

  安霸(Ambarella) 一直在扩展其 AI SoC 产品组合,最新是 CV75S 系列 5nm 芯片。 该公司声称,该系列推出了最具成本效益和能效的 ...

  这几天,有媒体揭露了这背后的真相——高通在提供给OEM和媒体的Snapdragon X Plus Elite基准测试中作弊了。...

  每年,全球嵌入式技术ECO都会齐聚嵌入式世界展会,我们很高兴与大家分享莱迪思今年发布和展示的最新、先进的可编程解决方案。推进下一 ...

  Green Hills µ-velOSity RTOS 和 ST 的 Stellar SR6 MCU紧密协同

  龙芯预告下一代桌面端处理器 3B6600 与 3B7000:8 核,最高 3.5GHz

  意法半导体推出单片天线匹配 IC,配合Bluetooth® LE SoC 和 STM32 无线MCU

  IMDT和Hailo携手推出边缘人工智能解决方案,旨在实时实现极致性能

  ENNOVI推出一种用于电动汽车电池互连系统低压连接的新型柔性线路板生产工艺

  美光率先量产面向客户端和数据中心的 200+ 层 QLC NAND 产品

  艾利丹尼森助力云蝠服饰 打造面向未来的全渠道数字化供应链 开启零供“新”模式

  台积电公布A16 1.6nm工艺:对比2nm性能提高10%、功耗降低20%

  消息称高通再战服务器芯片市场:台积电 N5P 工艺、80 核 Oryon 双路

  SK海力士2024年第一季度收入12.4296万亿韩元 创同期历史新高

  Microchip 喊你快来打造你的理想型单片机,智能门铃、百元京东卡等【80份】好礼等你赢!

  嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科词云: