典型3D ToF系统组成有哪些？

  及3D智能相机的研发和销售，提供Smart3D-ISP系列处理器、SmartToF®系列相机及人数统计、体积测量、隐私监护等应用的配套解决方案。数迹智能管理团队多来自富士通、联想、IBM等国际一流公司以及国内顶尖高校，掌握3D飞行时间（ToF）应用普及的核心技术，具备强大的创新研发实力，与世界领先的ToF合作紧密，拥有多项技术专利和丰富的行业应用成果储备。近些年，随着华为、OPPO、vivo等厂商将3D ToF技术导入，并且苹果新款也预期采用ToF技术，预示着新一轮3D传感与成像应用浪潮正在袭来。在此背景下，麦姆斯咨询近日采访了数迹智能首席技术官邹耀先生，就3D成像及

  邹耀：从机遇角度讲，2019年各大手机生产厂商纷纷导入ToF技术，传言新款iPhone机型也将搭载ToF摄像头。ToF技术作为手机行业的新风口，得益于5GAI的发展，作为在AR/VR应用中不可或缺的技术方法，必将伴随着5G的普及而普及。我们大家都认为ToF技术不仅仅是手机行业的狂欢，更是满足未来5G与AI应用需求的最重要的技术之一，也将是人机一体化智能系统、智能驾驶、机器人等领域的标配，市场空间将超乎想象。

  ToF技术机遇和挑战并存，作为3D成像的新技术，在系统性能、功耗和成本等方面还有待成熟改善。我们大家都认为其将与2D成像技术发展成熟的路线相似。ToF系统涉及多种技术，是一个复杂的系统，不只涉及发光器件、传感器还涉及图像信号处理（ISP）技术。面临场景的适应性，如何在任意场景下获取可靠和准确的深度数据是非常大的技术挑战，是ToF技术普及的关键。目前尚未出现爆款级的应用其根本原因是缺乏3D ISP增强引擎来消除干扰，降低功耗，提高实时性能；缺少面向3D行业的ISP IP及中间件，无法有力支撑上层应用；以ISP技术为核心，系统性地提升ToF性能并降低功耗和成本是几年来数迹智能团队的研发目标，谁率先解决了这样一些问题则必将抓住ToF带来市场的发展机遇。从目前的研发成果来看，我们有很大的胜算！

  邹耀：典型的3D ToF系统主要由发射端、接收端和控制方案端组成。目前ToF发射端的核心是由VCSEL、LED等发光器件组成，主要负责发射850nm或940nm的调制光信号，这一块主要厂商有国外的欧司朗（OSRAM）、飞利浦（Philips）、艾迈斯半导体ams）、Lumentum、II-VI和国内的纵慧芯光、睿熙科技、博昇光电等。接收端的核心是基于飞行时间法的CCD/CMOS图像传感器芯片，负责将接收到的调制光信号转化为电信号，这一块的主流厂商包括瑷镨瑞思（ESPROS）、索尼（Sony）、英飞凌（Infineon）、松下（Panasonic）和国内的炬佑智能（OPNOUS）、艾普柯微电子（Epticore）等。另外，接收端还包括窄带滤光片和光学镜头等。控制方案端则是串联整个3D ToF系统方案的“中枢神经”，包括总系统的模块控制、时序信号、数据校准降噪处理、软件驱动开发工具包等。

  数迹智能就是一家主要立足于控制方案端的3D ToF系统解决方案提供商，我们在3D ToF系统方案中的软件算法核心技术上会成为未来3D图像信号处理器中的“长矛利剑”。

  记者：3D成像应用为什么需要3D图像信号处理器（ISP）？3D ISP能做什么？

  邹耀：3D ISP大多数都用在提升3D图像质量，以及实现ToF图像传感器参数的自动控制等，能够大幅度降低3D成像应用的开发难度，缩短3D成像产品的上市时间。可以说，3D ISP既是ToF图像传感器到3D成像应用的推进器，也是3D成像市场爆发的必要条件，这是因为：

  （1）ToF图像传感器的规模化和海量应用未来市场发展的潜力是3D ISP研制的前提，这一条件已经具备。当前，ToF图像传感器已完成从CCD到CMOS的技术演进，同时逐步在智能手机上规模化使用（最具代表性的智能手机包括华为Mate 30 Pro和未来的苹果iPhone）也代表着ToF图像传感器的规模化已成为必然，随着规模效应带来的成本降低，慢慢的变多的应用将会结合3D成像技术进行开发。因此，多家著名咨询机构预测，3D成像应用市场在未来五年将具有极高的增速。例如Yole认为全球3D成像和传感市场将从2017年的21亿美元增长至2023年的185亿美元，复合年增长率高达44%。

  （2）3D ISP层级的处理器产品是3D成像应用的刚需，3D ISP是衔接传感器和应用的重要桥梁。目前95%的基于3D成像应用项目均处于概念原型阶段（基于我们自己的100多家模组用户的统计数据），且研制进展非常缓慢，根本原因在于3D ISP的缺失。每款应用均要解决3D图像增强、校准、参数自动控制等3D ISP层级的问题。试想一下2D成像的海量应用市场，假如没有2D ISP，让每款应用都直接面对“单反相机的手动模式”，是没办法这样繁荣的。

  （3）3D ISP是2D ISP的超集，具备极高的技术门槛。ToF图像传感器的控制参数数量、成像运算量、校准复杂度、应用难度均远高于普通的2D图像传感器，并且核心运算内容和2D-ISP差别巨大，无法直接采用2D ISP技术。

  邹耀：我们具备做好3D ISP的必要条件，当前3D ISP层级上的技术积累处于领先地位。

  （1）3D ISP的基础架构技术积累和经验。这部分我们团队有多年的多媒体加速IP、多核DSP（自有知识产权）、MCU类芯片的成功流片和项目经验。

  （2）3D ISP层级的技术领先，相关专利储备超过50项。这部分的技术领先离不开大量3D成像应用的项目经验以及ToF图像传感器的底层信号链路和信号处理上的实践。目前，我们在跟踪100多家用户在3D模组使用的过程中，已完成3D ISP的规格定义并在模组开发套件中进行了大量实践；尤其是3D ISP中很重要的校准技术方面，我们的自动校准设备已经获得索尼（Sony）ToF图像传感器部门的认可和2020年的订单；同时作为3D ISP硬件载体的索尼2020年新一代ToF图像传感器的官方评估套件也确认由我们团队主要负责。

  邹耀：数迹智能目前的团队无论是技术产品能力还是市场运营能力，在业内都具备优秀的竞争力及未来的进化能力；小组成员大多数来源于富士通、联想、IBM等国际一流公司以及国内顶尖高校；小组成员曾自主设计并拥有知识产权多媒体DSP，包括体系架构、指令集、编译器、仿真器、集成开发环境，并成功流片和应用，可作为3D ISP的核心；小组成员中参与项目经验比较丰富，曾经参与过SONY LSI的数个IP前端设计服务，HPTG（现ams）的ToF传感器嵌入式软硬件平台等项目；在有影响的国际会议和期刊中发表多篇论文并在相关领域拥有数十项专利。

  邹耀：我们的3D ISP与常规的硬件IP产品类似，初期会以FPGA形态存在（2020年），然后是IP软核硬核授权（License）方式（2021~2023年），后期会根据应用规模化程度，考虑做成专用集成电路ASIC）或系统级芯片（SoC）的形式。

  邹耀：ToF将来的应用将会十分普遍，市场也会逐步成熟。将来我们的主要的目标是将围绕着智能手机、电子领域、无人驾驶、机器人、AR/VR等巨量市场进行布局；将数迹智能的产品以各种形态与合作模式赋能3D视觉的蓬勃发展。从市场规划来说，我们也会更加务实的由近及远的推动业务良性发展，开发适合市场的终端应用型产品；不断拓宽通用型产品的的打磨，让ToF通用型产品产能上量；并不间断地积累行业经验建立无法替代的核芯能力。

  邹耀：智能手机、汽车、安防等终端厂商自研3D ISP是一种潜在的竞争。但是，以技术领先的硬件IP授权方式进入这些领域的SoC芯片或方案可以规避这种直接竞争，还可以将他们转换为客户，例如：Chips&Media视频编解码器IP、英特尔Intel）收购的Habana Labs人工智能（AI）加速IP等案例充分说明确保IP技术领先是创业公司切入热点市场的可行方式。当前我们3D ISP层级上的技术积累处于领头羊，并积极地推进3D ISP的IP产品化。

  记者：与2D ISP厂商和ToF图像传感器厂商相比，数迹智能自研3D ISP有哪些竞争优势？

  邹耀：与2D ISP厂商相比：3D ISP是2D ISP的超集，具备极高的技术门槛， 2D ISP厂商做3D ISP不是一个技术的简单升级，也需要大量的3D ISP层级的技术储备，这部分我们目前的技术积累领头羊是最大的优势。

  与ToF图像传感器厂商相比，实际上不是直接竞争关系而是产业上下游的合作伙伴关系。图像传感器和ISP本质属于产业链细分环节，图像传感器只解决最基本的信号解调和基于用户参数成像控制；且从2D成像应用市场上看，海量应用都是基于2D ISP输出的图像再做处理的（直接基于CMOS图像传感器芯片输出图像的很少），且2D ISP的产品形态也基本以独立于CMOS图像传感器之外的方式存在（集成在AP SoC控制器或独立ISP芯片）。

  邹耀：数迹智能与ESPROS、Sony等国际知名ToF图像传感器厂商建立了良好的合作伙伴关系。数迹智能是国内首家提供基于Sony iMX556传感器的3D相机的厂商，通过扎实的技术能力取得了Sony的信任。未来将在ToF评估板参考设计、ToF摄像头/相机校准、软件开发、方案应用等方面与Sony展开深度合作。

  邹耀：由于产业还处于发展早期，还要一直发展！数迹智能目前正积极选择有产业资源的投资方及同行人，一起为整个ToF行业的发展努力。目前，我们处于A轮融资阶段，融资需求为3000万，大多数都用在团队拓展、技术探讨研究、市场拓展等。

  声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

  ）相机每个像素利用光飞行的时间差来获取物体的深度。   目前较成熟的飞行时间面阵相机商业化产品有Mesa Imaging AG SR-4000，PMD

  传感数据的使用，是实现未来车内设计，并让汽车制造商脱颖而出的一大特点。而较为简单和经济的

  多种解释。然而，这不单单是语义，因每个封装选项都需要不同的设计方法和技术。

  打印主要通过一次一层地构建对象来创建零件。与传统的制造技术(例如CNC加工)相比，

  在刚刚落幕的OktoberTech™英飞凌生态创新峰会上，视觉AI算法商虹软科技携

  最新产品亮相。OktoberTech™是英飞凌主办的全球性年度创新峰会，旨在展示前瞻性技术，推动低碳化

  视觉的眼睛，通过多个摄像头与深度传感器的组合能轻松的获得物体三维位置及尺寸等数据，实现三维信息采集。目前

  深度传感技术依靠体积小、误差低、直接输出深度数据与抗干扰性强等优势，成为近年来智能手机上的关键创新亮点之一。

  人脸解锁具有无感的体验优势，可以解放双手，备受消费者青睐。目前市场上的

  专业知识，以创建更易于采用的解决方案。目标是在工业 4.0、汽车、游戏、增强现实以及计算摄影和摄像等领域覆盖广泛的受众 。

  (IMS)前瞻技术展示交流会在苏州圆满落幕。奥比中光子公司深圳奥锐达科技有限公司(以下简称“奥锐达”)携最新智能座舱

  电子发烧友网报道（文/吴子鹏）近几年，在智能手机全面屏和人脸识别融合的大趋势下，

  技术慢慢的变成为市场主流。凭借着体积小、误差低、抗干扰性强等优势，除了智能手机，VR/AR、汽车ADAS等新兴

  打印在齿科方面的应用慢慢的变多，医生也能够正常的使用手术导板等提升手术的精准度，同时也让患者体验更好。在

  动画技术作为一种新颖高端的演示手段，在产品细节展示方面表现的尤为出色。因为其自身优势，

  动画技术被大范围的应用到了慢慢的变多的行业，机械领域也被覆盖到其中。今天原拓数字科技的小编便就机械

  作为英飞凌“优选合作伙伴”，虹软科技应邀出席，同时虹软科技产品副总裁Alex在大会期间发表了关于“

  赋能智能手机、智能汽车以及IoT领域实现技术升级与价值创造的实践经验。

  不同的功能吗？不知道？没关系。本文给大家做了一个简单的分析，这样大家在采购

  图像传感器*1。这款精巧的高清分辨率传感器选用了SONY 的感测器和测距技术应用，可以获取覆盖短距离和远距离的深度图。

  市场都获得了相当快速的成长。不过2020款iPad Pro发布时，其上所谓的“LiDAR”摄像头仍然挺让人

  相机传感器）具有许多强大的用途，包括物体扫描、测量距离、室内导航、避障、手势识别、跟踪物体、测量体积、反应式高度计、

  根据描述，三星的新型传感器将带来更好的人脸识别以及更好的深度感应功能。有必要注意一下的是，

  据麦姆斯咨询报道，三星在2020年9月18日向欧盟知识产权局（EUIPO）提交了一份商标申请文件，显示该公司可能即将发布其首款名为“ISOCELL Vizion”的

  传感器或将用于明年问世的新款Galaxy S21系列（或为S30系列）智能手机。

  还可以在汽车应用中实现乘员检测和司机监测功能，为驾驶员和乘客提供更安全的汽车驾乘体验。

  物流、质检、导航、机器人、人脸识别、安保、监控、安全、医疗健康和司机监控，所有这些应用都有机会使用

  深度传感的基础原理和两种主要的方法，并与其他常用的深度测量技术作比较。然后，详细的介绍ADI公司的

  信号处理器件，集成了深度处理器，将来自VGA CCD 传感器的原始图像数据处理成深度/像素数据。

  传感器，并利用Eyeware的注意力监控技术，即使在阳光下也能精确跟踪监控驾驶员视线D

  ）传感器，支持智能手机制造商实现既经济高效又易于设计的标准化集成。4年来，英飞凌凭借其

  打印技术正在被使用于各行各业，小到能帮你制造一个小玩具，大到能制造航空航天精密器件。在之前我们

  技术的部署方式，为呼吸模式监测和微小动作检测提供高精度的，纳秒级实时传感数据。

  12月23日消息，据外国媒体报道，开发者在Galaxy S10 5G最新Beta版固件中发现三星添加了

  三星电子近日申请了Depth Vision Lens商标，据推测这或许将用于三星Galaxy Note 10 的

  。 首先双目成像相对难以在智能手机上应用，该技术的缺点在于算法很复杂、容易受到环境

  技术除了应用在手机上之外，也在VR/AR手势交互、汽车电子ADAS、安防监控以及新零售等多个领域都开始大显身手，应用前景十分广阔。 这种技术跟

  传感器技术的智能手机出货量将达到2000万台。工业和汽车应用前景广阔。ADI

  技术除了应用在手机上之外，也在VR/AR手势交互、汽车电子ADAS、安防监控以及新零售等多个领域都开始大显身手，应用前景十分广阔。

  立体“视界”，才能带给我们最为震撼和沉浸式的体验。如今，手机摄像头模块也正走在从2

  传感器方案开始大范围铺货，采用该方案的Android手机今年将迎来大幅度增长。 业内人士指出，2018年中国手机品牌使用的

  从iPhone X开始，苹果在前置摄像头处采用了结构光技术，通过30000多个肉眼不可见的光点投影脸部，绘制出人脸的

  根据韩媒报导，三星预计2019年将在新的Galaxy S10及 Galaxy A系列的智能手机上采用

  一、前言 对于智能机器人，避障是一个不可或缺的功能，本文章提供一种基于

  ，听说过吗？ 一年前，iPhone X发布前夕，业界传出了全新iPhone会用上

  传感器和深度摄像头的消息。 在这则传闻中，当时还没有发布的iPhone X能够最终靠深度摄像头实现AR建模

  与智能手机之间的关系也越发“亲密”，而明年它们之间的关系可能愈发紧密。昨日，一位业内人士向笔者透露，“今年下半年，

  全新的R17系列采用了多种渐变配色和开创性的水滴屏设计，在OPPO R17 Pro上，还首次搭载了

  结构光技术推出Face ID的生物识别技术，支持人脸解锁和人脸支付等新功能，带火了一波

  结构光的热潮。在国内市场上，OPPO在今年6月19日发布了OPPO Find X，同时搭载

  由于结构光本身的限制，目前最长的工作距离只能到 1 米左右，而 vivo 展示的

  当今时代，深度信息读取面临应用场景及安全性等因素的制约较为局限，很难取得进一步的突破，只有向

  超感应技术则为全新人机交互的到来打开了新的风口，也成为突破智慧未来的关键所在。

  超感应技术，这是继屏幕指纹、升降式摄像头之后，vivo给行业与消费的人带来了又一项黑科技，相较于大家所熟知的将

  前不久vivo发布的NEX搭载的升降式摄像头与第三代屏幕指纹技术，惊艳了不少人，但是在vivo看来那只是开胃菜罢了，大招还在本次MWCS 2018上，人家要展出一项黑科技——