给AI装一双“慧眼” 深圳先进院团队研发出多视角4D人脸扫描系统

  （记者 叶梅 通讯员 刁雯蕙 林一程）图像识别、智能助手、虚拟人、文生视频等通用人工智能技术的持续不断的发展和创新，让人们进一步向智能时代迈进。然而，目前运用人工智能技术呈现的图像画面大多以二维效果为主，在空间、时间和细节方面仍有较大上升空间。

  如何为AI装一双“慧眼”，让画面看得更清、更细、更自然？ 4月29日，记者从中国科学院深圳先进技术研究院了解到，该院集成技术研究所机器视觉研究中心研究员宋展团队在人脸动态三维成像技术领域取得进展，研究团队自主研发出多视角4D高精度人脸三维成像系统，相较传统的3D人脸扫描技术，该系统在精度、分辨率和速度上均实现大幅度的提高，可应用在包括但不限于人脸识别、医疗诊断、影视特效等方面。

  据介绍，研究团队开发的多视角4D人脸扫描系统，由三个不同近红外波段的结构光相机构成，底层算法采用了宋展团队提出的高频条纹位移编码三维重建方法，能轻松实现1080P（1920*1080像素）分辨率下超过100帧每秒的三维扫描速度，基于GPU的高并行三维重建算法可实现高达300赫兹的实时重建速度，且深度成像误差小于0.05毫米。

  “每个深度相机都由一个近红外结构光投影光栅和一个工业相机组成，深度相机每重建一次，投影仪都要向被测物体投射一组预设高频条纹图案，并用相机拍下这些图案在被测物体上发生变形的图案。最终，根据相机拍到的变形图案分析得到深度信息，即3D信息。深度相机实现连续扫描，增加了时间轴信息，由此得到4D信息。”深圳先进院集成所在读硕士生吴迪解释道。

  此外，为实现多角度更为完整的三维人脸动态成像，该系统采用了三种不同波段的近红外光（人眼不可见）作为光源，既避免了人脸产生炫目，还避免了三套设备投影仪投射图案相互干扰，大大改善了成像完整性

  “近红外光低，对人眼友好，但是对皮肤具有一定的穿透性，使得投射的高频光栅图案产生模糊，降低了三维重建精度。”宋展表示，对此，研究团队采用了创新的图像增强算法，结合高鲁棒性的条纹编解码算法突破，提高了解码投射图案的相位计算精度，来提升了三维重建精度，与此同时还应该要考虑算法的实时性和并行性，为3D动态模型获取、头部姿态估计和面部表情迁移等基础工作的研究提供高精度的数据支持。

  宋展介绍，该系统在多个领域应用前景广阔，例如，在新型显示技术方面，有望为全息投影、空气成像等新型显示技术，以及AR显示终端提供三维数据采集设备；在影视领域，可实时捕捉演员的高精度面部表情，结合表情迁移技术，实现从真人的表情到卡通形象的表情迁移；在游戏领域，该系统可捕捉用户面部信息，结合视线追踪技术实现人机交互；在医疗领域，该系统可帮助提供患者面部表情信息，助力医疗诊断等；在人形机器人领域，该技术能为机器人提供更精确而敏锐的4D视觉感知方法，让其从只能干粗活变成可以干更多精细的活。

  人工智能技术的发展，很大程度上依赖于数据驱动。“二维平面上生成的图像或视频往往难以呈现出真实世界的三维结构，未来，AI技术生成的视频会逐渐从二维视频向三维视频发展，想要生成更高质量的三维视频，离不开三维数据的支撑。”宋展说道，该系统能为“3D+AI”研究提供了真实、精细的高质量三维数据，解决了目前该研究领域高精度三维数据不足的问题，为AI模型生成更高质量的视频提供实时、高精度的、高分辨率的数据支撑。

  据了解，目前研究团队已将该技术运用到电影特效、特种加工、面部3D诊疗、动态3D视觉引导装配等方面，并取得了良好的效果。未来，研究团队还将逐步加强底层算法研究，进一步提升编码效率成像速度，降低硬件成本，研制模块化高时空分辨率4D成像器件，将其应用于更多的工业和信息通信领域，为新质生产力发展提供锐利的视觉成像技术支撑。