新智元报导
来历：techxplore
修改：梦佳
拿手机拍一段视频就能完结人脸3D建模，高度传神！
还记得阿凡达里的3D人脸数字建模吗？阿凡达的人物3D建模是运用通行已久的 LightStage 技能将方针目标360 度拍出各视点完好印象之后经过符号与微调后让程式主动建模与贴图。南加大团队打造了具有球体外型的“LightStage”硬件设备，剧组艺人进入球体拍照不同光线来历与亮度的相片，再运用核算机程序，打造传神的人脸模型，从而做出电影中的虚拟人物。
而这种3D人脸建模技能一般需求十分贵重的设备和专业方面技能才行。而现在，卡内基梅隆大学的研讨人员经过在一般的智能手机上录一段视频，就能轻松完结！并且作用传神又不吓人。
轻轻松松完结人脸3D建模
用智能手机接连拍照包括面部正面和旁边面图画的视频会发生许多的数据。卡内基梅隆大学机器人学院研讨中心开发了一个两步进程，在深度学习算法的协助下，进行了人脸模型的数字重建。该团队表明，他们的试验办法精度能够到达亚毫米等级，比其他根据摄像机的建模进程作用更佳。
人脸数字技能的运用十分广泛，可拿来制造游戏，VR或许AR，也能够用于动画、生物辨认乃至医疗范畴。一个准确的面部3D烘托也有助于打造定制的外科口罩或呼吸器。
动画片中的运用
VR虚拟现实运用
机器人学院的副研讨教授 Simon Lucey 说: “人脸的3D重建一直是核算机视觉和图形学范畴的一个悬而未决的问题，由于人脸面部特征十分细致入微。假如重建进程中呈现细微反常，也会让终究成果看起来和实践的面部特征差许多。”
激光扫描仪、结构光和装备多个相机设备的工作室能够发生高精度的面部扫描成果，可是这些专业的传感器关于大多数运用场景来说贵重得让人望而生畏。可是，卡内基梅隆大学新开发的办法只需求一部智能手机。
这个办法由Lucey 与硕士生 Shubham Agrawal 和 Anuj Pahuja 一起研制，于3月初举办的 IEEE 核算机视觉运用冬天会议上展现。首先要拍照15到20秒的一个视频。研讨人员运用iPhone x 的慢动作功用进行了拍照。
“高帧率的慢动作是咱们规划办法的要害之一，由于它生成了一个密布的点云，”Lucey 说。
深度学习算法助力建模
然后，研讨人员采用了一种常用的技能，叫做视觉即时定位与地图构建(SLAM)。可视 SLAM 将表面上的点进行三角测量以核算其准确的形状，一起运用这些信息来确认摄像机的方位。这种技能能够创立人脸的初始几许图形，但短少的数据会在模型中留下空白。
第二步，研讨人员运用深度学习算法来添补这些空白。可是，深度学习只能在有限的范围内运用:它能够辨认人的全体外观和一些符号点，比方耳朵、眼睛和鼻子。然后运用经典的核算机视觉技能来添补SLAM的空白。
“深度学习是咱们每天都在运用的一个强有力的东西，” Lucey 说。“可是深度学习会倾向于回忆解决方案” ，可是面部细节千差万别，回忆功用并不利于区别这些不同。
这种办法比较耗时，需求30-40分钟的处理时刻。可是整一个完好的进程都能够在智能手机上完结。
除了面部重建，卡内基梅隆大学研讨小组的办法也可拿来捕捉简直任何物体的几许形状。然后，这些物体的数字重建能够被整合到动画中，或许经过网络传输到能够仿制物体的3D 打印网站。
参阅链接：https://techxplore.com/news/2020-04-smartphone-videos-highly-realistic-d.html
