字节跳动，腾讯，商汤...揭秘大厂数字人背后的「黑科技」

等了6年，周董《最伟大的作品》MV首播，直接刷爆全网。

周杰伦一首钢琴曲化身时空旅人，瞬间回到了1920年代与艺术家们相遇。

杰迷们看后热血沸腾，纷纷等着数字专辑正式上线的那一刻。

不过，在那之前，周董就曾和一位特殊的粉丝「橙络络」同台演出。在熟悉的旋律中，网友们纷纷刷弹幕表示「爷青回」、「YYDS」、「全体起立」。

她穿着橙色连衣裙，伴随着轻快动感的旋律起舞，网友们为她纷纷打CALL。

‍除了橙络络，如下这些数字人，你可认得？

从平行宇宙破空而来的新生代唱作人李叙白。

新华社全球首位3D AI合成主播「新小微」。

‍

2022北京冬奥会上，冬奥手语播报数字人聆语。

‍

还有……

而刚刚所有这些数字人的实现，都是少不了一个看似「名不见经传」的公司——原力数字科技股份有限公司。

在数字人的领域，字节跳动，腾讯，商汤、讯飞、OPPO、百度，甚至还有清华大学等等，也都和这家公司展开了合作。

那么，这到底是什么神奇的魔力，让大厂们如此趋之若鹜呢？

数字人的模型采集

记得当年的「假老黄」么，也就用上百个相机拍几千张照片吧。

还是，衣服都不能放过的那种。

‍

别看只是咔咔一顿拍，这可是数字人的核心技术之一！

在这个直径3.5米的球形矩阵光照空间中，原力用331块自主设计编程LightForce照明灯板来保证照明的绝对可控和同步，与此同时，还可以进行高达每秒1000次的光场变换。

更厉害的是，这些RGB灯珠还可以模拟出自然界中各种的光照情况。

采集端则搭载了10台高速工业相机以及52台单反相机，再配合上LightForce灯头的同步照明，系统便能以超高的帧速率采集高精度面部动态几何模型（点数达到百万级别）在不同光照环境下的数据。

‍‍

在得到原始数据后，自研的软件会调用摄影几何算法自动生成高精度拓扑模型，并分离高光，生成精度高达8K的颜色图（Diffuse贴图）、法线贴图（Normal）、高光贴图（Specular）、以及次表面散射图（Subsurface scattering贴图）。

这一套流程下来，不管是演员表情、肌肉、褶皱、还是血管等信息，都能被捕捉下来。

如此，不仅大大缩短了制作超高精度写实数字人的周期，简化了制作流程，而且还能最大限度地还原演员表情精度和细节。

更进一步的，想实现超高精度的面部动态驱动，则必须得到连续的高质量的4D数字人面部动态数据。

于是，原力在这套系统的基础上又扩展开发了全新的4D扫描系统，实现了高达每秒60帧的⾼精度3D面部动态数据采集。

除此之外，原力已经开始利用系统采集巨量人体面部数据，为今后进一步利用机器学习自动生成高精度写实奠定了大数据基础。

数字人面部动画生成

数字人模型有了，如何让他们的面部动起来呢？

目前来说，业内一般采用的是面部捕捉的方式来采集面部动画的数据，例如ARkit，Faceware，DynamicXYZ等等。首先通过捕捉演员的表情动作，然后再映射到高精度的3D角色面部上。

问题是，这项工作的实现过程并非易事。

就拿市面比较流行的商业软件Faceware和DynamicXYZ来说，需要大量的现场人工校准。

为了解决这一难题，原力独创了一套区别于传统FACS（Facial Action Coding System）的表情编码系统。

借用深度学习中编解码器（Autoencoder）的原理，研究人员设计使用卷积网络提取演员表演中的表情编码，并且在不同的人脸中实现表情编码的统一。

然后通过共享表情编码隐层空间向量，便可将演员表情直接解算到数字人角色面部绑定，进而实现了一套基于神经网络的三维角色面部动画捕捉生成算法。

基于此算法，原力完成了OF_DeepFace的开发：一套「无标记点三维⻆色面部动画制作流程」系统。

有了这套系统，你只需要一套轻型红外摄像头盔或者普通RGB摄像头，就能实现从演员表演到超写实虚拟⻆色动画的实时转换。

既不用每帧模型做多摄像机立体重建工作，也不必手动校正关键点与虚拟⻆色的面部绑定，所有的工作都可以交给神经网络来完成。不仅实现了完全的自动化，顺便还节省了购置高端摄像硬件设备的成本。

此外，由于结构轻便、推理高效，这套自研的神经网络可以兼容任意的面部系统，包括目前流行的MetaHuman人脸方案。

而且，就算是在高精度的三维模型上，OF_DeepFace依然可以表现较高的性能，实现实际帧率达到60fps以上的推理结果果。不管是从采集质量，使用便捷性，还是兼容性上，都全面超越了国外的同类软件。

事实上，原力正是在此系统的基础上为很多客户了实时直播的全新解决方案。

除了面部表情的捕捉，很多场合是需要数字人能直接实时生成动画，而不能采用捕捉的方式，其中嘴部动画的生成也成为一个行业难题。

对此，原力又拿出了自家的最新研发成果——从语音（TTS）到面部动画的直接生成工具OF_DeepAudio。

和上面的工具一样，这个软件也是基于一个轻型的神经网络。

经过海量数据训练，神经网络可以从提取音频特征，并解算出⻆色面部控制器数值，自动生成自然流畅的数字人面部动画。

话说回来，光靠神经网络还是不够的，由于原力使用了上面说到的表情编码系统，整个语音驱动的效果也更加的自然，并且可以在不同的面部之间转换，无需重新学习。

数字人的实时驱动

针对这一痛点，原力研发团队提出了一种基于大数据的构想：抛弃使用各种变形器以及BlendShape的模式，直接用机器学习神经网络节点取代所有的变形计算。

基于上述思路，原力研发团队研发出了一套基于神经网络的面部绑定加速系统，以及模拟面部肌肉运动的面部实时绑定系统——OF_DeepRig。

OF_DeepRig工具可以自动分析原始肌肉运动文件，并自动随机生成海量训练数据进行训练。训练完成后，原始文件中的所有与绑定相关的计算，都会被一个神经网络定制节点取代，而所有的变形也都将转换为统一的表情编码系统下的参数。

这种方法可以完全复原任意的面部效果，唯一不同是比之前的人脸驱动方式大幅提升了驱动速度。

同样的，这个神经网络结构十分精简，在3D软件或者引擎中只有一个计算节点，推理速度可以达到实时，即使场景中有多个角色，仍然能够在场景中实现面部实时变形的效果。

此外，得益于原力研发的表情编码系统，还可以很方便的把人脸绑定效果迁移到其他不同的角色上。

目前，这项技术已经在腾讯，商汤，字节跳动，清华大学数字人的项目中得到了应用。

看到这，你是不是认为原力只是一家专注于做技术的公司呢？

其实早在1999年，原力数字科技的前身「原力动画」就已经成立了。

目前，原力已经发展成为了国内最大的3D数字内容和技术的企业之一，员工超过2000人。

除了之前提到的那些国内外众多知名公司外，原力甚至还为现在最热的元宇宙公司Meta提供技术和服务。

还记得，开头曾提到和周董同台演出的虚拟人吗？

她就是中国移动的橙络络，一个来自2070年的AI元气美少女。

作为动感地带全新品牌代言人的她，一出道便引发了全网热潮。

据统计，她在咪咕汇年度盛典的首秀全网总播放量累计高达6.1亿，斩获11个热搜，关键词冲榜TOP1。

橙络络的大获成功，背后离不开原力对其进行原创数字人IP的内容创制及深度的运营。

原力VP，负责数字人运营业务的张苏粤介绍道：

我们坚信唯有「创意+技术」的双向赋能，才能为品牌更好地触达年轻用户服务。而我们所能提供的，正是数字人IP创制及运营的「一站式」解决方案。结合多年来为影视及游戏项目提供高端创制服务的经验，又基于公司自研的领先数字人技术，我们研发出一套以数字人IP为核心、兼顾原创性及品牌向复合诉求的全流程创制体系。

那具体是一套怎样的流程呢？

首先需要做充分的市场调研，搞清楚「新时代人群最喜爱/最期待的形象是什么样的」。

其后，基于此展开对虚拟人物和故事内容的文本设定，用更直白的话说，便是为其赋予更真实的生命。

这其中就包括了世界观搭建、人物小传开发、核心概念策划，以及故事总纲分纲的撰写等非常专业的内容创制环节。

例如，根据广泛的深度调研以及B站用户反馈，将橙络络设定为来自未来2070年的AI人工智能少女，同时具备瞬时传输、全息场景生成功能、以及超级脑存储功能等与品牌结合度更高的设定。

有了丰富准确的人物设定后，艺术家便可以开始非常关键的原画美术设计。再之后便是前文介绍的数字人CG资产制作、绑定、动作捕捉和训练。

值得一提的是，原力这套新体系的最大特别之处在于：

它不仅具备了更强的定制化内容策划及制作能力，能够与品牌伙伴一道，为数字人IP共创出新鲜有趣、充满科技感、又能获得特定受众喜爱的平面及视频内容，而且根据品牌的整体策略为该内容定制各个社会化媒体平台的投放及运营策略。

可以看到，原力所展现出强大的虚拟直播以及大型现场XR表演的全流程制作及发布能力，橙络络与周董的首秀合作舞台便是最佳例证。

而开头我们提到的元宇宙新生代歌手李叙白，他的创制也同样由上面所提到的全流程体系所悉心打造。

后续，还有两支精彩视频将在本月内发布，相信能够再度惊艳行业同仁。

张苏粤表示，「根植于公司强大技术力的全流程创制体系，使我们在行业中独树一帜，让我们逐步建立起了团队独特的品牌和定位——为品牌打造全方位数字人IP资产，全面赋能品牌的创新营销策略。」

公司CEO赵锐补充说，「自研技术能为内容的传播提供更多支持，反之，优秀的内容创作还能反哺技术研发。」

原力作为国内最大的3D数字内容服务提供商，2200多名员⼯每天都在⽣产和制作⼤量的3D数据。

这些海量数据也成为原力在数字人领域能在技术和内容上都独树一帜的基础，数据促进技术的提升，新的技术也反哺了内容的创制。

这恰恰印证了，原力数字科技不仅是技术者，更是内容创作者。

未来，期待原力能够在技术和内容创作上继续大放异彩，带来更多亮眼的产品。

点击下方“阅读原文”，申请加入【16群】