文章图片

▲上百位学生“数据标注”启动会
有了高质量的数据资源 ， 接下来就是关键的模型设定与训练 。 基于百度多年积累的领先的神经网络翻译技术 ， 团队设计了从中文文本到手语符号的翻译方法 。
通过对高价值数据的反复机器学习 ， 实现了兼具可懂度和精简度的翻译效果 ， 经历过多次调试 ， 终于成功地支撑起数字人高质量的实时播报能力 。
在团队全员的通力协作下 ， 该模型在不到两个月的时间内 ， 进行了6次大的版本迭代 ， 每一版都有明显进步 ， 最终从0到1推出了手语翻译模型 ， 可懂度达到85%以上 ， 媲美主流的中英、中日等方向的机器翻译结果 ， 达到业界领先的水平 。
>>动作生成模型 ， 让数字人“会表达”
到了这里 ， 手语数字人的研发还剩下“最后一公里”——即关于手势、口型、表情的塑造 。
针对手势问题 ， 百度运用人体动作的视觉识别技术 ， 通过机器学习手语视频 ， 再由二维骨骼点转化驱动三维数字人的手语动作 ， 真正实现了动作的 AIGC！

文章图片

▲数字人丰富的手势动作
精益求精的团队 ， 还提出抠好细节 ， 让手势动作更准确 ， 为此做了三大层面的努力：

• 第一是严格按照2019年国家通用手语词典的标准来执行 ， 这是“手语的普通话” ， 确保手势动作能让全国各地的听障人士看懂 ， 同时还把体育专有名词、时政新闻、常用短句等一并收入其中；

• 第二是用手指动捕和动作精修技术 ， 可以简单理解为每根手指的动作数据都必须有 ， 并且每根手指的弯曲角度都必须有标准参数；

• 第三是邀请手语专家组一个一个评审手语动作 ， 不达标的指出问题所在并打回优化 ， 为此团队搭建了一个手语动作的评审平台 ， 以加快项目的效率 。

就靠着这份“较真” ， 百度智能云目前已经建立了拥有近1万个手语动作的强大动作库 ， 为精准手语表达的实现发挥了重要贡献 。

文章图片

▲百度智能云手语动作库及人物模型构造
而在口型与表情方面 ， 百度智能云首创4D 扫描数据进行训练 ， 为表情与口型进行精准矫正 。 通过超10万个全身多边形面、超1万个脸部面、超240个面部表情行变基、超100个身体骨骼节点 ， 准确锁定微笑、开心笑、wink、吹泡泡、白眼、思考等表情 ， 赋予了手语数字人自然生动的表情 。 同时 ， a 啊、e 鹅、ü 鱼、u 乌等口型也被成功生成 ， 总体上口型生成的准确度超过98.5% 。

文章图片

▲手语数字人的精准口型及丰富表情
AI 手语主播
沉淀多一度的社会价值
【一手实录！朱广权的AI手语搭档是怎样“养成”的？】在整个研发过程中 ， 手语词库编辑、视频校对、动作录制、精修、融合算法开发等环节都需要密切协调配合 。 一次次的修改经常耗到凌晨 ， 而每一个合作伙伴都毫无怨言 ， 听障学生的贡献、生态伙伴的支持、手语专家的指导 ， 都让团队成员深感温暖 。
大家都深知彼此是因为做一件很有意义的事而走到一起 。 手语数字人的应用效果每增加一分 ， 听障人的沟通障碍就减少一分 。 当手语专家组为百度点赞时 ， 团队成员很受感动 ， 因为这代表着专家组身后2780万听障人士的“无声认可” 。