有了丰富且专业的手语语库 ， 数字播报人如何精确地配合电视主持人“传情达意”？研究人员为它装上了“智能大脑” 。

文章图片

“冬奥手语播报数字人”在电视节目投入应用 。
“智能大脑”以超大规模预训练模型为核心技术 ， 通过语义蒸馏及手语翻译快编模型 ， 实现新闻播报语音蒸馏成语义高度接近的手语文字 ， 并翻译成符合手语习惯的语序 。
通俗点比喻 ， 新闻主持人一分钟可读200字 ， 但是手语传达不了这么多 ， 这个时候 ， 数字播报人像做“阅读理解” ， 将200个字提炼成50个词汇或者短语 ， 再将50个词用听障人士熟悉可懂的语法、语序打出来 ， 传递关键要义 。
与传统的AI模型相比 ， 中科院计算所所务委员陈益强表示 ， 研发团队自主搭建了多模态肢体动作、表情、手指同步采集系统 ， 实现了高自然度手语动作姿态生成 ， “数字播报人在拟人化方面更胜一筹 ， 表情更丰富 ， 口型更清晰 。 ”
【硬核科技为冬奥观赛体验创下多个第一】陈益强介绍 ， 该采集系统通过肌肉绑定技术驱动实现面部采集 ， 结合业内领先的语音识别及高清视频合成等技术 ， 呈现给听障人群亲切自然的冬奥手语播报服务 。