在多语种语音语言技术研发领域 ， 由于涉及60多个语种的语音识别合成翻译等技术研发 ， 除了中英文之外 ， 针对其他语种（比如瑞典语、波兰语等）语料比较少的问题 ， 通过源头核心技术创新 ， 在端到端建模和无监督、弱监督训练方面取得重大突破 ， 例如在多语种语音识别方面 ， 100小时有监督数据加上大量无标签语音和文本数据可以达到1万小时有监督训练的效果 。 这项技术也在OpenASR国际低资源多语种语音识别挑战赛的15个语种受限赛道和7个语种非受限赛道系统 ， 全部取得第一名的成绩 。
在语音同传技术实时性和效果的平衡上 ， 我们知道 ， 同传要解决两个问题 ， 第一是要将语音识别转写出来 ， 第二是将转写的内容翻译出来 ， 以前这两个任务是单独建模先后完成的 ， 现在我们提出“流式的CAAT语音翻译框架”模型 ， 在一个模型内解决这两个问题 ， 从而实现同传效果的“又快又好” 。 这些技术创新 ， 对于保障冬奥场景下的语音同传应用效果起到非常关键的作用 。
【科大讯飞用技术说话 助力冬奥会信息沟通无障碍】在多语种自动问答中 ， 融合了数字人生成、语音识别、语音合成、自然语言理解等多项技术 ， 并结合FAQ问答、文档集合问答、知识库问答和基于文本蕴含识别的多源答案验证等技术进行知识库构建 ， 最终实现人们可以和冬奥虚拟志愿者“爱加”用六种语言自由互动交流 。