文章图片

鹏城-百度·文心压缩版模型效果
鹏城-百度·文心在线蒸馏方案的效果非常显著 ， 模型参数压缩率可达99.98% 。 压缩版模型仅保留0.02%参数规模就能与原有模型效果相当 。 相比直接训练参数规模是自身2倍的BERT Base模型 ， 鹏城-百度·文心在5项任务准确率上绝对提升了2.5% ， 而相对于同等规模的RoBERTaBase ， 准确率则绝对提升了3.4% ， 验证了鹏城-百度·文心在线蒸馏方案的有效性 。
结语
文心ERNIE自2019年诞生至今 ， 在语言理解、文本生成、跨模态语义理解等领域取得多项技术突破 ， 在公开权威语义评测中斩获了十余项世界冠军 。 2020年 ， 文心ERNIE荣获世界人工智能大会WAIC最高奖项SAIL奖 。
目前 ， 文心ERNIE已大规模应用于搜索、信息流、智能音箱等互联网产品 ， 并通过百度智能云输出到工业、能源、金融、通信、媒体、教育等各行各业 ， 助力产业智能化升级 。 本次发布的鹏城-百度·文心将进一步解决 AI 技术在应用中缺乏领域和场景化数据等关键难题 ， 降低门槛 ， 加快人工智能大规模产业应用 。