文章图片
图丨DeepMind 公司（来源：DeepMind）
经过工程师们评估 ， 他们发现 ， GopherCite 模型在回答人类提出的自然问题子集上的准确度可达 80% ， 而在回答 ELI5 数据子集的问题的准确率则达到了 67% 。 如果不算 GopherCite 在遇到给不出确信度较高的答案而放弃回答的情况 ， GopherCite 在回答自然问题和 ELI5 问题集上的准确率更高 ， 分别可以达到 90% 和 80% ， 这一准确度甚至已经达到了与人类平均准确率接近的水平 。
但是 ， 当工程师们用一系列错误的答案来看 GopherCite 模型是否能“火眼金睛”不要调入陷阱时 ， GopherCite 的表现就没有那么优秀了 ， 并经常调入陷阱 。 例如当面对 “红牛可以带给你什么？”这一问题时 ， 它仿佛被广告词蒙骗 ， 信以为真 。
尽管仍有许多不足 ， GopherCite 是语言模型向前迈出的重要一步 ， 但它的构建过程也同时说明 ， 训练语言模型时 ， 对证据的引用只是提高安全性和可信度的总体战略的一部分 ， 还需要在许多其他方面进行更多的提升 。
-End-
参考：
https://deepmind.com/research/publications/2022/GopherCite-Teaching-Language-Models-To-Support-Answers-With-Verified-Quotes

文章图片