另一个潜在的问题是 ， 机器学习算法生成的模型有时会产生缺乏证据支持的结果 。 为了在问题回答、总结和对话中解决这一问题 ， 谷歌开发了一个新的框架来衡量算法结果是否可以归因于特定的来源 。 我们发布了注释指南 ， 并证明可以使用这项可靠的技术来对候选模型进行评估 。
模型的交互式分析和调试仍然是负责任地使用机器学习语言的关键 。 谷歌对 Language Interpretability Tool 的技术和功能进行了更新 。 更新包括对图像和表格数据的支持 ， 从 What-If Tool 中继承下来的各种功能 ， 以及 Testing with Concept Activation Vectors 技术对公平性分析的内置支持 。 机器学习系统的可解释性也是谷歌提出的“负责任的 AI 愿景”（Responsible AI vision）的关键部分 。 在与 DeepMind 的合作下 ， 谷歌开始了解自我训练的AlphaZero国际象棋系统是如何获取人类的象棋概念的 。
谷歌还在努力拓宽“负责任的人工智能”的视角和格局 ， 使其超越西方的局限 。 一项最近的研究提出在非西方背景下 ， 基于西方机构和基建的算法公平概念并不适用 。 研究为印度的算法公平研究提供了新方向和新途径 。 谷歌正在几大洲积极开展调查 ， 以更好地了解人们对人工智能的看法和偏好 。 西方视角下的算法公平研究倾向于只关注少数几个问题 ， 因此导致很多非西方背景下的算法偏见问题被忽略 。 为了解决这一差距 ， 我们与密歇根大学（University Of Michigan）合作 ， 开发了一种弱监督薄的自然语言处理（NLP）模型 ， 以便在更广泛的地理文化语境中检测出语言偏见 ， 反映人类在不同的地理环境中对攻击性和非攻击性语言的判断 。
此外 ， 谷歌还探索了机器学习在发展中国家的应用 ， 包括开发一个以农民为中心的机器学习研究方案 。 通过这项工作 ， 我们希望鼓励人工智能领域更多思考如何将机器学习支持的解决方案带给千万小农户 ， 以改善他们的生活和社区 。
让整个社会的利益相关方参与到机器学习研发部署的各阶段是谷歌正在努力的方向 ， 这让谷歌牢记什么才是最需要解决的问题 。 本着这一原则 ， 我们和非营利组织负责人、政府和非政府组织代表以及其他专家之间举行了健康公平研究峰会（Health Equity Research Summit） ， 讨论如何将更多的公平带入整个机器学习的生态系统 ， 使公平原则从最初的解决问题贯穿到结果评估的最后一步 。
从社会出发的研究方法让谷歌在机器学习的系统中就思考数字福利和种族平等问题 。 谷歌希望更多了解非洲裔美国人对 ASR 系统的体验 。 谷歌也在更广泛地听取公众的意见 ， 以了解机器学习如何在重大生活事件中提供帮助 ， 例如提供家庭照顾 。
随着机器学习能力的提高和在许多领域的影响 ， 机器学习中的隐私保护是一个研究重点 。 沿着这个思路 ， 我们力求解决大型模型中的隐私问题 。 谷歌既强调训练数据可以从大型模型中提取 ， 也指出了如何在大型模型（例如 BERT）中实现隐私保护 。 除了上面提到的联邦学习和分析技术 ， 我们还一直在使用其他原则性和实用性的机器学习技术来保护隐私 。 例如私有聚类、私有个性化、私有矩阵补全、私有加权采样、私有分位数、半空间的私有稳健学习 ， 以及私有 PAC 学习 。 此外 ， 我们一直在扩展可针对不同应用和威胁模型定制的隐私概念 ， 包括标签隐私和用户与项目级别隐私 。
数据集：
谷歌认识到开放数据集对机器学习和相关研究领域的普遍价值 ， 我们继续扩大我们的开源数据集和资源 ， 并在 Google DataSet Search 中增加了开放数据集的全球索引 。 今年 ， 我们发布了一系列各个研究领域的数据集和工具：