---

  视学算法报道  

2022年，人工智能（AI）取得了巨大的突破，特别是在大型语言模型（LLM）和文本到图像模型方面的进步明显。

这些技术进步要求我们在开发和部署时要深思熟虑，有意识地进行。本文主要分享过去一年中我们在整个研究中对待负责任的人工智能的方式，以及我们在2023年的方向。

主要有四个主题，包括基础和社会技术研究、应用研究和产品解决方案，作为我们承诺以负责任和道德的方式建立人工智能产品的一部分，与我们的人工智能原则保持一致。

机器学习（ML）研究

当机器学习（ML）系统在现实世界中使用时，它们可能无法以预期的方式表现出来，这就降低了其实现的效益。我们的研究确定了可能出现意外行为的情况，这样我们就可以减轻不希望出现的结果。

在几种类型的ML应用中，我们表明，模型往往是欠规范的，这意味着它们恰恰在训练它们的情况下表现良好，但在新的情况下可能并不稳健或公平，因为模型依赖于 "虚假的关联"--无法推广的特定副作用。这给ML系统开发者带来了风险，并要求新的模型评估实践。

我们调查了目前由ML研究人员使用的评估实践，并在解决常见的ML陷阱的工作中引入了改进的评估标准。我们确定并展示了缓解因果关系 "捷径 "的技术，这导致了ML系统缺乏稳健性和对敏感属性的依赖性，如年龄或性别。

为了更好地理解鲁棒性问题的原因和缓解措施，我们决定在特定领域深入挖掘模型设计。在计算机视觉方面，我们研究了新的视觉变换器模型的鲁棒性，并开发了新的负面数据增强技术来提高其鲁棒性。

对于自然语言任务，我们同样研究了不同的数据分布如何提高不同群体的概括性，以及集合和预训练的模型如何帮助。

我们ML工作的另一个关键部分涉及开发技术，以建立更具包容性的模型。例如，我们期待外部社区引导我们了解何时以及为何我们的评估会出现不足，使用参与式系统，明确地使预测的共同所有权，并允许人们选择是否披露敏感话题。

社会技术研究

在我们寻求将不同的文化背景和声音纳入人工智能发展和评估的过程中，我们加强了基于社区的研究工作，重点关注那些代表性较低或可能经历人工智能不公平结果的特定社区。

我们特别关注对不公平的性别偏见的评价，包括在自然语言和性别包容的健康等背景下的评价。这项工作正在推动对不公平的性别偏见进行更准确的评估，以便我们的技术能够评估和减轻对具有同性恋和非二元身份的人的伤害。

除了我们在公平性方面的进展，我们在开发文化包容性人工智能的更大努力中也达到了关键的里程碑。我们倡导人工智能中跨文化考虑的重要性——特别是用户对人工智能和问责机制的文化差异，并建立了能够进行文化定位评估的数据和技术。

以人为本的研究

在谷歌，我们专注于推进以人为本的研究和设计。最近，我们的工作表明，LLMs可以被用来快速建立基于AI的新的交互原型。

我们还发布了五个新的交互式可探索可视化，向研究界介绍了关键的想法和指导，包括如何使用突出性来检测ML模型中的意外偏差，以及如何使用联合学习来用来自多个用户的数据协同训练一个模型，而无需离开他们的设备的任何原始数据。

我们的可解释性研究探讨了我们如何将语言模型的行为追溯到训练数据本身，提出了比较模型所关注内容的差异的新方法，我们如何解释突发行为，以及如何识别模型所学的人类可理解的概念。

我们还提出了一种推荐系统的新方法，使用自然语言解释，使人们更容易理解和控制他们的推荐。

创意和AI研究

我们发起了与创意团队的对话，讨论人工智能技术与创造力之间迅速变化的关系。在创意写作领域，谷歌的PAIR和Magenta团队为创意写作开发了一个新颖的原型，并促成了一个作家研讨会，以探索人工智能协助创意写作的潜力和限制。

来自不同的创意作家的故事与研讨会的见解一起被出版成集。在时尚领域，我们探索了时尚设计和文化表现之间的关系，在音乐领域，我们开始研究人工智能工具在音乐方面的风险和机会。

看到自己反映在周围世界的能力是很重要的，然而基于图像的技术往往缺乏公平的代表性，让有色人种感到被忽视和误导。除了努力改善谷歌产品中不同肤色的表现外，我们还推出了一个新的肤色标尺，旨在对全世界的肤色范围有更大的包容性。

我们与哈佛大学教授和社会学家埃利斯-蒙克博士合作，发布了蒙克肤色（MST）量表，这是一个10级的量表，可供研究界和行业专业人士用于研究和产品开发。此外，这个量表正被纳入我们产品的功能中，延续了我们在图像搜索和谷歌照片过滤器中改善多样性和肤色表现的长期工作。

这是研究中负责任的人工智能如何与整个公司的产品紧密合作，为研究提供信息和开发新技术的众多例子之一。另外，我们利用过去对自然语言中的反事实数据增强的研究来改进SafeSearch，将意外的令人震惊的搜索结果减少了30%，特别是与种族、性取向和性别有关的搜索。

为了改善视频内容审核质量，我们开发了新的方法来帮助人类评分员将注意力集中在更有可能包含违反政策的长视频片段上。而且，我们继续研究开发更精确的方法来评估推荐系统中的平等待遇，考虑到用户和使用案例的广泛多样性。

在大模型领域，我们将负责任的人工智能最佳实践作为开发过程的一部分，为GLaM、PaLM、Imagen和Parti等模型创建模型卡和数据卡（下文有更多细节）、负责任的人工智能基准和社会影响分析。

我们还表明，指令的微调会给负责任的人工智能基准带来许多改进。由于生成模型通常是在人类注释的数据上进行训练和评估的，因此我们着重于以人为本的考虑，如评分者的分歧和评分者的多样性。

我们还提出了使用大型模型改善其他系统的责任感的新能力。例如，我们探索了语言模型如何为反事实的公平性探测产生更复杂的反事实。我们将在2023年继续关注这些领域，同时了解其对下游应用的影响。

负责任的数据

为了扩展我们早期在模型卡和模型卡工具包方面的工作，我们发布了数据卡和数据卡游戏手册，为开发者提供方法和工具来记录与模型或数据集相关的适当用途和基本事实。

我们还推进了对数据文档的最佳实践的研究，例如说明数据集的来源、注释过程、预期的使用情况、伦理考虑和演变。

我们还将其应用于医疗保健领域，创建了 "健康表"，作为我们国际合作的基础，将患者、卫生专业人员和政策制定者聚集在一起，制定标准，确保数据集的多样性和包容性，实现人工智能的民主化。

新数据集

公平性。我们发布了一个新的数据集，以协助ML公平性和对抗性测试任务，主要用于生成性文本数据集。该数据集包含590个单词和短语，显示了形容词、单词和短语之间的相互作用，这些形容词、单词和短语已被证明与特定的个人和群体有基于其敏感或受保护特征的刻板关联。

毒性评论审核

我们构建并公开发布了一个由10,000个帖子组成的数据集，以帮助识别一个评论的毒性何时取决于它所回复的评论。这提高了审核援助模型的质量，并支持研究界研究更好的方法来补救网上的毒性。

社会背景数据

我们使用我们的实验性社会语境库（SCR）为Perspective团队提供了与种族、宗教、年龄、性别或性取向等类别相关的术语的辅助身份和内涵语境数据--以多种语言提供。这种辅助的社会背景数据可以帮助增强和平衡数据集，以大大减少意外的偏见，并被应用于广泛使用的Perspective API毒性模型。

学习可解释性工具（LIT）

该工具在谷歌中被广泛用于调试模型，审查模型发布，识别公平性问题，以及清理数据集。它现在还可以让你可视化比以前多10倍的数据，一次支持多达十几万个数据点。

当输入中引用的敏感属性被移除或替换时，ML模型有时很容易翻转其预测。例如，在一个毒性分类器中，"我是一个男人 "和 "我是一个女同性恋 "这样的例子可能会错误地产生不同的输出。

为了使开源社区的用户能够解决他们的ML模型中的意外偏见，我们推出了一个新的库，即反事实Logit配对（CLP），它可以提高模型对这种扰动的鲁棒性，并能积极影响模型的稳定性、公平性和安全性。

我们相信，人工智能可以被用来探索和解决围绕人道主义和环境问题的艰难的、未解答的问题。我们的研究和工程努力横跨许多领域，包括无障碍、健康和媒体表现，最终目标是促进包容性和有意义地改善人们的生活。

服务的可及性

经过多年的研究，我们推出了Project Relate，这是一款安卓应用，使用个性化的基于人工智能的语音识别模型，使语音不标准的人能够更容易地与他人交流。在澳大利亚、加拿大、加纳、印度、新西兰、英国和美国，18岁以上的英语使用者都可以使用该应用程序。

为了帮助催化人工智能的进步，使残疾人受益，我们还推出了语音无障碍项目。这个项目代表了谷歌、亚马逊、苹果、Meta、微软和伊利诺伊大学厄巴纳-香槟分校的研究人员多年来合作努力的成果。

这个项目将建立一个大型的受损语音数据集，供开发人员使用，以增强无障碍应用的研究和产品开发。这项工作也补充了我们的努力，通过改进利用用户眼睛注视的技术，帮助有严重运动和语言障碍的人。

健康应用

我们还专注于建立技术，以改善受慢性健康状况影响的人的生活，同时解决系统性的不平等问题，并允许透明的数据收集。随着消费者技术--如健身追踪器和手机--成为健康数据收集的核心。

我们已经探索使用技术来改善临床风险评分的可解释性，并更好地预测慢性疾病的残疾评分，从而导致早期治疗和护理。

许多健康应用程序使用的算法旨在计算生物统计学和基准，并根据包括出生时的性别在内的变量产生建议，但可能没有考虑到用户当前的性别认同。

为了解决这个问题，我们完成了一项针对消费技术和数字健康应用程序的跨性别和非跨性别用户的大型国际研究，以了解这些技术中使用的数据收集和算法如何发展以实现公平。

媒体

我们与吉娜·戴维斯媒体性别研究所（GDI）和南加州大学（USC）的信号分析和解释实验室（SAIL）合作，研究了12年的电视表现。

基于对超过440小时的电视节目的分析，该报告强调了研究结果，并提请人们注意浅色皮肤和深色皮肤的角色、男性和女性角色以及年轻和年长角色在屏幕和发言时间方面的显著差异。

这项首创的合作使用先进的人工智能模型来了解媒体如何描绘以人为本的故事，其最终目标是激励主流媒体的公平代表性。

我们致力于创造研究和产品，为每个人示范积极、包容和安全的经验。这首先要理解我们所做的创新工作中固有的人工智能风险和安全的许多方面，并在达成这一理解时纳入不同的声音。

• 负责任的人工智能研究进展。我们将努力理解我们所创造的技术的影响，通过改进指标和评估，并设计方法，使人们能够使用技术成为更好的世界公民。

• 产品中负责任的人工智能研究。随着产品利用新的人工智能能力获得新的用户体验，我们将继续与产品团队紧密合作，了解和衡量其社会影响，并开发新的建模技术，使产品能够坚持谷歌的人工智能原则。

• 工具和技术。我们将开发新的技术，以提高我们发现未知故障的能力，解释模型行为，并通过训练、负责任的生成和故障缓解来改善模型输出。

• 展示人工智能的社会效益：我们计划扩大我们在人工智能促进全球目标方面的努力，汇集研究、技术和资金，以加快可持续发展目标的进展。这一承诺将包括2500万美元用于支持非政府组织和社会企业。我们将通过与社区专家和受影响的社区形成更多的合作，进一步推动我们在包容和公平方面的工作。

以负责任和道德的方式打造机器学习模型和产品，既是我们的核心重点，也是我们的核心承诺。

点个在看 paper不断！