Jeff De2021谷歌年度 Jeff(11)

了解基准数据集使用的动态也十分必要，因为它们在机器学习领域的中发挥着核心作用。尽管对单个数据集的研究变得更为普及，但整个领域的数据集使用动态仍有神秘领域待探索。最近谷歌发表了第一个关于数据集创建、采用和重用动态的大规模实证分析。
创建更具包容性和更少偏见的公共数据集是可以改善机器学习领域的重要方法。2016 年，谷歌发布了 Open Images 数据集，该数据集包含约 900 万张图像，标注了涵盖数千个对象类别的图像标签和 600 个类别的边界框注释。
去年，Jeff Dean团队在 Open Images Extended 集合中引入了更具包容性的人物注释 (MIAP) 数据集。它有更完整的人类边界框注释，像感知性别表示和感知年龄范围等都标有更为公平的属性。同时，研究人员还构建了数据集搜索来帮助用户发现新的数据集。
处理各种形式的在线滥用行为，例如有害言论、仇恨言论和错误信息等，能够有效大规模检测这类滥用形式，对确保平台安全、避免通过以无人监督的方式从在线话语中学习语言的此类负面特征的风险至关重要。
谷歌通过 Perspective API 工具进行了工作，但大规模检测有害性所涉及的细微差别仍然是高难度挑战。Jeff Dean等引入了全面分类法来推理在线仇恨和骚扰的言论变化局面。
他们同样研究了如何检测在网络中常被忽略的隐蔽有害形式，例如微歧视（microaggression）。研究了如何用传统方法处理数据注释中的歧视，这些主观概念会边缘化少数人的观点，并提出了一种新的基于多任务框架的分类建模方法。
其他的潜在问题是，机器学习语言理解和生成模型有时也会产生缺少证据支持的结果。为了在问答、总结和对话中解决这个问题，谷歌开发了一个新框架衡量结果是否可以归因于特定来源，并随后发布了注释指南，证明能够可靠地用于评估候选模型。
模型交互式分析和调试仍然是机器学习的关键。谷歌更新了语言可解释性工具，用新功能和技术推进这项工作，包括对图像和表格数据的支持，以及内置支持通过概念激活向量测试技术进行公平性分析等。
机器学习系统的可解释性和对模型决策过程的事后可重建性也是谷歌负责任的AI 愿景的关键部分。通过与 DeepMind 合作，研究人员在理解人类国际象棋概念在自对弈训练的 AlphaZero 国际象棋系统中的获取上取得了进展。

文章插图

图注：探索 AlphaZero 学习到的国际象棋概念。
谷歌也在将人工智能的视野拓宽到西方背景之外。他们最近的研究检验了基于西方机构和基础设施的传统算法公平框架的假设为何在非西方背景下不适应。
他们正在多个国家积极开展调查研究，以了解人们对人工智能的看法和偏好。西方对算法公平性研究的框架往往只关注少数几个属性，因此关于非西方背景的偏见在很大程度上被忽视，在经验上研究不足。
为了解决这一问题，谷歌与密歇根大学合作，开发了一种弱监督方法，在 NLP 模型中稳健地检测更广泛的地理文化背景中的词汇偏差，这些模型反映了人类在这些区域中对攻击性和非攻击性语言的判断。
此外，他们还探索了 ML在南半球主导的环境中的应用，包括为以农户为中心的机器学习研究提出建议。
基于社区的研究方法，也为谷歌设计数字福祉和解决机器学习系统中的种族平等问题提供了依据，包括提高对非裔美国人使用 ASR 系统体验的理解。
随着ML模型在许多领域的应用，私有信息的保护一直是研究的重点。沿着这些思路，谷歌最新研究解决了大型模型中的隐私问题，既强调了从大型模型中提取训练数据，也指出了在大型模型中实现隐私的方法，例如差分私有BERT。