作者 | AI Now Institute

翻译 | 丛末

编辑 | 唐里

作为一家跨学科研究 AI 对社会、政治和伦理的影响的 AI 研究机构，AI Now 研究所自创立以来的四年时间里，已发布三份年度报告，在去年的《AI Now Report 2018》中，该研究所对围绕 2018 年人工智能的一连串技术丑闻的核心——问责制进行了回应，并从该问题出发，对包括监控问题，公平、偏见与歧视问题以及伦理问题在内的其他相关问题提出了解决提议，AI 科技评论也对该报告进行了

报道。

作为年度报告的前期预热，AI Now 研究所也举办每年一届的「AI Now 研讨会」，邀请了跨学科的研究者来一同探讨相关主题。日前，纽约大学 AI Now 研究所举办的第四届 AI Now 研讨会上，邀请到了研究所的组织者以及相关领域的学者以及律师，聚焦于 AI 带来的负面影响所引起的与日俱增的抵制之声展开了讨论。

2019 年距离尾声还有一段时日，在迎接 AI Now 研究所的年度报告之前，我们不妨先从今年的「AI Now 研讨会」来一窥本年度 AI 对社会、政治和伦理带来了哪些问题和影响。

左为 Meredith Whittaker，右为 Kate Crawford

与往年一样，AI Now 的联合创始人 Kate Crawford 和 Meredith Whittaker 为该研讨会做开场致辞。在开场致辞中，两位创始人主要聚焦以下五个主题，简短地过去一年中人工智能领域出现的「反对」声音：

（1）人脸和情感识别；

（2）从「AI 偏见」到公正的转变；

（3）城市、监视、边界；

（4）劳力、工会和 AI；

（5）AI 对气候的影响。

AI 科技评论将两位的致辞实录编译如下，并进行了不改变原意的删减。

一、人脸和情感识别

2019 这一年，企业和政府都在加大力度推广人脸识别技术在公共住房、招聘和城市街道等场景中的应用。目前，美国一些航空公司甚至采用人脸识别的登机方式而无需登机牌，它们表示这样更加方便。

人脸识别的一个子类别——情感识别也得到了更加广泛的使用，它通过解析面部的微表情来「读取」人的内在情绪。正如心理学家 Lisa Feldman Barret 在一份广泛的调查报告所提到的，这种 AI 相貌学并没有可靠的科学依据。然而，这种没有可靠的科学依据的技术现在却已经用到了课堂和工作面试中，并且往往是在让人们不知情的情况下使用。

例如，乔治城大学隐私和科技中心获得的一份文件就曾揭露，FBI 和 ICE 在未经个人同意或未经州或联邦立法机构授权的情况下，一直在暗自访问驾驶执照数据库，并对数百万张照片进行面部识别搜索。

而在今年，随着美国公民自由联盟（ACLU）的 Kade Crockford、罗切斯特理工学院的 Evan Selinger 和东北大学的 Woodrow Hertzog 等一众组织者和学者呼吁对人脸识别进行严格限制后，选民和立法者也开始针对该问题做出了一些举措。第九巡回上诉法庭（The Ninth Circuit Court of Appeals）最近对将 Facebook 因未经许可而对用户的照片进行面部识别的起诉案裁定为隐私侵犯。

在传媒正义（Media Justice）等组织领导的运动下，旧金山于今年 5 月签署了第一个人脸识别禁止法案，随后又有另外两个城市也相继签订了该禁止法案。不久前，Bernie Sanders 民主党总统候选人也曾承诺将在全国范围内推行该禁令。另外大部分音乐人也要求在音乐节上停止使用人脸识别技术，与此同时，现在还出了一部叫做《禁止生物识别屏障住房法》（No Biometric Barriers to Housing Act）的联邦法案，旨在禁止在公共住房中使用人脸识别。

欧洲同样也发生着此类抵制运动：英国议会委员会呼吁，在建立法律框架前要停止对人脸识别的试验；而布鲁塞尔警方对这些人脸识别技术工具进行测试的行为，近来也被视作是非法的。

当然，要实现这些改变，我们还有很长一段路要走。而现在我们需要明确的一点是，这并不属于完善技术和消除偏见方面的问题。鉴于被监视、追踪和逮捕的人存在种族、收入方面的差异，即便是再精准的人脸识别技术也会带来不同的危害。正如 Kate Crawford 最近在《自然》杂志上所写道的：消除系统的偏见并非 AI 的重点，这些系统「发生故障时会带来危险，顺利工作时则会带来危害」。

二、从「AI 偏见」到公正的转变

今年，我们也看到了人工智能界的一项重要进步：从狭隘地聚焦于从纯技术层面对 AI「去偏见」转变到更实质性地关注公正。

一定程度上，这也是由很多令人不安的事件所推动的。

例如，密歇根州前州长 Rick Snyder 是一位技术主管，曾主导治理过「弗林特水危机」，也正是他决定安装一个可用于整个州的自动化决策系统——MiDAS。该系统设计的初衷就是用来自动标记出涉嫌福利欺诈的工人。为了削减福利开支，该州安装了 MiDAS 系统，整个欺诈检测部门的人都遭解雇。然而，该系统最终被证明存在 93% 的错误率——它错误地检测出 40,000 多名居民涉嫌福利欺诈，导致很多人面临破产甚至自杀。值得一提的是，MiDAS 还只是一众旨在缩减贫困人口的紧缩政策中的一个案例。

另外一个案例来自于 AI Now 的政策负责人 Rashida Richardson 所领导的研究，她研究了警察的日常工作与预测性警务软件之间的关联性。最终，她和她的团队发现，在美国多个警察部门中，预测性警务系统可能使用了来自存在种族主义和徇私舞弊的警察所留下的带有误导性的记录。

显而易见，在这种情况下，纠正系统的偏见的关键点不在于删除数据集中的某一个或另一个变量，而是需要改变警察记录数据的做法。

人权数据分析组（Human Rights Data Analysis Group）研究人员 Kristian Lum 的一项开创性的工作——算法如何放大警务中的歧视性记录，也表明了这一点。

来自普林斯顿大学的 Ruha Benjamin，最近出版两本意义非凡的书：《追逐科技》（Race After Technology）和编辑本《迷人的科技》（Captivating Technology）。她与 Dorothy Roberts 、Alondra Nelson 等一众学者强有力地研究了分类政治、如何利用种族来调整社会等级以及此类逻辑如何应用到 AI 技术中。

Kate Crawford 和 AI Now 艺术家研究员 Trevor Paglen 最近还在他们的 Training Humans 展览中审视了分类政治。该展览是第一个着眼于用来创建机器学习系统的训练数据的大型艺术展，它研究了从 Woody Bledsoe 在1963 年所做的第一个实验到最著名和使用最广泛的基准集（例如 Wilded Labeled Faces 和 ImageNet）的 AI 训练集的历史和逻辑。

ImageNet Roulette 是与展览一起使用的视频安装和应用程序。

该程序在 9 月份风靡一时，成千上万的人在上面上传了他们的照片以查看 ImageNet 如何对这些照片进行分类。此事件具有重大意义。ImageNet 作为一个规范的目标识别数据集，它在塑造 AI 的产业化方面比其他数据集更有潜力。

虽然 ImageNet 所做的一些分类很奇怪，甚至很滑稽，但数据集也囊括了极端问题的分类，其中很多是与种族主义和妇女歧视相关的。Imagenet Roulette 则为人们了解 AI 系统如何分类这些极端问题提供了一个界面，这实际上暴露出了 AI 系统在复杂和动态世界场景中所做的分类工作的狭隘性和高度格式化。Kate Crawford 和 Trevor Paglen 在发表的一篇调查性文章中，揭开了 AI 系统在多个基准训练集上工作的面纱，进而揭示了这些系统存在的政治性架构。

这是为什么艺术与科研的结合有时会比单个学科能够产生更大影响的另一个原因，这也促使我们考虑：由谁来定义我们所属的类别以及由此带来的后果。

三、城市、监视、边界

能源、分类和控制问题是今年美国在全国范围内大规模部署企业监视系统的背景色。以亚马逊的门铃（Ring）为例，这就是一款监控摄像头和门铃系统，人们能够用它来 24 小时监控家和附近地区。

亚马逊正在与 400 多个警察部门合作推广这款门铃，并推动警察说服当地民众来购买该系统，让这些警察都变成有点像挨家挨户上门推销安防产品的销售员了。

作为达成合作的一部分，亚马逊能够持续获取视频内容；与此同时，警察也能够访问监控视频以随时调用。亚马逊目前已经对此申请了人脸识别专利，暗示他们具备将视频中的人脸与「可疑人员数据库」进行比对从而有效地在全国范围内建立私有化的家庭监控系统的能力。

但是这款门铃仅是更严峻的监控问题的一个部分。正如 Burku Baykurt、Molly Sauter 和 AI Now 研究员 Ben Green 等学者所说的，「智慧城市」这一科技乌托邦式的言论，正在掩盖更深层次的不公正和不平等问题。

如今，居民们也开始意识到这个问题。就在 8 月份，圣地亚哥居民就对安装「智能」灯柱进行了抵制；就在同一时间，香港居民也对「智能」灯柱进行抵制。

今年 6 月，纽约州洛克波特市的学生和家长对学校使用人类识别系统进行抵制，这种人脸识别系统能够让该地区随时追踪和定位所有学生或老师的位置。现在，学校已暂停使用该系统。

而在 2 月份，在纽约一个大型联合组织的施压下，亚马逊废置了其在皇后区的第二个总部。组织者们强调，纽约不仅给亚马逊提供了丰厚的激励政策，还给其劳动者带来了工作机会以及人脸识别技术部署及与 ICE 的签订合同的好处。这也给我们敲了一记警钟：这些抵制活动其实是由多重问题引发的——尤其是当这些科技公司能够从不同的部门摄取利益时。

而最不负责任地滥用这些监控工具的地区之一就是美国南部边境，ICE、海关和边境巡逻队都在部署这类 AI 系统。

目前，有 52000 名移民被关在监狱、拘留所以及其他限制人身自由的地方，40000 名无家可归的人在靠近墨西哥的边境等着提出庇护申请。在过去的一年中，已经有 7 名儿童在 ICE 的拘留中死亡，与此同时，还有许多儿童面临食物不足和医疗资源匮乏的问题。这些正在发生的令人惊心的现状，已无法用语言来形容。

根据宣传组织 Mijente 的报告，我们知道亚马逊和 Palantir 这样的公司正在为 ICE 提供驱逐难民出境的引擎系统。而为了反抗，已经有来自十一所大学的超过 2000 名学生签署了拒绝与 Palantir 合作的保证书。与此同时，已经与 ICE 签约合作的科技公司总部几乎每周都有抵制活动。

四、劳工，工会和 AI

当然，当我们审视到 AI 领域的多样性问题日益加剧时，种族、阶级和性别等方面的结构性歧视问题也在暴露无遗。

4 月，AI Now 发布了由博士后 Sarah Myers West 领导开发的歧视系统（Discriminate Systems），这项研究体现了 AI 内在的歧视性文化和 AI 系统中嵌入的偏见及歪曲事实之间的反馈回路。这项发现令人震惊。

正如 AI 行业将自己标榜为财富和权力的纽带一样，AI 也正在变得更日益同质化。显而易见，AI 整个领域存在一个普遍的问题。

但是，也有人不断呼吁求变。爆料人 Signe Swenson 和记者 Ronan Farrow 曾推动揭示了 MIT 将地位和金钱置于女性安全之上的筹款文化。最早要求问责的人之一是来自肯尼亚的研究生 Arwa Mboya。她讨要公道的做法，与从前没有制度性权利的有色人种妇女为争取权利发声的方式非常相像，成为该事件的破晓之声。当然，MIT 并非个例。

从谷歌罢工到 Riot game，再到微软工人与 CEO 当面「对质」，我们已经看过了多家科技公司发声的一系列罢工和抵制，他们的要求无一例外：消除工作中的种族和性别不平等。

或许大家都知道，今年早些时候，AI Now 联合创始人 Meredith Whittaker 离开了谷歌。当时，她对行业的发展方向越发感到震惊：事情正在变得更糟，而非更好。因此，她和她的同事们开始围绕工作场所中 AI 的负面应用和滥用进行梳理，其他老师和研究者也发挥了集体力量为他们提供了宝贵的意见。

另外，AI Now 的研究和许多其他学者的研究也为这项梳理工作提供了信息，而这项梳理工作也为政治行动和组织提供了宝贵的指导。在此过程中，科技工作者发起的运动也在增多，其中多数运动取得了胜利，并为那些敢于站出来说话的抵制者积累了一些经验。

合同工是这一事件的核心人物，他们是科技公司中最早组织抵制活动并为此类活动铺路的群体之一。他们在科技公司的劳动力中占了一半以上的比重，但是没有得到全面的就业保障，并且收入通常只能勉强维持生计。Lilly Irani、Sarah Roberts、 Jessica Bruder 以及 Mary Gray 等学者的工作，有助于引起这些「影子劳动力」对此方面的关注。

用于员工管理的 AI 平台也是一个日益严重的问题。从 Uber 到亚马逊的仓库，这些巨型自动化平台指挥员工工作、设定绩效目标并决定他们的工资，这就让员工完全受制于 AI。

例如，在今年早些时候，Uber 在没有任何解释或警告的情况下，通过对其平台更新暗自大幅削减了员工的工资。与此同时，外卖公司 Door Dash 被曝，毫不夸张地说——窃取了用户以为存在了应用程序上的小费。

庆幸的是，我们也看到这些员工取得了一些重大胜利。例如 CA 的 Rideshare 司机在 AB-5 法中取得了巨大胜利，这项法案要求基于应用程序的公司向司机们提供全面的就业保障。对于这些员工而言，这为其现状带来了里程碑式的改变。

在美国东岸，Bhairavi Desai 正领导着她在 1998 年创办的纽约出租车从业者联盟（New York Taxi Workers Alliance）开展相关抵制活动，目前该组织成员已超过 21,000 人。她领导的首次抵制活动之一，在与共乘公司的对抗中赢得了胜利。

五、AI 对气候的影响

而所有这些问题产生的背景都是气候。需要整个地球的资源来进行的运算，也会对整个地球产生影响。

AI 极度耗费能源，并消耗了大量自然资源。在今年早些时候，来自阿姆赫斯特的研究员 Emma Strubell 发表了一篇论文，揭示了训练 AI 系统所造成的大量碳排放。她的团队表明，仅创建一个用于自然语言处理的 AI 模型，就可以排放多达 600000 磅的二氧化碳，相当于纽约和北京之间 125 架往返航班所产生的二氧化碳。

大型 AI 的碳排放，往往就暗藏于诸如「云」此类的抽象产品。实际上，据估计，世界上的计算基础设施的碳排放量与航空业差不多，在全球碳排放总量占很大比重。

目前，针对该问题的抵制活动也在增多。就在本月，我们看到了空前的「跨技术部门员工行动」，他们都在为气候问题抗争。

他们要求科技巨头到 2030 年实现零碳排放量，与燃料公司实现零合作，并且要求这些公司不再部署引发气候问题的 AI 技术。

与此同时，我们也看到了大家对于 AI 的使用边界以及气候正义运动的共同关注。

总结：与日剧增的抵制之声

我们可以看到的是，一股逐渐增强的抵制浪潮席卷而来，从抵制「人脸识别必不可少」的言论到拒绝在家庭和城市各个空间中安装追踪技术：大量相关的抵制活动正在开展中。

显而易见的是，AI 引发的主要问题是社会、文化和政治问题，而非技术问题。并且这些问题——从刑事司法到工人权利，再到种族和两性平等，都有悠久且难以打破的历史渊源。这就意味着，我们这些对 AI 的影响有所担忧的人，需要找出已针对这些问题所做的相关工作并进一步开展，同时还要了解曾经为解决这些问题开辟了道路的成果的历史。

定格在 2019 年的这些抵制之声，也提醒我们：现在还有一扇窗的机会来决定哪些类型的 AI 是我们能够接受的，以及如何让 AI 自身负起责任。

编者注：演讲者在致辞中，对出席本次研讨会的一众嘉宾进行了介绍，AI 科技评论保留了对本文内容具有补充意义的一部分嘉宾介绍，而删减了不对全文内容造成影响的另一部分嘉宾介绍。希望了解所有出席本次研讨会的嘉宾的读者可前往 https://medium.com/@AINowInstitute/ai-in-2019-a-year-in-review-c1eba5107127 阅读原文。

招聘

1

论文内容运营

AI研习社是一个服务AI学生、学者、从业者的UGC内容平台，目标是从教学课程、技术经验分享、学术见解讨论、比赛和工作机会等角度提供资讯，也是用户输出观点、互相交流、打造个人品牌的土壤。

工作内容：

1. AI研习社社区论文板块运营

2. 联系、维护外部兼职稿源

3. 参与多样化内容输出、活动策划

4. 参与社区产品的长期维护和改进

任职要求：

1. 有一定IT、计算机科学知识见闻

2. 热情友善，善于沟通

3. 英语能力是加分项

简历投递地址：yangxiaofan@leiphone.com

招聘

2

论文内容编辑（可招实习生）

AI研习社是一个服务AI学生、学者、从业者的UGC内容平台，目标是从教学课程、技术经验分享、学术见解讨论、比赛和工作机会等角度提供资讯，也是用户输出观点、互相交流、打造个人品牌的土壤。

工作内容：

1. 关注、了解人工智能相关领域学术研究动向，形成兼具专业度和传播力的报道内容（发表在雷锋网、公众号以及AI研习社社区）

2. 采访高校学术青年领袖，输出人工智能领域的深度观点；

3. 解读国内外学术热点，深入剖析学术动态

任职要求：

1. 理工科背景，有一定计算机科学知识

2. 英语好，能阅读英文科技网站&博客

3. 乐于钻研，认真严谨；有文字功底更佳

简历投递地址：yangxiaofan@leiphone.com

招聘

3

兼职外翻

AI研习社是一个服务AI学生、学者、从业者的UGC内容平台，目标是从教学课程、技术经验分享、学术见解讨论、比赛和工作机会等角度提供资讯，也是用户输出观点、互相交流、打造个人品牌的土壤。

工作内容：

1. 翻译一些人工智能相关领域的学术动态、技术博客等（文章发表在雷锋网、公众号以及AI研习社社区）

2.无需坐班，工作时间、地点自由

任职要求：

1.英文读写能力较强，能阅读英文科技网站&博客

2.具备一定的计算机科学知识，能看懂相关的专业词汇

3.认真严谨，做事不拖拉，能够按时完成派下来的外翻任务

简历投递地址：xinglijuan@leiphone.com