凯特·克劳福德警告：人工智能全球范围内加剧权力失衡风险

凯特·克劳福德

凯特·克劳福德（Kate Crawford）是当代人工智能与社会研究领域的知名学者。她是洛杉矶南加州大学的研究教授、纽约微软研究院的高级首席研究员，还是巴黎高等师范学院首任人工智能与司法客座教授。她的研究集中在人工智能的社会和政治影响，涉及领域包括数据伦理、算法公平、隐私保护、以及技术在社会中的权力动态。

除学术研究外，凯特·克劳福德还制作艺术装置和视觉调查作品，这些作品已在全球一百多家博物馆和双年展上展出。

《Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence》书封

凯特·克劳福德2021年发表著作《Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence》，详细探讨了人工智能技术从开发到部署的整个生命周期，并分析了其广泛的社会、经济和环境影响。她在书中指出，人工智能不仅是一个技术问题，还是一个政治问题，它涉及资源的分配、权力的集中以及环境的代价。澎湃新闻在该书中文版《技术之外：社会联结中的人工智能》今年出版之际采访了凯特·克劳福德。

中文版《技术之外：社会联结中的人工智能》书封

澎湃新闻：你在书中提到“人工智能是权力的登记表（AI is a registry of power）”，“registry”通常指的是一个登记、注册或者记录的系统或列表，它代表一个包含了某些类别信息的官方或正式记录。你能详细解释一下这个概念吗？在你看来，人工智能如何在根本上是政治的？

凯特·克劳福德：如果你有一份“registry of power”，这可能意味着一个记录或数据库，其中列出了与权力相关的某些信息，如掌握权力的个人或机构、权力的来源和分配、权力的演变等。

人工智能系统并不是中立的技术。它们嵌入了现有的权力结构，并且往往会强化或放大社会不平等。人工智能的发展反映了那些创造和控制这些技术的人的优先事项和偏见。例如，选择用哪些数据来训练人工智能系统是非常主观的——而这些数据集塑造了人工智能模型。关于收集哪些数据、如何对其进行分类以及排除哪些数据的选择都涉及一些决定，这些决定塑造了人工智能将增强的权力类型。我们只需问一句：“谁是英雄？科学家是什么样子？”就能看出哪些政治观点占主导地位。

人工智能在管理和分配资源的方式上也是一种权力的掌握者。人工智能需要大量的能源、水和关键原材料。掌控人工智能的公司和政府会为自己谋取利益而榨取（extract）这些资源，而为其提供资源的社区往往会遭受苦难。同样的情况也出现在人工智能发展中通常被“隐身”的劳动中，包括数据标记和内容管理，这往往会剥削低收入国家的工人。了解和解决权力是如何被人工智能所集中的，对发展更加公平和正义的技术未来至关重要。

澎湃新闻：你提到人工智能是由西方少数主导公司驱动的一种非民主政治（non-democratic politics）的形式，这会对资本主义社会的经济差距和民主进程产生什么影响？

凯特·克劳福德：人工智能作为一种技术，在当前的发展轨迹下，存在着显著加剧社会中已经存在的不平等和权力失衡的风险。它继续将权力集中在少数大型科技公司手中——这些公司被称为人工智能领域的“豪门”（Great Houses of AI），因为它们拥有获取生态、计算、数据和劳动力资源的能力，这些资源是构建和维护全球人工智能系统所需的。随着经济和政府的其他部门变得依赖人工智能，要推动制定更加平衡的法律和法规变得更加困难。

澎湃新闻：本书分析了在西方社会中监视是如何扩张、私人承包商、执法部门和科技行业之间界限如何日益模糊。这是否意味着缺乏监督的国家更易于部署用于监视的人工智能技术？

凯特·克劳福德：使用人工智能的监视扩张在许多国家中都很普遍，包括西方民主国家。人工智能对威权控制系统很有吸引力，无论是技术上还是政治上。一些人认为人工智能是一种强大的工具，可以压制异议，管理公众看法，并预防性地消除对他们权威的威胁。

当科技行业、政府和执法部门之间的界限变得模糊，会导致一个普遍存在的监视基础设施。国家经常与拥有开发复杂人工智能系统技术专业知识的私营科技公司合作。这些系统随后被整合到执法和情报行动中，形成了一套完整的监视装置。这种合作使国家能够获得先进的监视能力，并让公司通过有利可图的政府合同以及试验和完善他们技术的机会而受益。这就是为什么我们迫切需要在人工智能建设过程中增加透明度和问责制，同时需要签订强有力的国际协议来规范人工智能的合理使用。

澎湃新闻：人工智能应用通常向用户展示简单的界面，同时隐藏复杂的实现细节，你认为这种抽象水平如何影响用户对人工智能系统的理解和交互？具体而言，这种简单性是否可能掩盖人工智能运作的重要方面，这对人工智能系统的透明度和问责制可能会产生什么影响？

凯特·克劳福德：人工智能界面的简洁性是一种刻意的设计选择。这使得这些系统看起来简单、轻巧，实际上它们是庞大的全球基础设施。人们越来越关注人工智能对环境和劳动力的成本，即为推动这些全球人工智能系统所需的能源、水、关键材料和低工资劳动力。简洁的界面抽象掉了用于让这些系统工作的训练数据——所有由艺术家、作家和成千上万其他个人贡献者制作的文本和图像，他们的数据经常在未经同意的情况下被使用。这种抽象化使得研究人员、记者和监管者很难追查责任，因为他们往往能接触到的只有界面。

澎湃新闻：“榨取”（extraction）是你书中的一个关键概念，书中探讨了大量案例，揭示了支持人工智能技术的全球网络是如何造成环境破坏的。这种破坏影响有多大？人们正在采取哪些措施来减轻这些影响（如果有的话）？

凯特·克劳福德：最终，人工智能系统所提取资源的主要受益者是开发和控制这些技术的科技精英和企业。他们获得了巨大的经济实力、数据驱动的洞察力和市场主导权，但往往以牺牲社区、更广泛的社会利益和环境为代价。

正如我在这本书中所论述的，我们已经看到人工智能的环境成本对世界各地的社区造成了破坏。我们看到，用于人工智能的超大规模数据中心的能源和用水量急剧增加。我们还看到，在加纳的阿格博格洛希（Agbogbloshie）等地，电子垃圾堆积如山，废弃的电子产品被倾倒在那里。

所有这些做法的总体影响很难评估，因为许多公司将其对环境的全部影响视为企业机密。我们需要更多促进透明度的努力，比如美国参议院的《2024年人工智能环境影响法案》。

澎湃新闻：美国计算机科学和人工智能领域的先驱Woody Bledsoe曾说过“从长远来看，人工智能是唯一的科学 ”，为什么科学家和技术专家对人工智能的未来如此充满信心？

凯特·克劳福德：首先，并非所有科学家和技术专家都对人工智能作为一个主导领域取得长期成功充满信心。许多人对人工智能的局限性和现有架构可能存在的无法解决的问题表示怀疑。对于那些最极端的科技乐观主义者来说，往往是出于经济利益或政治利益的驱动。目前的科学辩论在人工智能产业应如何发展方面存在着相当大的差异，我们中的许多人都在关注如何使这些技术在社会上更加公平和可持续。

澎湃新闻：书里提到“魔幻决定论”（enchanted determinism）现象，即人工智能系统被视为有魔力的、超越已知世界的，但其发现模式——用以准确预测日常生活的模式——的能力又是决定性的。这种为准确预测而降低复杂性的痴迷源于何处？

凯特·克劳福德：对降低复杂性以实现准确预测的痴迷，源于人们在不可预测的世界中对控制和确定性的渴望。在许多方面，它延续了20世纪对科学管理的迷恋，以及对数据和算法可以简化工业和优化生产的信念。目前，在美国，我们看到人工智能被用来减少劳动力。在一项针对美国450名高管的调查中，“45%的人表示，他们正在将任务自动化，以减少人员和劳动力成本”。

澎湃新闻：那么我们可以采取哪些措施来解决过度简化和榨取我们复杂、私密和不同体验的问题？我们如何才能确保人工智能技术尊重并保留人类情感体验的细微差别，而不是为了计算和商业目的将其简化为 “卡通素描”？

凯特·克劳福德：我不相信我们可以信赖人工智能技术会保留人类情感表达的细微差别，即使我们可以，我也不认为我们会希望生活在一个让人工智能系统扫描我们的脸和身体，根据我们的微表情对我们进行分类的世界里。歧视、侵犯隐私和权力滥用的潜在可能性将是毁灭性的。

澎湃新闻：尽管从看似无害的匿名数据集中可能会出现意想不到的高度个人信息，图像和文本的收集却有增无减。为什么人工智能行业会接受这种做法，尽管它存在伦理、政治和认识论问题及潜在危害？

凯特·克劳福德：我和我的合著者Will Orr最近就这一话题进行了一项研究，研究报告即将发表在《新媒体与社会》（New Media and Society）杂志上。我们在研究中发现，许多人工智能工程师面临着巨大的竞争和经济压力，而且在数据集制作方面缺乏明确的法律指导。这是一个至关重要的领域，需要更明确的行业标准和法规。

澎湃新闻：早期一些号称使用人工智能技术的虚拟助手被曝光雇佣人类员工来处理复杂问题，比如x.ai的Amy和Facebook的M等。自ChatGPT等更先进的模型出现以来，人工智能系统对人工干预的依赖是否有所减少？

凯特·克劳福德：即使有了ChatGPT，人工智能系统中的人工干预是否已经减少还不清楚。通过调查报告和审计，我们越来越多地了解到，像 OpenAI 这样的公司正在分包数千名工人，以提供他们所谓的 “通过人类反馈强化学习”（RLHF）。在一个案例中，OpenAI分包给一家名为 Sama 的公司，每小时支付肯尼亚数据工人2美元，让他们从 ChatGPT 中删除有毒结果，包括大量涉及暴力、虐待和仇恨言论的输出。

澎湃新闻：2023年底你在米兰举办一个名为“计算帝国”（Calculating Empires）的展览，这是一个什么样的展览？你想传达的信息是什么？

凯特·克劳福德：“计算帝国”是一个大型可视化研究项目，旨在探索五个世纪以来技术和社会结构是如何共同演变的。它展示了当代是如何从思想、设备、基础设施和权力体系的漫长轨迹中发展出来的。它追溯了自1500 年以来殖民主义、军事化、自动化和封闭化的技术模式，展示了这些力量如何仍在实施征服，以及如何可能被解除。通过追踪这些帝国之路，“计算帝国”提供了一种在更深层次的历史背景下审视我们的技术现状的方法。通过研究过去的帝国是如何计算的，我们可以看到它们是如何创造了今天帝国的条件。这是一件大型装置作品，长达 27 米——因此它讲述的是一个复杂的故事！目前它正在柏林展出，希望有一天它也能在中国巡回展出。