科技巨头如Google、Facebook和微软如何努力降低技术风险？

科技公司曾经自豪地宣称他们可以改变未来。但反观，他们在面对自己产品所造成的后果时的反应却如此可笑。天花乱坠的广告整天喊着要与世界联网，让人们更容易地访问信息，并给用户提供更多的灵活性，但却很少提及负面影响。确实，趋之若鹜的科技媒体和饥渴的粉丝们享受科技公司带来的阳光，而那些提出潜在风险的批评家们却被戴上了科技恐惧症、反机器者的帽子，甚至被人指责为“希望所有人都住在洞穴里”。但在通往硅谷的全自动高科技乌托邦的路上却发生了一场悲喜剧。这些工具被用于损害民主制度。整个群众突然发现他们的社会基础是如此不牢靠，对信息的访问会造成谣言迅速扩散，打工者发现他们的生活充满了不确定性，等等。

最近几个月反复出现的现象，就是一个看起来疲惫不堪的科技公司 CEO 对着摄像机不情愿地承认他们搞砸了。

越来越明显，“快速前进打碎一切”的意识形态的问题就是，一些东西最好还是不要打碎，而且如果一个人跑得太快，就可能无法悬崖勒马。在这种情况下，科技巨头处于非常不利的位置：越来越愤怒的公众，随时准备制定规制的政府，甚至一些科技公司的员工也站出来反对付给他们钱的公司。

那么，科技公司应该怎样做？

未来道德风险手册 Ethical OS（https://ethicalos.org/）认为他们给出了答案。

如果某个科技公司声称他们能治愈全世界的痛苦，那么人们理应产生怀疑。相应地，如果某个科技公司声称他们能治愈其他科技公司的痛苦，人们也应当产生怀疑。

何为 Ethical OS ？

Ethical OS 由 Institiute for the Future 和 Omidyar Network 资助，它不像是个组织，而更像是个启发式的工具，至少它的“Ethical OS Toolkit”（
https://ethicalos.org/wp-content/uploads/2018/08/Ethical-OS-Toolkit-2.pdf）是目前最值得一提的创造。它的目的是“如何用今天的技术预测未来的影响”，或者说“怎样才能不为自己的造物后悔”，这个工具包的定位处于新人工程教育、员工的必须培训和设计检查列表之间。该工具包的目标是“制造开发者、产品经理、工程师和其他人”，它宣称“旨在促进更好的产品开发，更快的部署和更有影响力的创新， 同时努力将技术和声誉风险降至最低。”尽管该工具包获得了许多赞美，如”作为技术专家，我们大部分时间专注于我们的技术将如何改善世界“，它却采取了风险较大的行为，比如“技术专家”可能需要偶尔思考“半空的玻璃杯”，因此“除了幻想我们的技术将如何拯救世界”之外，技术专家们还花了一些时间思考“技术可能会如何“搞砸一切”。

Ethical OS Toolkit 给“技术专家”们带来了三个“工具”，这些工具的用途是：提供一系列类似于“黑镜”（
https://librarianshipwreck.wordpress.com/2018/02/02/the-show-that-cries-wolf-on-black-mirrors-fourth-season/）的近未来场景，通过该工具来思考角色、责任，以及“技术专家”通过探索反乌托邦的边界带来的潜在犯罪；一系列“八个风险领域”的工具，用于在开发新技术时思考给定的技术可能带来的特定问题；还有一系列开放式问题，旨在让人讨论给定技术之外的更广泛的话题，并朝着更宽广的哲学问题进行讨论，如是否需要“让需要操作数据的人签署希波克拉底誓词”，或者技术专家是否要获得某种“设计的认证”。这个工具包还提供了一种“信号”点，可以让用户看出“哪些东西已经变得不一样了”，因为它自己的定位就是让技术专家用来“扩展想象力，给前瞻的肌肉热身……就像产品点子的瑜伽一样”。

其核心部分基本上就是 Ethical OS Toolkit，至少乍一看似乎是这样的。这种工具很容易让人联想到教授带领工程伦理学的学生学完一周的课程，或者科技公司让所有员工参加的强制性培训。诚然，工具包是许多大学所要求的那种需要整个学期的工程伦理课程的高度简化版本，何况员工也经常在强制培训期间（无论他们在哪个领域工作）昏昏欲睡。但工具包的核心是一个非常值得尊敬的论点，即“技术专家”需要更好地思考他们创造的风险。在进行这一步骤时，工具包将自己置于技术哲学中的古老传统中，强调了风险在思考道德时的重要作用。无论有意无意，工具包似乎都响应了汉斯·乔纳斯的劝告：“这是一种规则，原则上说，厄运的预言要比幸福的预言更加受关注”，以及 GüntherAnders 的预言：“我们害怕的能力太小，而无法适应当今的危险程度……因此，不要害怕恐惧，要有勇气受到惊吓和惊吓别人。”从“半空的玻璃杯”的角度思考风险和技术是哲学家和批评者长期以来一直争论的问题。像 Ethical OS 这样的硅谷组织选择拥抱这些观点而不是嘲笑它们，还是挺有意思的。然而 Ethical OS Toolkit 并不是无中生有，相反，它“旨在促进更好的产品开发，更快的部署和更有影响力的创新”，今天的许多“技术专家”都处于混乱中，而这个工具包能够帮助他们避免这些混乱。虽然工具包任何人都可以下载，但很明显它的主要用户是“技术专家”、雇佣“技术专家”的人，以及那些渴望通过“技术专家”获利的人。因此，工具包与乔纳斯和安德斯这些人物的观点的本质区别是，这些哲学家认为整个社会需要调整与技术的关系，而工具包主要关注的是略微调整制造技术的人的思维。前面说过，快速看看新闻也很容易看出，“技术专家”在表示自己知道自己的创作的风险方面做得并不好，而且在鲁莽地造成破坏之后，他们管理责任的能力十分糟糕。或者，换句话说，工具包的创造者清楚地知道，他们的“尽量减少技术和声誉风险”的工具一定会有用户，因为科技行业目前正受到丑闻的影响，严重损害着许多公司的声誉。

需要明确的是，鼓励“技术专家”批判性地参与他们的创作可能造成的道德影响，是件值得称赞的事情。然而，值得思考的是，当技术公司已经在他们已经播下了一连串的破坏之后，他们意识到风险的存在，是否值得给予掌声。就像人道技术中心（
https://librarianshipwreck.wordpress.com/2018/02/13/be-wary-of-silicon-valleys-guilty-conscience-on-the-center-for-humane-technology/，其创始人在工具包中被多次引用）一样，Ethical OS 在气味测试中失败的原因是，它和科技行业方向分道扬镳。它坚持认为技术公司可以使用这个工具包来自我规制，它使得“技术专家”可以声称他们已经考虑过风险，即使他们依然会做他们将要做的事情，无论如何。Ethical OS Toolkit 和人道技术中心的危险在于它们是甜蜜的烟幕，这进一步模糊了科技公司在“人道技术”或“Ethical OS”背后的行为。这种诱人的气味冲淡了意识形态散发出的腐臭，意识形态不断产生犯规新问题仍然没有受到挑战。

整个工具包都有这个意识形态的痕迹（就像人道技术中心一样），因此，尽管它受到了许多赞美，它依然在不断破坏自己。尽管它认为“技术专家”需要改变，但它首先使得我们所有人都陷入了混乱的世界观。其中最明显的一部分就是工具包中反复夸耀“技术专家”的陈词滥调。工具包滔滔不绝地说“作为技术专家，我们大部分时间专注于我们的技术如何改善世界”，它向人们保证“大多数技术都是以最好的意图设计的”，它热情地问“你准备好让这个世界变得更美好了吗（或者至少不让别人把它变得更糟）”？ ，最后问：“你是否有信心自己设计的产品能够让世界变得更美好？”

这些辞藻把“技术专家”描述成了特殊的人：极其聪明，极其勇往直前，只为了“让世界变得更好”。尽管看上去这个工具包在讨论科技风险时竭力避免非黑即白的看法，但在谈论到“技术”本身时它却采取了消极的态度。问题是，工具包仅仅声称“作为技术专家，我们大部分时间专注于我们的技术如何改善世界”，实际上是偷偷地做了假设“技术”都是“善意”的。它假设技术的意图都是善意的。因此，这个工具包由于可以让技术专家们在自己造成的废墟上断言自己是出于好意、只想让世界变得更好，实际上等于给了“技术专家”们一张护身符。但如果真的去考虑“技术”，那么他们必须放弃这种幼稚的想法。

是否有一些天才的“技术专家”真的想改善世界？肯定有。但这种观点太寻常，基本上没什么意义。将眼球吸引至广告商，用这种方式让“技术专家”们相信他们在改善世界，才有意思。

技术八大风险区域

关于让世界变得“更好”的评论，需要仔细思考世界的本源才能做出，而 Ethical OS Toolkit 以技术者需要考虑的“八个风险区域”的方式为回答这个问题提供了一些线索。这八个风险区域是：

为避免混淆，这张图指的是那些拥有严重风险、应该被考虑的技术领域。实际上，许多“风险区域”似乎都特指一些科技公司被严厉批评的问题，但这并不会让这些顾虑变得逊色。

不论如何，通过这八个风险区域，人们可以大概了解什么才是“好”的“技术”。而这八个区域表明，就像人道技术中心一样，Ethical OS Toolkit 的关注点集中在非常狭隘的技术影响的定义上，以便轻松地融入硅谷的自我认知中。 “风险区”提供的是一种全局的观点，在这种观点中，值得道德考虑世界就是消费技术的人。 或者换句话说：对于这个工具包来说，一个人值得道德考虑，因为一个人是技术的消费者。 因此，由于他们是人类的一员，所以才会有道德方面的考虑，而他们只是需要保持快乐的客户。

在这里需要指出这八个“风险区域”中没有包括的一些非常重要的东西：对制造这些“技术专家”设计的小工具所需的矿物的思考呢？对像奴隶一样组装这些设备的工人的思考呢？对于能源消耗、电子垃圾等环境影响的思考呢？如果真的去考虑“道德”而不仅仅是口头说说而已，那么这种“风险区域”还有很多。但相反，这个工具包鼓励“技术专家”专注于世界人口中非常狭隘的一部分，他们可以享受新技术带来的大部分好处，同时避免不利因素（消费者）。同样，这并不是怀疑这“八个风险区”的重要性，也不是暗示这些风险区纯粹是“第一世界问题”。这里所说的风险只是工具包让科技公司通过声明“我们正在认真考虑仇恨和犯罪行为”来安抚他们的客户，同时继续忽视科技产业所构建的不道德的劳动和环境条件。如果要让“技术专家”真正地从道德角度思考风险，那就必须考虑除了那些让 CEO 们难堪的丑闻之外的东西。

Ethical OS Toolkit 很大程度上只是个话题发起者，它包含了众多的开放式问题，能让“技术专家”们思考他们的创作的影响。但是，工具包的结构也强化了“技术专家”和世界其余部分之间的边界。工具包中有一个有趣的手法——它承认“技术人员”的行为会对社会产生严重影响，但随后迅速将这些“技术人员”封锁起来。虽然这些决定会影响到你，但你并没有被邀请参与其中，而这些都是技术公司内部的“技术专家”之间的对话，不管这些对话会对更广泛的社会产生如何深远的影响。我是想说，工具包中非常缺乏的一件事就是对民主的关注。当然，工具包的确关注了可能对民主社会产生负面影响的“风险区”，但似乎工具包的主要关注点是让科技公司免于任何形式的民主监管。毕竟，像 Ethical OS 这样的工具允许像 Facebook 这样的公司在批评者面前争辩说它知道它以前搞砸了，但现在它正在严肃对待道德并迫使所有员工（甚至包括是高管）使用 Ethical OS Toolkit 进行培训！看，公司不需要受到监管，它可以自己监管自己！工具包提供了一种方式，通过这种方式，科技公司可以在受到公众怀疑时，试图重新获得公众的信任。这是个烟雾弹，使得人们不再关注闯下大祸的科技公司，而他们更愿意向烟雾中投入更多香味，而不是呼叫救火人员。

Ethical OS Toolkit 承认的是，新技术给我们所有人带来了风险，但它似乎并不在乎在这件事情上是否所有人都有发言权。 这是一种耻辱，因为围绕技术的对话应该涉及所有利益相关者，而不仅仅是股东，且这些对话影响人们的有很多事情，而不仅仅是道德。 当然，人们应该记住，工具包“旨在促进更好的产品开发，更快的部署和更有影响力的创新”，换句话说，它实际上并不想改变现状，而是让科技公司保持力量和独立。 它只知道，如果要保证这种主导地位，科技公司偶尔需要假装关注下道德。

最终，Ethical OS Toolkit 发挥的作用可能不止让科技公司自我感觉良好并欺骗公众获取信任，但也只会多那么一点点。工具包中缺少了指明“技术专家”们不应该创造的东西，指明受影响的人们应该有发声的权利，以及整个世界中科技并不是最重要的。这并不是个改善世界的工具包，而是修补残缺不全的科技行业的工具包。

哲学家 Shannon Vallor 在她的新书《Technology and the Virtues》中指出，科技的问题绝不仅仅是某项科技（或公司）是善还是恶。相反，Vallor 敏锐地讨论了技术如何成为关于我们想要生活的社会类型和我们想要成为的人的类型的论证的具体化。 Vallor 强调的问题是，生活在由各种不透明的高科技设备构成的世界中“使得识别，寻求和确保道德的终极目标变得越来越困难——这是一种值得选择的生活，是一种很好的生活。”因此，她认为所需要的是在全球范围内培养智慧，强调：“我们不能通过创造更多、更新的的技术，摆脱我们所处的漏洞， 只要这些产品继续被人类设计，营销，分销和使用，那么技术道德的缺乏就会利用巨大的技术力量来挖坑。”

新技术究竟是梯子还是坑？

只有时间才能证明，Ethical OS Toolkit 究竟是提供了爬出坑的梯子，还是挖坑的铲子。但我们不应该简单地相信“技术专家”宣称他们会造梯子，特别是当我们看到他们越陷越深的时候。我们都在这个坑里，而科技行业本身不会把我们带出这个坑。

评论 1：假设最终技术 X 会被发明。还假设，从某些角度来说，X 是个非常不道德的技术。

那么，发明 X 的这个过程是否道德？

注意：这里的假设条件是 X 的出现是不可避免的。唯一的问题就是谁来发明 X。在这个语境下，是不是至少应该从多个维度讨论下，你是否应该帮助发明X？在某些限制条件下，这个话题就变成了“你应该帮助你所生活的社会，保证它与其他社会相比拥有可以竞争的优势”。

或者用文明一些的词语来说，就是“第一个发明该技术的公司可以强制其他人在该技术上的道德”。

也就是说，如果你发明了一项技术，那么预测该技术的用途就会比不是你发明的情况要容易。

因此，虽然看起来矛盾，符合逻辑的结论似乎是，你应该尽一切努力去发明你认为不道德的技术，并希望你能降低它未来的危害。

如果某项技术似乎无法控制（如核武器），可以用这个例子来反驳：比特币是一系列想法的实现。实际的实现方式可能会完全不同。例如，它有可能会通货膨胀而不是通货紧缩。因此，实际选择的方式非常重要，因为比特币有非常巨大的先发优势。而对于科技X被发明的情况也是如此。

那么，答案是什么？我们是不是该尽一切努力去发明不道德的技术来降低它的影响，还是即使知道一些“不道德”的社会会发明该技术，也要抑制新技术的发展？

或许这个论断完全是错误的？

评论 2：我认为你漏了重要的一点。道德并不是关于什么该发生的，而是关于对你的行为的影响负责的。

不断涌现的新技术的发展速度要比责任更快。比特币就是这样，石油和杀虫剂也是如此。

核武器就是个非常好的例子。设想如果核技术的发展历史不是像今天这样，而是从它诞生那天起就被用于解决各种问题，那么今天的能源要便宜得多，也就意味着一切东西都会便宜。这就意味着我们的生活水平会翻倍（这一点很难验证，不过这仅仅是个思维实验）。

所以，虽然成为第一很有诱惑力，但从大的方面来看，你总要为你的行为付出代价。合理的道德之所以成为工程的一部分，并不是因为有趣，而是因为只有这样才能得到最优的结果。

原文：
https://librarianshipwreck.wordpress.com/2018/08/24/striving-to-minimize-technical-and-reputational-risks-ethical-os-and-silicon-valleys-guilty-conscience/

译者：弯月，责编：屠敏