护栏：人工智能时代的人类决策指南

01 第1章：决策

Decisions

第一章：决策（Decisions）

2002年7月1日，德瑞边境迎来了一个黑暗的夏夜。云层之上，一架俄罗斯图波列夫154客机正向西巡航。机舱里坐着几十名来自乌拉尔山脉西南部城市乌法（Ufa）的天才少年，他们满怀期待地飞往西班牙度假。驾驶舱内，经验丰富的机长亚历山大·格罗斯（Alexander Gross）掌控着飞机，四名同事从旁协助。不远处，一架波音757货机正以相同高度向北飞往布鲁塞尔。

注意到两条航线正在汇聚，一位负责瑞士空域的空中交通管制员联系了图波列夫机组来解决问题。他指示格罗斯下降高度，机组照做了。

然而，两架飞机都配备了自动防撞警报系统。就在管制员下达下降指令后不久，防撞系统同时向两个机组发出了避让指令——但它命令货机下降，命令图波列夫爬升。

收到人类管制员和自动化防撞系统发出的矛盾指令后，图波列夫机组讨论起来：到底是继续下降，还是改为爬升？讨论还没结束，管制员再次下达了下降指令，而且这一次语气更加急迫——他并不知道自动化系统此刻正在发出完全相反的命令。机组继续沿下降航迹飞行，径直冲向同样在下降的货机（后者正在执行自动化系统的指令）——与此同时，图波列夫机上的防撞系统更加强烈地命令格罗斯爬升。

当两架飞机互相接近时，防撞系统会自动建立通信，协商好哪架爬升、哪架下降，以确保两机之间有足够的空间间隔——前提是系统的指令被严格执行。因此，如今的标准操作规程规定，防撞系统的指令必须立即执行，即使与人类管制员的指令相矛盾。但在当时，飞行员的培训对此并不十分明确。被迫在人类和机器之间做出选择的格罗斯选择了信任人类管制员。不久之后，在大约35000英尺的高空，图波列夫以全速撞上了波音货机。那天夜晚，在德国城市乌柏林根（Überlingen）上空，两架飞机上的所有人无一生还。^1

事故很快被归咎于那位超负荷工作、部分设备也未能正常运转的管制员。但这里有一个更根本的问题。在那个命运攸关的夜晚，图波列夫机组面临一个事关重大的决策：他们应该信任人类管制员传来的信息，还是信任防撞系统？

诚然，如果没有管制员错误的下降指令，这场空难不会发生。但空中相撞并非仅仅源于错误信息。格罗斯清楚自己必须在好信息和坏信息之间做出选择，他只是不确定哪个是好、哪个是坏。他没有向管制员求证，也没有听从防撞系统的建议，而是选择了下降。

和飞行员一样，我们每天也要面对无数个决策，只不过很少有如此生死攸关的。在做决定时，我们不仅依赖信息和自身的思考，决策还会受到外部力量的塑造——尤其是社会力量，它在推搡、助推或推动我们走向某个选项，就像防撞系统那样。我们把这些力量称为"护栏"（guardrails）——这正是本书的主题：从信息获取的促进与约束，到塑造我们在选项中如何选择的规则与规范，再到我们对所做选择的束缚程度。

这种社会性护栏的概念，是一个借用自公路或船舶两侧物理结构的隐喻。设计得当的护栏能兼顾两全：它标示出边缘在哪里，让你不容易在无意中越过；但它又不像监狱的围墙，让人想翻也翻不过去。你仍然可以选择越野驾驶或下水游泳。护栏更像是在标记可取行为的区域，而不是狭隘地推向某一个"正确"选项。^2

决策护栏是个人选择与社会输入之间的接口，它连接着个体与集体。个人或小群体的决策可能影响许多其他人的生活——乌柏林根上空的那场空难便是骇人的例证。在一个决策基本由个人做出的世界里，决策护栏是社会影响我们共同轨迹的最直接方式。本书将详述我们如何集体改变正在做出的决策。它探讨的是社会如何治理个人做出决策的语境——这个主题既强大又无处不在，却很少被全面理解。

为这些决策护栏选择恰当的品质至关重要。但我们将在本书中论证：在数字时代，我们过于急切地选择了某些类型的护栏。在缺乏深思熟虑的情况下，我们放大了某些护栏品质——过度强调技术的作用，这反映了一种日益蔓延的趋势：技术越来越多地主导着各类人类决策。2002年乌柏林根上空的那场空难似乎印证了这种信念：只要人类服从机器，灾难就能避免。

在本书中，我们认为这种策略存在深层缺陷。不是因为技术本身无法或不适合提供有效的决策治理，而是因为真正的问题不在于决策护栏的性质——无论是技术性的还是社会性的——而在于其设计背后的原则。真正的问题是：护栏促进的是什么样的决策，又应该促成什么样的决策？

在接下来的九章中，我们将在各种挑战、语境和案例中审视护栏。但我们的目的不是面面俱到或提供详尽的蓝图；我们将目光聚焦于一个正在浮现的更大图景——一条理解良好护栏设计重要性的关键主线。我们的目标有两重：一是拓宽我们的规范视野，让我们认识到可能的护栏方案在广度和深度上的丰富空间；二是提供指导，帮助我们打造和选择适合这个充满挑战的时代的护栏——不仅要确保人的能动性（agency），更要确保人的进步。

不过，在着手设计解决方案之前，我们需要先更好地理解什么是利害攸关的，以及为什么。

无处不在的选择

我们每个人都在做决策——每天数百次，甚至数千次。^3 其中大多数决策微不足道，我们不假思索就能做出。另一些决策往往事关重大，我们为此苦思冥想数小时。每一个决策都在塑造我们的未来。决策科学（decision science）作为一个学术领域相对年轻，直到二十世纪才正式确立。^4 但追求做出好决策的愿望，与人类反思自身所面临选择的能力一样古老。

相关信息是做出好决策的一个显而易见且至关重要的要素。我们从与他人的社会互动中汲取洞见，语言的进化为此提供了助力。文字的发明使得知识能够跨越时间和空间得以保存。图书馆——一种建立在读写基础之上的文化发明——数百年来一直作为关键的社会机构存在，帮助我们收集信息、从中学习，并利用它来改善生活。^5 这些庞大收藏中存储和管理的信息，塑造了推动农业、建筑、医学、艺术、制造业和战争等众多领域取得重大进展的决策。在美国建国之初，图书馆就被赋予了至关重要的角色：国会图书馆（Library of Congress）被赋予收集世界知识的使命，而全国性的公共图书馆体系则旨在将这些知识带给人民。^6 美国宪法明确指出，信息的保存和提供是有其目的的——正如专利的授予不是为了奖励发明者，而是"促进科学和实用技艺的进步"。^7 它承认，信息在其所有中介形式中扮演的角色，本质上是功利性的——改善个人和社会的决策。

近年来，数字技术以一种前所未有的方式承诺为更好的决策奠定基础，释放计算、数据和算法的力量。信息比以往任何时候都更处于日常决策的核心：我们向Siri询问天气预报，请ChatGPT讲几个晚餐笑话，听从Tinder的推荐安排下一次约会。确实，从宏观角度看，数字工具已经改善了决策条件——从搜索引擎，到预测病毒传播，再到从交易数据的细微异常中检测信用卡欺诈。

我们接收到的信息需要经过分析和评估。我们不断通过自己关于世界如何运作的心智模型来"框定"（frame）信息，很多时候这几乎是无意识的。这就是我们所说的"把信息放在适当的视角中"。这个过程使我们能够生成和比较选项。^8 对于影响深远的重大决策，我们倾向于更加仔细地评估选项——尽管我们的判断并不完美；但有时我们也会为琐碎的决定烦恼，或者不假思索地做出选择。在权衡选项的过程中，我们会考虑自己的行动在多大程度上不可逆转。我们是否会被这些选择所束缚，还是在必要时可以回头？

大众心理学读物和管理培训课程提供了大量工具和技巧来帮助我们生成和评估选项。有人告诉我们"跳出思维定式"，或者列出利弊清单。并非每一条建议都有扎实的研究支撑。比如，我们其实无法真正"跳出思维定式"——因为我们总是在心智模型内部思考（如果试图抛弃心智模型来做决策，反而会做得很糟）。^9 但许多建议在适当的语境下可能确实有用。

在这里，有必要提出几点注意事项。我们关注的是人类决策的要素以及如何改善这一过程，但我们并不是说所有的决策都经过了深思熟虑。虽然我们的论证在很大程度上适用于所有决策语境，但在我们有意识地做出决策时，它最为有力，也最有价值。我们也不是在暗示决策是一个清晰的线性过程，一个步骤逻辑地紧接下一个步骤：收集信息、用心智模型分析以生成决策选项、比较并在其中做出选择。恰恰相反，这些要素以多种方式相互关联。即便是深思熟虑的决策，也往往是混乱和反复迭代的。例如，当我们在比较选项时，可能意识到自己遗漏了一个重要维度，于是不得不回头去收集更多信息。

我们也不是在说即使是深思熟虑的决策也完全是理性的。研究已经令人印象深刻地表明，我们的决策受到认知偏差（cognitive biases）的影响，这些偏差塑造着我们的思维。我们无法关闭它们——至少不容易、也无法随意为之。^10 这一认识或许会粉碎任何关于我们能够在选择中实现客观理性的天真幻想，但它并不致命——决策过程仍然可以朝着更好的推理方向加以改进。

决策之所以重要，是因为它为我们采取行动做好准备，而行动塑造着世界。不仅仅是决策改变了世界——而是我们通过决策改变了世界。决策是人类能动性的表达——是我们影响自身存在轨迹乃至整个人类物种轨迹的能力，哪怕只是微小的影响。人类能动性使我们之所以重要。没有它，就不会有行动的动力。能动性是让我们每天早晨起床、去面对日常生活中风风雨雨的能量之源。

当然，我们并不确定自己是否真的拥有能动性。也许从一个全知客观旁观者的角度看，我们的行动和我们的能动感都只是生化过程的结果，我们对此毫无控制。^11 但对我们而言，这个并不存在的旁观者的看法基本上无关紧要。从务实的角度来说，重要的是我们每次选择并采取行动时所感知到的东西。因此，在本书中，我们将人类能动性视为一种我们切实体验到其存在的东西来接纳。

护栏即治理

决策是我们与世界互动的认知机制，很多事情都取决于它。社会对促进人们做出好决策抱有浓厚兴趣，这完全可以理解。

信息是做出好决策的重要成分。因此，存在着各种各样的护栏来塑造哪些信息是可获取的。例如，在美国，公司披露法律限制了公司高管可以公开分享什么内容以及何时分享。^12 分享过多信息可能面临罚款——埃隆·马斯克（Elon Musk）就深有体会：2018年他在推特上声称要将上市公司特斯拉私有化，结果遭到了处罚。^13 在其他语境中，情况恰恰相反，法律要求公开某些信息。制药公司需要披露其生产的药物可能存在的副作用，汽车公司需要公布排放和燃油效率数据，食品行业需要在大部分产品上标注营养标签。^14 有时，这种法国人诗意地称为"信息告知义务"（l'obligation d'information）的要求，也可能适用于公司的客户。保险单就是一个例子：投保人通常有义务向保险公司披露影响风险的实质性事实。类似地，国家本身也会向公民提供各种各样的信息，以帮助个人做出更好的决策。^15 法律被公之于众，以便公民遵守——至少在民主国家是如此。公司登记簿、土地登记簿等公共登记制度，帮助人们决定是否参与某项商业交易。

要求分享信息的不仅仅是法律规则或政府政策。它也可能是一种植根于文化和习俗的社会规范，比如学术出版物中的利益冲突声明。也可能是某个组织自愿采取的做法，比如企业主动披露社会责任和环境责任指标。^16

所有这些干预措施背后的期望是：提供相关信息能够促成更好的选择。当宜家提供详细的家具组装说明时，他们希望这能引导人们做出让沙发床更加稳固的决定。当监管机构要求在食品包装上标注标签时，他们希望关于高热量和过量糖分的信息能引导人们做出更有营养的选择——尽管巧克力棒可能仍然让人难以抗拒。

在前面的例子中，信息被要求在决策即将做出的场景中提供。在其他语境中，信息则旨在为后续行动奠定基础，成为一种保质期更长的问责工具。例如，信息公开法的理论逻辑是（当然，无数实际问题总在扰乱理论），让公民能够对影响其生活的政策做出更好的决策，并最终在政府换届选举时投出赞成或反对票。^17 美国著名政府改革和消费者权益倡导者拉尔夫·纳德（Ralph Nader）对此做了精辟的概括："信息是民主的货币。"^18

除了促进信息流通之外，护栏还延伸到创建和权衡决策选项的过程。例如，大量法律规则旨在确保个人能够在不受不当胁迫的情况下做出决定，包括将敲诈勒索和胁迫定为刑事犯罪。^19 在某些国家，一些特别重大的交易必须在公共权力机构面前完成，或者需要专家的见证，以确保所有各方都知晓并考虑了全部后果。^20

这一点在越来越多选择允许协助自杀的国家中体现得最为明显。结束自己的生命是一个如此重大的决定，以至于这些社会要求经过多个正式步骤来确认这一决定是深思熟虑的、不受胁迫的，而且通常是在身患绝症且痛苦不堪的背景下做出的。^21

有时，长期决策会附带等待期或"冷静期"，给人们充分的机会来仔细思考自己的选择。^22 长期受一个决定的约束也许有好处——它提供了稳定性。但我们可能需要更认真地思考这是否是正确的选项——我们可能需要更多时间来做到这一点。在其他许多情形中，社会护栏明确允许撤回决定、改变主意，即使这会给其他相关方带来麻烦。^23

与信息流通方面的护栏一样，权衡选项方面的护栏也涵盖了从社区惯例到正式法律要求的广泛光谱。我们在本章开头提到的飞行员标准操作规程——包括是遵循防撞系统的指令还是管制员的指令——并非正式法律，但航空公司要求机组人员遵守。类似地，许多医院的急诊医生必须按照标准规程来诊断和治疗患者。这不是法律，而是组织和职业文化的一部分——而且已被证明非常有效。

许多行业和组织都存在这样的行为准则。你有没有想过亚马逊或麦当劳如何处理交易投诉？他们有详细的规定，明确客服代表可以如何决策以及在什么情况下做出何种决策。在更广泛的商业领域中，经过数百年演变形成了一些规则，规定商人在相互交往时应当如何行事。这些规则起源于十三世纪欧洲城市的年度贸易博览会，有时被称为"商人法"（lex mercatoria），旨在整体上增进市场信任。^24

一种更加微妙的个人决策过程塑造方式，近年来在一些政策圈中变得流行。它被称为"助推"（nudging），其理念是巧妙地引导人们选择对他们最有利的选项。例如，当判断参加退休储蓄计划的人数不足时，可以将参与设为默认选项，让不想参加的人主动选择退出。^25 支持者推崇助推是一种比直接限制更温和的方式，但批评者指出，助推缺乏透明度，在操纵决策过程的同时制造了一种选择的幻觉。^26

类似的技术也可以被用来以促进决策者之外的人的利益的方式塑造决策。广告和销售人员使用各种各样的认知技巧来影响交易决策。^27 甚至超市的布局也是经过精心设计的，以影响我们的购买选择。^28 根深蒂固的社会和文化惯例可以被有意识地重新利用来塑造我们的决策。在eBay的早期，卖家经常在交易完成之前就给买家好评。这不合情理——你为什么要在还不知道对方是否履约之前就评价别人？研究人员仔细研究后发现，这种过早的正面评价被买家视为一种"礼物"，从而产生了互惠的社会期望。^29 那些迅速给对方好评的人，往往也能获得更积极的回报评价——这使得评分在一定程度上脱离了实际交易本身，也促使eBay后来修改了其评分系统。

到目前为止，我们在塑造信息获取的措施和影响决策选项评估的措施之间做了区分。这种区分是人为的，因为所有塑造决策过程的措施都涉及信息——否则它们就无法触及我们的思维。航空公司的标准操作规程塑造了飞行员权衡选项的方式，但它们同时也是飞行员阅读和消化的信息。当助推改变决策默认值时，它也是在传递关于某个选项有多容易或多困难的信息。不过，我们发现"信息型"护栏和"决策型"护栏之间的区分是有用的，因为它帮助我们理解可能性的广阔光谱。

从上述例子中可以清楚地看到，我们所说的护栏不仅仅是一条简单的规范或规则。护栏往往包括流程和制度、机制和工具，甚至是一种"文化"或"思维方式"。例如，急诊医生已经将检查清单内化为本能，而标准操作规程可以物化为工厂机械中的安全机制。大型软件公司的程序员遵循"软件开发生命周期"（software development life cycle）——一套由规则、流程和组织结构组成的体系，以帮助确保良好的编码。^30 使护栏发挥作用的，是围绕一条裸规范的"系统"——流程和制度。因此，当我们在此讨论护栏时，我们的视野超越单一规则，也包括使其发挥作用（或失灵）的现实环境。

因为我们的护栏概念不限于正式法律规则，也因为我们将周围的结构纳入考量，所以我们能在极其多样的语境和情形中看到护栏。一些学者认为，全球化等动态已经使护栏的类型和种类大大增加，导致了监管的多元化。^31 吉莉安·哈德菲尔德（Gillian Hadfield）也持相同看法，并将分析转化为处方——她建议我们需要更多地从规则市场的角度思考，而不是规则的等级体系。^32 无论具体原因和后果如何，在我们的语境中重要的是：塑造我们决策的护栏是丰富多样的。但如果决策是个人意志的表达，为什么其他人——社区、社会——如此热衷于塑造个人选择？

社会性与外部性

显而易见的答案是：作为社会性存在，我们关心彼此。互助是我们从幼年就开始实践的事情，既然如此，我们为什么不想互相帮助以做出好决策呢？朋友、同事或完全陌生的人，今天可能受益于改善其个人决策的措施——而明天我们自己可能幸运地成为被引导的人。

人类学家提出了另一个有力的论据。在过去几千年里，人类取得了惊人的进步——不仅相对于其他物种如此，相对于人类自身更早的阶段也是如此。这无法用生物进化来解释，因为自然选择的齿轮运转得不够快。真正推动我们大步向前的，是某种形式的文化进化——我们相互学习，而不必事事从头学起。^33 这是一条通往发现的绝妙认知捷径：洞见可以被传递，我们可以站在前人的肩膀上。关键在于我们抽象学习的能力——让思想代替身体去遨游。在决策领域，社区也想确保好的洞见得以传播。我们渴望分享合适的护栏，也愿意接受它们——至少在一定程度上如此。

经济学家提出了社会护栏存在的一个相关但不同的理由。当人们做出影响他人的决策时，经济学家称这些影响为"外部性"（externalities）。护栏可以服务于功利目的，因为塑造个人的决策会影响该决策所产生的外部性。例如，2015年，美国环境保护署（EPA）发现，世界最大汽车制造商之一大众汽车（Volkswagen）在其超过一千万辆汽车中非法部署了软件，用以欺骗排放测试——从而逃避了提供真实信息以帮助购车者做出好决策的要求。该公司的高管和工程师对这一非法操作知情多年。^34 结果，数百万消费者购买了被错误认证为环保且动力强劲的汽车，造成了大量有害排放。当骗局被揭穿时，数百万辆受影响的汽车一夜之间大幅贬值。

外部性当然既有正面的也有负面的。一个知名咖啡连锁店决定在治安不佳的社区开店，可以被解读为对该社区前景的信心信号，吸引其他投资者前来，为附近居民创造新的机会。决策可以对社区和其他个人产生深远影响。二手车销售的教科书案例很好地说明了这一点。^35 一辆车的历史——比如是否出过事故或有严重的机械问题——并不总是能从外观上看出来的。在没有强制披露此类信息的情况下，买家倾向于不信任二手车。他们的出价会低于知道车况良好时的出价，因为他们把车辆可能是"柠檬"（lemon，即劣质品）的风险也计算在内。这对诚实的卖家来说很不幸，因为他们无法从交易中获得车辆的实际价值。

但还有一个更重大、更有害的后果。由于无法以公平价格出售好车，诚实的卖家灰心丧气，退出了市场。正如经济学家所证明的，这会导致恶性循环：随着劣质车在市场中占比越来越高，买家变得更加不愿交易。这使得市场失去了效率。许多国家对此的社会干预措施是：要求卖方披露其车辆此前是否发生过事故。这不仅帮助买家做出正确决策，也帮助诚实的卖家找到买家——从而提高了市场中可供出售车辆的平均质量，使市场能够发挥其应有的功能：帮助分配稀缺资源。

因为我们集体受益于更好的决策，所以社会建立护栏来影响和塑造决策是有道理的。通过影响个人决策，护栏使社会得以在两个极端之间走出一条中间道路：一方面是不受集体需求约束的完全个人主义，另一方面是无视个人偏好的集体全面控制。与其在安·兰德（Ayn Rand）的《阿特拉斯耸耸肩》（Atlas Shrugged）和乔治·奥威尔（George Orwell）的《1984》之间做非此即彼的选择，好的社会护栏提供了两全其美的方案——在行使社会控制的同时不否定个人意志。

好的护栏是一个难以找到的甜蜜点。在抽象层面上，它们有效地引导适当的个人决策过程——但在具体语境中，界定什么是"有效的"和"适当的"是一个困难但值得追求的挑战。用政治学家弗里德里希·克拉托赫维尔（Friedrich Kratochwil）的话说，护栏不仅是塑造个人决策的"引导装置"，也是"使人们能够追求目标、分享意义、相互沟通、批判主张和论证行动"的手段。^36 它们表明，个人不仅作为决策者被认真对待，也作为他们所生活的社会的成员被认真对待。^37 在打造一个好的护栏时，有许多动态因素需要考虑。但近年来，我们没有直面这一挑战，而是被技术带偏了方向。

技术的歧途

几个世纪以来，人类一直在使用技术工具来辅助决策，但如今数字技术承诺成为改善我们决策的史无前例的加速器——突破信息瓶颈，让人类全面获取知识。

以GPT（生成式预训练变换模型，Generative Pre-trained Transformer）等生成式人工智能系统为例。GPT通过消化超过半万亿个几乎完全由人类撰写的词语——来自数百万本数字化书籍以及数十亿个网页——来进行训练，它建立在人类集体知识和经验（至少是其中相当大的一部分）的基础之上。^38 它正在被用于检索与决策相关的事实和信息，也用于提供各种已知的决策选项，甚至直接给出决策建议。

然而，这些技术引发了一些新的紧迫问题：谁在控制数字信息流以及驱动它们的算法？数据驱动的机器学习模型（如GPT）是黑箱；我们可以与它们互动，却不容易窥探其内部。但难以理解的不仅仅是前沿人工智能。众所周知，据说连谷歌自己的工程师也无法完全理解其搜索引擎的内部工作原理——而我们中有太多人依赖它来获取日常决策所需的信息。^39 我们也不知道究竟是什么决定了我们最喜爱的社交媒体上的新闻推送，或者什么塑造了我们在浏览网页时看到的广告。

面对关于这些系统复杂性的质疑，常见的回应是我们需要更多技术，而不是更少。人工智能被吹嘘为能够做出超越人类的决策。更多数据、更优算法和更强算力，被认为将主导未来的决策过程。从智能合约到自动驾驶汽车，决策越来越多地在技术系统中被准备、执行和完成。

这种对技术的关注，部分原因是"大型科技公司"（Big Tech）的崛起——这些运营数字平台的公司积累了巨大的权力，塑造着数十亿用户的信息流。然而，它也反映了一个已经持续了几十年甚至几个世纪的过程。^40 为了描述这一过程，历史学家洛兰·达斯顿（Lorraine Daston）区分了"厚规则"（thick rules）和"薄规则"（thin rules）。厚规则需要解读和社会认可，这意味着它们可能无法被完美执行，但其灵活性往往使它们更为有效。相比之下，薄规则是逐步的指令，被设定后就固定下来。它们很难被偏离，因此可以依赖——但也不容易被调整。达斯顿认为，在西方社会，薄规则在上升，厚规则在衰退。她指出了行政国家的兴起以及详尽全面的监管规则的扩张——这些规则试图提前覆盖所有可能发生的情况。这带来了更多的可预测性并降低了风险，但同时也意味着自由裁量、变通和灵活应变的空间更小了。算法就是薄规则的一个例子，它们作为护栏日益广泛的应用可以被视为一个早已开始的过程的延续。

在本书中，我们挑战"更多技术是人类决策问题的最佳答案"这一信条。当然，我们承认技术有能力赋能个人、机构和整个社会，使其做出更好的决策。^41 我们也认识到技术从来都不是中立的：选择什么样的技术，决定了用它能实现什么以及如何实现。^42 我们也认同应当审视技术与商业控制之间的联系：嵌入全球信息流关键技术瓶颈中的不透明价值观，影响着数十亿人的个体决策，这需要我们进行批判性的追问。^43

但我们的关切更为根本。我们认为，对技术的关注是令人分心的，因为它将我们的注意力转移到了对运行机制及其影响的讨论上——而我们真正应该进行的是一场关于护栏应具备何种品质的规范性辩论。

不确定时代的品质

每一次焦点的转移都有其代价。当光线照亮某个特征时，其他特征就留在了暗处——缺乏研究，被人忽视。因此，聚焦于技术的我们，忽略了我们认为在我们这个时代最重要的事情：界定我们社会决策治理的品质和特征。

我们的出发点是一个命题：我们的世界正变得更加动荡和不确定。社会正义、公共卫生、地缘政治动荡和气候变化等多样化的挑战，将在未来几十年持续存在并不断深化。我们今天为引导决策而建立的框架，必须能够在战略上拥抱不确定性。但那些承诺改善决策的技术，却常常试图消除灵活性和不确定性——我们将在第三章、第四章和第五章中讨论这一点。

那么，替代方案是什么？在一个不确定性日益加剧的世界里，我们如何创造和运用能够支持和引导我们决策的护栏？

我们认为，我们需要将自己的处境理解为更需要社会创新而非技术创新的处境。我们需要在现有流程和制度的基础上建设。真正的挑战不在于护栏的具体机制，而在于把基础打对。我们从日常实践中就知道这一点：在司机发动引擎之前，她需要先弄清楚自己想去哪里，以及这段旅程中她最在意哪些方面——速度、安全还是成本。我们也必须首先弄清楚，我们的目标是什么，以及我们希望在达成目标所采用的机制中嵌入哪些品质。

我们需要选择我们希望护栏促进和推动的决策品质。这需要分析和批判，也需要规范性思考——既关于社会在提供这些护栏方面的角色，也关于我们所设想的个人决策环境。我们在第六章中勾画了一个合适的过程，并为好的护栏制定了三条具体的设计规则。然后在第七章中，我们为护栏设计增加了一个重要的、或许是关键的约束条件。

在这样做的过程中，我们会发现，我们已经有了可以建设的坚实基础。我们在一些已经采用的治理机制中认出了这些品质——而且取得了积极效果。我们将看到，治理机制融入这些理想品质（部分或全部）的空间，远比我们最初想象的要大得多。对各类护栏固有品质进行新鲜而细致的审视，可以帮助我们看到更广阔的可能性图景。通过将各种机制和制度组合起来，我们可以建立我们所需要的创新治理框架。在第八章中，我们将更详细地描绘这个多样化的治理景观。

实施这一治理框架可能涉及技术的使用，但前提仅限于技术能推进我们的目标并体现我们所追求的品质——我们将在第九章中更详细地展示这一点。预先透露一下：我们需要少被那些在尖端硬件上飞速穿行的超高速比特所打动，多关注那些已经证明了自身价值的现有社会机制。技术不应取代现有的治理架构，而应作为工具来支持它们。

拓宽视野

决策为我们采取行动做好准备，通过行动我们改变现实。人类不是最强壮或最迅速的物种。我们也许掌握了算术，但计算机算得比我们快。我们也许善于识别形状和模式，但人工智能结果比我们更擅长。那么，还剩下什么是我们能做的？

作为人类，我们相信能动性——相信我们有能力选择和塑造自己的生活。史蒂夫·乔布斯（Steve Jobs）将此称为"在宇宙中留下一点印记"的渴望。^44 但这种渴望不仅仅表现在个人层面。作为一个社会，甚至作为一个物种，我们都希望产生改变。当尼尔·阿姆斯特朗（Neil Armstrong）踏上月球时，他说这是"人类的一大步"，因为它展示了人类如何能够在宇宙中留下那一点印记。

社会对个人决策的护栏，是集体与个体相遇的地方。思考它们应促成什么样的决策品质，意味着追问什么对"我"和"我们"都是正确的。我们在构想个人应当追求什么的同时，才能定义社会的目标。通过护栏，社会可以通过将其价值观注入个人决策来表达自身。

对社会护栏进行规范性思考，也意味着审视个人在社会中的角色。四十年前，美国宪法学者肯尼斯·卡斯特（Kennest Karst）提出了"平等公民身份"（equal citizenship）的隐喻，描绘了个人作为更大契约一部分的平等能动性。^45 大约同一时期，大洋彼岸的德国宪法法院雄辩地阐述了"信息自决权"（informational self-determination）——一个始终被置于"我们"的语境中加以锚定的"我"。^46 哈佛大学的人类繁荣项目（Human Flourishing Program）强调，人类需要在五个维度上成长——从高度个人化的维度到深度集体性的维度。^47 这三个案例以及其他许多案例传达的信息是清楚的：我们是个人，但我们也是一些更大事物的一部分。

因此，在接下来的章节中，当我们讨论护栏的品质时，我们不仅是在就社会及其角色发表见解。我们也在对个人进行规范性书写：她应当占据的位置、应当珍视的价值，以及应当追求的目标。用社会学家安东尼·吉登斯（Anthony Giddens）的话来说，护栏是"社会实践"——重塑和再造社会的结构性机制。^48 如果我们最初的焦点看起来较为狭窄，其影响却是深远的。因为通过我们做出的决策，我们不仅成为了自身命运的行动者，也成为了社会的同行者。

02 第2章：规则

Rules

第二章：规则（Rules）

1993年3月的一个夜晚，几十个人聚集在LambdaMOO——一个在线虚拟空间。有人和同伴聊天，有人四处探索，还有人在忙着扩展和改造这个空间。用户们亲切地称它为"Lambda"，它的创建者是帕维尔·柯蒂斯（Pavel Curtis），一位在施乐帕洛阿尔托研究中心（Xerox PARC）工作的软件工程师。PARC是施乐公司旗下赫赫有名的实验室，许多数字技术的创新都诞生于此——从个人电脑、图形用户界面，到文字处理、激光打印和数字办公网络。PARC的研究奠定了面向对象编程的基础，年轻时的史蒂夫·乔布斯（Steve Jobs）在一次参观访问中，正是在这里看到了计算机的未来。¹

Lambda是另一个在PARC找到天然土壤的创意。当电信行业的巨头们还在梦想着铺设贯通全美乃至全球的数字管道时，Lambda的用户已经在体验虚拟空间了——一个全新的、未经开拓的领域，通过文字和人类想象力与我们的现实世界相连。Lambda不仅可以居住，还可以被设计、扩展和放大。它的边界不是山脉和海岸线，而仅仅是我们的想象力（以及柯蒂斯的代码和PARC的硬件）的极限。它散发着机遇的气息，就像19世纪90年代俄克拉荷马土地抢购潮一样。早在尼尔·斯蒂芬森（Neal Stephenson）造出"元宇宙（metaverse）"这个词，或者马克·扎克伯格（Mark Zuckerberg）挪用它来重新定位自己的数字帝国（或许也顺便让一些监管者摸不着头脑）之前很久，Lambda就已经是一个元宇宙了。² 那些注视着Lambda的人，窥见的不仅是赛博空间（cyberspace）的未来，更是整个信息时代及其挑战的未来。

就在那个命运攸关的周一夜晚，Lambda的一间虚拟房间里发生了可怕的事情。³ 一名用户利用软件中的一个漏洞，劫持了其他人的虚拟角色，迫使这些角色在长达数小时的时间里进行（虚拟的）性行为。这些角色背后的真人遭受了巨大的心理创伤——他们被变成了一个恐怖叙事中被物化的角色，而且还在被旁人围观。这有力地证明了：即使没有发生任何物理上的强制，比特（bits）也能伤人——就像言语能够伤人一样。Lambda社区从未遭遇过如此公然践踏基本人格尊严的事情。

当Lambda的用户们从这场震动中收拾残局、讨论到底发生了什么时，他们开始思考如何回应这次事件，以及如何防止类似事件再次发生。许多人认为社区中原本存在一套社会规范。大多数用户遵守这些规范，小心翼翼不去触犯，偶尔无意违反了也会道歉。但这些规范并没有被写下来，违反者也不会受到正式的处罚。这一切都是自下而上、务实运作的。纠纷往往通过非正式的社会机制来解决。所以，这对Lambda社区来说是一片全新的领域——不久之后，整个社会也将面临同样的问题。

在本章中，我们将回顾20世纪90年代关于如何治理赛博空间的辩论——包括1993年那场悲剧事件之后的讨论——这些辩论预示了更广泛的讨论：我们的信息互动需要什么样的护栏（guardrails）才能蓬勃发展，应该关注哪些现象，以及通过何种机制来治理。我们这样做有三个原因。第一，当年治理辩论中的许多核心主题至今仍然切中要害，指向那些超越特定技术或技术发展阶段的问题和挑战。第二，20世纪90年代末和新千年初期，全球范围内掀起了一股为赛博空间建立社会护栏的浪潮，为我们提供了一批新的护栏样本。第三，尽管不乏创新的想法和概念，这第一波治理数字信息空间的努力最终未能取得突破。这促使我们去探究其中的原因。

我们的分析不仅仅是回顾历史事实，它还追踪思想和框架的演进历程，为接下来的三章奠定基础——在那些章节中，我们将审视当前不同但相关的治理挑战，以及为应对这些挑战而精心设计护栏的种种困难。所有这些都指向我们对所面临的治理挑战本质的一个根本性误解。

虚拟中的真实

随着公众了解到Lambda事件及类似案例，人们开始讨论其影响和后果。一些专家很快提出，赛博空间的治理并不像看起来那么困难或棘手。每个社区中的每一次社会互动都以具体的人类行为为基础。总得有人敲键盘，让比特在互联网上传输。比特可能造成痛苦，但管道的另一端是真实的人类行为，是他们创造了这些比特。

这些专家推论说，规则和规范以多种方式塑造人类行为——有的是规定，有的是激励。但规则始终针对的是我们的行为。所以，逻辑是这样的：如果赛博空间中的互动是现实空间中人类行为的结果——键盘前是一个活生生的人——而我们的社会已经有了针对人类行为的规则，那么赛博空间的治理挑战就有了一个直截了当的答案：我们只需要适用和执行现有规则就行了。案结事了。不需要讨论治理，不需要思考新规则，也不需要新的制度或程序。轮子已经发明了，我们要做的只是用它。

1996年，弗兰克·伊斯特布鲁克（Frank Easterbrook），一位聪明且知名的保守派美国联邦法官，在一次后来被证明极具影响力的赛博空间治理会议上发表了演讲。伊斯特布鲁克嘲讽了那些呼吁展开治理辩论的人。⁴ 他说，制定新法律的必要性就如同"马匹法"——这个说法后来被引用了无数次。公平地说，伊斯特布鲁克确实列举了三个例外，但那些都是比较技术性的问题。他传达的信息很清楚（请原谅这个蹩脚的双关）：别再鞭打死马了。

伊斯特布鲁克的观点有一定道理。那天晚上在Lambda里施虐的是人，不是比特。比特不过是那场可怕互动发生的媒介。更广泛地说，人类在面对新挑战时，最初的反应往往是用熟悉的框架来理解它。⁵ 这可能在进化上是有意义的，因为它使我们能够运用现有的解决方案，降低了认知负担，并提供了一种行动策略。

然而，另一些人不同意伊斯特布鲁克的描述。他们提出了两个主要论点。第一，赛博空间中的一切互动都是信息性的，因为来回传输的是比特——而信息具有许多物理物体所不具备的特性。⁶ 例如，信息（在大多数情况下）是"非竞争性的（non-rivalrous）"——两个人不能同时坐在同一把椅子上，但一个人浏览一个网页并不会减少另一个人浏览同一网页的乐趣。如果我们社会的规则是为生活在物质世界中的人制定的，那么这些规则可能无法直接适用于一个纯信息领域。传播学者罗汉·萨马拉吉瓦（Rohan Samarajiva）曾精辟地总结了这一点。他说，无论是物理空间还是赛博空间，都不是一个"中性的容器"，治理需要反映它所要塑造的世界的特定品质。⁷ 当时担任麻省理工学院（MIT）建筑学教授兼MIT媒体实验室主任的威廉·米切尔（William Mitchell）同样强调了这个虚拟空间的信息属性。他恰如其分地将自己的著作命名为《比特之城》（City of Bits），并指出，那些为虚拟城市构建信息基础设施的人，实际上决定了哪些虚拟互动是可能的、哪些是不可能的。⁸

第二个论点建立在这些信息特性的基础上。赛博空间是我们心智的建构；我们需要想象它，因为它并不物理存在。我们对赛博空间的心理建构取决于我们个人对信息的解读。与物理现实相比，虚拟现实在我们感知它的方式上要更加个人化——尽管其中发生了社会互动。这可能使得人们更难就共同体验达成共识，可能导致对所接收信息的恰当解读产生差异，也可能使人们在沟通时更难以做到足够清晰以让他人理解。综合来看，与现实世界相比，这些效应降低了可预测性，增加了不确定性，从而使现实世界规则的适用变得更加复杂。

或许，延伸这些论点来看，其中一些特征——不可预测性加上高度个人化的体验——对参与者而言恰恰具有巨大的吸引力。这意味着，试图将现实世界的规则注入赛博空间，可能会抽空它最吸引用户的那些特质。这一推理得到了后来创建的许多虚拟空间的佐证——从21世纪初的"第二人生"（Second Life），到大型多人游戏如"魔兽世界"（World of Warcraft），再到Facebook和Instagram等平台所催生的那些颇为抽象的虚拟空间的成瘾性力量。

治理的特征，而非模板

将现实世界的规则原封不动地搬到赛博空间，这个想法有一个巨大的优势：认知效率。如果我们已经知道想要的是线下世界那种治理模式，我们只需要把那个模板搬到线上就行了。相反，一旦我们承认比特的治理可能不同于原子的治理，我们就面临一个根本性的规范问题：我们想要什么样的治理？在规则、程序和制度等多个维度上，可以构想出各种各样的治理体制。我们该如何选择？

当然，我们希望治理能够推动某些价值。其中一些在原子世界和比特世界中可能是相同的，但另一些可能不同。例如，也许在原子世界中我们想拥有某些东西。这种愿望体现为一种排他性权利，我们称之为"财产（property）"。经济学家解释说，排他性权利能够催生市场，而市场是出色的协调机制。⁹ 但在信息世界中，类似的排他性权利存在的理由并不那么明显。它的目的是什么？许多信息是现实的反映；我们真的想让某些人"拥有"这种反映吗？它不一定会催生市场，也不存在需要分配的稀缺资源。恰恰相反：信息的非竞争性使得多方同时使用它成为可能，这有可能促进效率和可持续性。

知识产权（intellectual property rights）也不是一个合适的模板。版权法旨在激励智力创作的生产，如书籍、歌曲或绘画。但信息往往不需要被"生产"；充其量，它需要被"收集"，而随着传感器和存储设备成本的急剧下降，收集信息变得越来越便宜、越来越容易。被收集的信息远远多于被实际使用的信息——据某些衡量标准，前者是后者的六倍。¹⁰ 如果不需要激励信息收集，那么知识产权的类比就不适用于更广泛的信息治理。

关于价值的辩论至关重要；它们确保我们设计的治理体制能够体现社会的规范精神。但在设计治理时，价值并不是唯一的变量。同样重要的是一些治理特征——它们不嵌入单一目标——如文明礼貌、信任、言论自由或个人隐私——而是捕捉一种更为抽象的治理品质。正是这些特征在20世纪90年代中期引起了一位年轻而成就非凡的学者的兴趣，他将赛博空间治理这一晦涩的问题变成了全世界公开讨论的议题。

莱斯格的圆点

劳伦斯·莱斯格（Lawrence Lessig）戴着圆框眼镜，一副少年模样，很容易被误认为是一个研究生。但他的外表掩盖了他的学术出身。莱斯格毕业于常春藤名校，曾为美国一些最知名的法官担任过书记员。作为一位有抱负的法学教授——先在芝加哥大学，后在哈佛大学——他将自己的研究聚焦于赛博空间的治理，这对一个想要在学术界闯出名堂的人来说，是一个大胆且有风险的一步。

作为法律学者，莱斯格研究了不同层次的规则及其相关的程序和制度结构如何治理社会；他对政治体如何组织自身有着浓厚的兴趣。20世纪90年代初，他为那些此前处于俄罗斯政治轨道上的国家提供制定宪法路径的建议。¹¹ 但对莱斯格来说，虚拟空间提供了一个远为宏大的思考治理的机会。因为软件可以被以多种方式塑造，我们在塑造虚拟空间方面拥有的自由度远大于物理空间。这可能会塑造我们未来的轨迹。

莱斯格想要理解那些产生规则、影响人类行为的结构和过程。在物理世界中，这些并不总是容易识别的；在信息领域则更加困难。但当别人看到的是数字信息流动和人们与之互动的个案时，莱斯格看到的是模式——以及信息治理的必要性。

在数字领域，人类互动通过比特来中介。反过来，这些比特被处理和向他人呈现的方式，就是赛博空间被塑造的方式。对比特的治理是治理赛博空间的主要机制。例如，如果某些信息在到达目标受众之前被过滤掉了，那么虚拟空间中就不会有任何讨论随之发生，就好像这些信息从未被说出过一样。

在他的《思想的未来》（The Future of Ideas）一书中，莱斯格将赛博空间治理描绘为一场战斗——一方是珍视信息自由流动的人，另一方是推动限制、商业化和控制的人。¹² 在他的下一本书《自由文化》（Free Culture）中，莱斯格描述了对越来越多信息的正式圈占：当越来越少的信息可以被"自由"分享时，文化也变得不那么"自由"了。¹³

莱斯格使用的隐喻有意将正在发生的事情与历史先例联系起来。美国建国之初是一个拥有广阔开放空间的国家，那里居住着原住民。但在整个19世纪，土地越来越多地被划定、分割和占有。¹⁴ 类似的事情在几个世纪前的英国也发生过，当时大片土地被"圈占（enclosed）"，由地主控制。在英国，这改变了社会，将那些在公共土地上自由放牧的农民变成了依附性的佃户。¹⁵ 在美国，它消除了大部分公地（commons），并将私有财产的观念变成了一种准宗教信仰。

美国的圈地运动在20世纪仍在继续，莱斯格在哈佛的同事杰拉尔德·弗鲁格（Gerald Frug）对此有详细记录。城镇中开放的商业街道被私有的购物中心所取代。知识机构——学校和大学——走向商业化。越来越多的基础设施被私人投资者持有，再租回给社会使用。这些"圈占"行为往往带来了令人不安的后果。¹⁶ 而莱斯格看到，类似的动态正在赛博空间中上演——可能带来同样令人困扰的长期影响。¹⁷

莱斯格的视角不仅仅是为21世纪初的治理提供了一个新鲜的角度。它帮助我们的想象力从对物理世界中人类行为的聚焦中解放出来。莱斯格开辟了一条概念路径，鼓励研究者、政策制定者、企业和公众将"比特"视为治理的对象，将影响比特流动的斗争视为我们这个时代首要的治理挑战。

互联网转向法律

要使信息治理有效，它不仅必须反映政策制定者想要实现的价值和目标，还必须反映被治理对象的本性。这包括数字信息的流动方式：几乎瞬间跨越遥远距离；而且成本低廉，与传输距离无关。

在数字时代之前，信息治理往往依赖于地方性的规范和观念。例如，在美国，淫秽内容的判定依据"社区标准（community standards）"，而诽谤诉讼则由当地同等地位的人组成的陪审团来裁决。¹⁸ 哪些信息适合分享（或不适合）由当地习俗来塑造。市场供需反映了这些规范：如果走进西好莱坞（West Hollywood）的一家书店，你会发现那里的书与堪萨斯州大本德（Great Bend, Kansas）的书店大相径庭。

如果用一套复杂的地方规范和规则拼凑来治理互联网，可能会严重阻碍信息流动，限制其经济和社会潜力。企业和用户可能不得不遵守一套复杂且不可预测的规则——哪些规则适用于何处、何时适用，完全无法确定。由此产生的不确定性会使企业更难吸引投资，也使消费者参与互动和交易的意愿降低。因此，无论一个社会想要推动什么样的价值，互联网时代似乎都在呼唤更普遍、更持久的治理机制。

在某种程度上，这类似于18、19世纪西方国家和大型企业推动以正式法律形式实现全国性治理的愿望。他们看到了收获规模经济和范围经济、更高效地投射力量的潜力。其结果就是法律学者所称的"一元法（monist law）"——在一国范围内正式颁布和执行的规则和规范。¹⁹

一元法的概念被视为分散的社区规范的解药——那些社区规范往往根本不是正式法律，而是经常被不均匀执行的社会规则。一元法还摆脱了规则与个人身份绑定的观念，转而将其适用于特定领土范围内的所有人。一元法与西方的工业化和殖民扩张相伴而生，这或许暗示帝国更多地关乎空间和领土，而非人民。尽管如此，一元法从未完全取代多套社区规范或属人法（personal law）的观念。例如，各行业继续对本行业成员进行裁判，各宗教也保留着对其信徒的一定治理权力。²⁰

随着互联网的崛起，赛博空间中越来越多的领域开始受到治理。在线社区建立了自己的"网络礼仪（netiquette）"，即约束行为的规范。²¹ 工程师们将治理数据包流动的规则嵌入技术基础设施——这些规则由技术工作组"制定"，如互联网工程任务组（Internet Engineering Task Force，IETF），其运作原则是"大致共识和可运行的代码（rough consensus and running code）"（在评估一项技术提案是否应该被采纳时，成员们会被要求通过发出哼声来定性地衡量提案的支持度；哼声越响，支持越大）。²² 电子商务提供商如eBay，也建立并执行了自己的规则体系。结果是一场治理的大杂烩，涵盖了从新颖独创的规范设置到国家有时笨拙地将其现实世界规则延伸到虚拟空间的广泛光谱。

尽管特定的治理体制在在线生活的许多角落继续存在，但更大的玩家和国家——就像18、19世纪那样——推动着具有更广泛领土范围的规范。越来越多的数字精英（digerati）和互联网用户推动建立一种治理体制，它不仅要更普遍、更持久，还要为数字信息流量身定制。但谁来建立这样的治理体制呢？互联网法律专家大卫·约翰逊（David Johnson）和大卫·波斯特（David Post）主张，互联网社区应该自治——自行讨论、制定和执行规则。²³ 另一些人，如杰克·戈德史密斯（Jack Goldsmith）和吴修铭（Tim Wu），则反驳说，适用正式的国家法律具有概念上和实践上的优势。²⁴ 国家法律已经成熟，因此不需要从零开始构建治理结构，而且国家政策制定者——被互联网的公众热潮所警醒——已经准备好了参与其中。

最终，务实主义胜出：其结果是一场建立在（主要是）国家法律基础上的信息治理盛宴。例如在美国，备受争议的1996年《电信法》（Telecommunications Act）第230条保护了互联网公司，使其不必为流经网络的信息承担责任。²⁵ 一家位于洛杉矶的互联网提供商不再会因为传输信息而被认为违反了田纳西州的社区标准——至少不像以前那么容易了。²⁶ 而在纯粹的国家法律之外，欧盟也在同一时期颁布了法规，其明确目标是促进电子商务，让更多消费者和企业上线。²⁷ 今天鲜为人知的是，即使是欧盟开创性的信息隐私指令，其初衷也是为了协调各国隐私规则，以促进欧洲大陆内部的跨境数据流动——用更普遍的规范来推动赛博空间的演进。²⁸

选择更普遍、更持久的治理机制，在20世纪90年代末是有道理的。在第一波互联网浪潮和随后的网络泡沫这些疯狂而混乱的年月里，初创企业如火箭般蹿升，几个月后又坠毁，稳定性严重匮乏。现有的治理拼图令人困惑且复杂。实施更多基于一元法的治理机制可以降低不确定性，从而减少成本。这会让企业、投资者和消费者放心：信息流动可以持续，因为治理体制是稳定的。这代表着一种转向——从社区标准和容易随偏好变化的地方规范，转向我们称为"法律"的高度形式化的治理体制。后者似乎又征服了一个新领地，击退了赛博空间中的社区自行制定规则的理想主义梦想。

但这种法律转向并未兑现它的承诺——至少在信息时代先锋者的眼中是如此。他们指责法律太慢、偏离重点、含糊不清、缺乏聚焦，最终作为赛博空间中的信息治理机制完全无效。²⁹

情境至关重要

法律的失败被认为体现在它无法产生预期的确定性和稳定性。部分原因在于立法者犯了一个本可避免的错误。20世纪90年代末及之后的大量法律旨在抽象地治理信息，忽视了情境的重要性。³⁰ 在抽象层面上规定信息治理要困难得多，因为信息具有极大的多面性。一个能够适用于多种情境的简单治理模板可能是难以企及的。

有效的信息治理要求我们在情境中思考信息。它要求我们审视信息的角色。信息在被用于决策时才具有影响力。信息在成为达成目的的手段时——即促进人类活动时——才真正重要。

莱斯格非常清楚情境的重要性，并经常强调这一点。以他后来关于游说力量的研究为例。³¹ 莱斯格认为，仅仅追踪游说者的资金贡献，并不能充分反映他们的影响力和重要性。游说者提供的决策信息（decisional information）同样至关重要：政策制定者需要做决策，而决策需要信息。游说者通过立场文件和谈话要点为他们提供信息。这种信息资源具有重大影响，因为它最终比纯粹的资金贡献更有效、更持久地塑造了决策。正因如此，在莱斯格看来，游说改革不能只盯着资金线索，还必须治理流向政策决策者的信息流。

忽视情境会降低任何治理机制的有效性。当政策制定者关注决策情境中的信息治理时——想想我们在前一章提到的越来越多的"助推（nudging）"案例——效果

情况要乐观一些。然而，语境问题并不能完全解释法律在信息治理中所表现出的失败。还有一个关键因素，使得法律对于那些越来越将生活和互动搬到线上的人来说，变得如此缺乏吸引力。

距离之死

空间和时间是人类在物理世界中根深蒂固的经验范畴。但对比特而言，这些边界几乎不存在。比特可以穿越国界、跨越数千英里，然后按照发送时的顺序重新组装——一种信息版的"星际迷航传送术"。发送方和接收方都无法决定、甚至不知道这些比特经由网络到达目的地的路径。弗朗西斯·凯恩克罗斯（Francis Cairncross）在其关于网络空间的早期经典著作中，将这一现象称为"距离之死"。³² 时间对比特而言似乎也是一个相当人为的维度。随着数字网络容量的增长，比特几乎能瞬间到达目的地并被处理——至少以人类感知的尺度来衡量是如此。

相比之下，法律是人类时间和空间的产物。它们被逐步创建和执行，既非瞬时完成，也非均匀施力。法律的管辖范围受限于司法边界。即便是超国家法律，也只适用于全球信息流的一个子集。例如，当欧盟（European Union）颁布的信息隐私规则似乎要求对个人信息的处理须经通知和同意时，许多美国地方报纸不愿遵守——它们通过屏蔽欧洲用户访问其网站来回避这一要求。³³

法律最初看起来似乎优于地方习俗和社群规范，成为信息治理的机制，但实质上并非如此。法律是地方性的、有时间局限的。对于在网络空间中冲浪的人来说，法律与那些看似瞬时且无视距离的全球信息流并不匹配。

数字化精英们还发现了法律的另一个弱点：法律是非二值的。法律是社会过程的产物，从立法到执法皆然。因为法律由人类创建、由人类执行，因为它们以人类语言书写，所以它们是不精确的。法律留有解释的空间。这使得预测治理行动的结果变得困难——会发生什么、何时发生。在混乱时期，比如网络空间的早期拓荒阶段，具有如此大回旋余地的治理被认为是无效且代价高昂的。当时的思路是，既然系统中已经有如此多的风险，至少治理应该是简单明了的。如果信息需要护栏，那么这些护栏需要清晰、简洁、有效。法律做不到。但别的东西可以。

代码即法律

比特在互联网上流动，因为它们可以被数字计算机轻松处理。这种处理通过逐步执行指令来实现，正如艾伦·图灵（Alan Turing）在其开创性工作中所阐述的那样。³⁴ 指令本身也是比特，我们可以在其中编码任何我们想要的处理过程。代码可以放大和倍增比特，可以对它们进行排序、过滤，或者创建新的比特加以添加。它可以指挥和操控比特。通过代码，我们决定什么信息在何时、何地、流向何人。

从这个角度来看，计算机中的指令代码——我们今天称之为软件——治理着比特。事实上，数字计算机作为代码和执行系统的结合体，是一种极其强大且多功能的信息治理机制。因为可以随意编程，这种治理可以反映任何人们想要的价值观和目标（尽管效率各有不同）。

全球数字网络要运转起来，必须建立并遵守适当的信息流处理标准。这些标准必须确保网络中的所有元素都知道如何传输比特，以便它们能够相互通信——或者用技术术语来说，实现互操作（interoperate）。³⁵ 但这些标准并不一定限定比特如何被操纵，包括比特是否会被传输。就好像系统中的所有元素都实施了相同的治理机制，尽管每一个元素都可以反映不同的价值观和目标。

互联网的另一个特性在这方面至关重要：端到端（end-to-end）原则。³⁶ 这是在互联网早期为解决各网络节点处理能力有限的问题而设计的技术原则。该原则的核心是：信息处理发生在比特传输路径的两端（即发送端和接收端），沿途的网络节点只需负责转发到达的比特。这减少了中间节点的处理负担，从而降低了网络的整体处理需求。

尽管端到端原则起源于务实的考虑，但有人认为它同时也具有政治意义。³⁷ 通过将处理比特的任务去中心化，它限制了沿途对信息的控制权，因此可以被解读为深度反审查的。端到端原则确实促进了早期去中心化通信应用的发展，比如电子邮件、用于聊天的IRC、用于文件传输的FTP，以及作为早期社交媒体形态的Usenet。但这种更宏观层面的影响是否具有持久性尚不清楚。想想看，这一原则并未阻止后来高度集中化信息交换和身份控制的在线平台的兴起。

然而，端到端原则还有一个更直接关系到信息治理的后果。通过促进在端点——发送方和接收方——处理比特，这一原则使得这些端点能够有效地实施信息治理。当消费者访问亚马逊（Amazon）的网站时，提供什么信息由亚马逊决定，消费者的影响较小。信息如何呈现则取决于亚马逊如何处理它发送的比特，以及消费者的设备如何处理它接收的比特。

当然，原则上中间节点也可以操纵它们转发的比特。一些国家的政策要求信息流必须经过专门的防火墙路由，以识别和过滤某些类型的信息。中国的防火长城（Great Firewall）就是一个典型例子。³⁸ 互联网的标准和协议并不意味着信息治理只发生在端点。其要义在于，互联网是一个由互联数字计算机组成的网络，因此可以通过端点上的软件非常直接地实施信息治理。

综合这些要素，软件成了新的法律。软件可以成为信息治理的有效机制，因为它就位于信息发出和落脚的地方。软件指令是以机械化方式执行的，所以不像法律那样存在解释的余地，不会有不想要的泄漏。它是二值的——比特要么通过，要么不通过。软件比法律更容易、更快速地创建、执行和修改。它不偏不倚地执行其中嵌入的规则，没有任何附加条件。软件也是由程序员构建的，而非由立法者颁布。通过代码治理不需要社会结构的参与，它没有法律这种深层社会系统的复杂包袱。无需在立法机构中费力地寻求民主表决，也无需经历耗时且不可预测的司法程序。它可以由私人组织和企业来完成，由此它们被赋权为治理机构。从效能的角度看，软件代码几乎体现了人们希望在治理机制中看到的一切特质。从权力的角度看，它使私营部门获得了治理能力——同时削弱了社会的治理能力。

企业迅速拥抱这种赋能，毫不令人意外。从第一次互联网泡沫开始，信息治理实际上已经从传统法律转移出来，越来越嵌入企业行为者创建的软件代码中。MySpace 决定了用户可以在其网页上放置什么内容。eBay 开发了交易伙伴评级系统。苹果（Apple）在其在线商店中，多年来禁止用户评价自家产品，但允许评论第三方产品。YouTube 建立了一套基本自动化的系统来处理上传视频中的版权问题。谷歌（Google）等平台会自动扫描其云存储中的图片以识别恋童内容。微软（Microsoft）调整了其流行网页浏览器的设置，使其自家内容显示更快。这些不过是冰山一角。

莱西格在他的著作《代码》（Code）中预见到了这一发展。³⁹ 他将法律称为"东海岸代码"（East Coast Code），由立法机构制定、通过法院执行，并将其与"西海岸代码"（West Coast Code）——由私人实体编写的软件——相对照。莱西格对这一变化持警惕态度，因为它缺乏社会参与和程序公正。⁴⁰

但还有一个更深层的担忧。物理空间中的治理基于人类应当遵守但可以选择忽视的规范。相比之下，计算机代码划定了虚拟空间中什么是可能的、什么是不可能的。这改变了信息治理的本质。它不再建立在个人选择和责任等深刻的人性基础之上；相反，系统确保只有被批准的决策才能被执行，因为它不会执行其他决策。用物理结构来打比方，这就好比用不可逾越的监狱围墙取代了柔性的护栏。

这暗示了一个类似奥威尔《一九八四》的反乌托邦世界的来临：个体不仅是强权的棋子，而且已经放弃了使其成为人的那些特质；他们开始热爱老大哥。要实现这样的反乌托邦，软件代码的治理必须是全面而彻底的、没有替代方案的、且没有任何意外的泄漏。幸运的是，迄今为止这还没有发生。但信息治理的转变确实已经发生了。软件代码确实成为了一种虽不完美但出奇有效的信息治理机制。治理权力确实从社会转移到了私人企业。自那以后，我们一直在应对由此产生的信息权力集中问题。

信息资本主义

在莱西格开始其工作近二十年后，围绕信息治理和信息权力的争论重新兴起。许多互联网用户从自身的日常经验中，对平台公司的力量有了切身的理解。媒体调查揭露了这些数字巨头令人震惊的诸多问题：从创新停滞、反竞争行为、非法使用个人数据，到不人道的工作条件，以及有时公然蔑视法律。在许多方面，这些平台公司看起来就像、表现得也像社会的敌人。

哈佛商学院（Harvard Business School）退休教授肖珊娜·祖博夫（Shoshana Zuboff）创造了"监控资本主义"（surveillance capitalism）一词来概括这一现象。⁴¹ 在她的分析中，罪魁祸首不是技术，而是资本主义制度——它内在的权力集中动力不受问责约束。数字工具和基础设施的特性使它们几乎成了完美的帮凶。

质疑经济制度的本质并非新鲜事。卡尔·马克思（Karl Marx）通常被认为是第一位对资本主义进行有力批判的思想家。但祖博夫对信息所扮演角色的刻画，为这一古老批判增添了一种重要的新风味。她的论题出现在2000年代末全球金融危机促使许多发达市场经济体质疑资本主义之后不久，将大众的怀疑重新聚焦到了信息经济上。

然而，祖博夫的分析并不完整。如果说莱西格关注的全是信息治理的机制——代码如何成为法律——那么祖博夫对此几乎只字未提，对治理的角色也说得很少。通过将资本主义定义为反派，她缩小了补救措施的视野：只有放弃或彻底改变资本主义的本质，社会才能自救。

乔治城大学（Georgetown University）法学教授朱莉·科恩（Julie Cohen）弥补了这一不足。在批判经济学家卡尔·波兰尼（Karl Polanyi）研究的基础上，科恩的著作《真相与权力之间》（Between Truth and Power）认为，资本主义从根本上是失衡和不稳定的——这一判断与祖博夫并无太大不同。⁴² 接着，科恩审视了现有信息治理的各个要素，得出结论：它们被配置为加剧和深化资本主义的不稳定性，而非解决和缓解它。在科恩看来，那些本应减轻资本主义负面后果的治理制度，实际上做了相反的事。

她的结论令人警醒且意义重大：信息治理目前并非改善人类赋权的机制——例如通过促进信息流通。相反，它已经被变成了当权者推进自身目标和保护自身地位的工具。这使我们的社会在最需要信息治理带来好处的时候，恰恰处于解除武装和脆弱的状态。

科恩的论证将信息治理的现实与对信息经济的分析联系在一起，兼顾了技术特性和经济动态。她的论证比祖博夫更厚实、更深入，最终也更有说服力。她重新将信息资本主义的讨论与莱西格的治理话语连接了起来。也许最重要的是，她的论证击退了在关于信息及其流动的学术讨论中一直持续且普遍存在的潜在技术决定论。⁴³

科恩是我们这个时代的新莱西格吗？为我们提供对信息时代及其治理的精辟分析，并推导出监管行动的规范蓝图？也许吧。不过，科恩和莱西格之间有一个重要的区别。莱西格将信息治理视为促进人类行动的手段（通过我们所说的"决策"语境）。科恩则是通过经济和意识形态体系的概念透镜来看待信息治理。这种焦点的差异导致了不同的规范价值取向。莱西格担心个人自由选择和按自己意愿行事的权利可能会消失，而科恩则强调社会需要控制那些正在制造严重社会不平等和骇人经济失衡的宏观经济机制。如果说有过度简化之嫌的话，莱西格的基本单位是个人，科恩的基本单位是集体。

尽管这些著名学者的思想如此深邃、洞察如此锐利，专家和用户们依然继续寄希望于用技术手段来解决信息治理的挑战，因此也继续相信技术才是有效治理信息的关键。正是这种认知塑造了过去四分之一世纪以来的信息治理。无论多么有思想、多么雄辩的评论者反对过这种简单化的观点——无论是反乌托邦式的还是乐观的，无论是基于历史还是根植于令人敬佩的理论——遗憾的是，它仍然主导着大部分公共辩论。⁴⁴

处决即编码

总结本章的论证，1990年代关于如何治理网络空间的讨论提供了若干经久不衰的洞见。在最初对网络空间究竟由什么构成感到困惑之后，焦点转移到了信息及其流动上。关于治理目标的讨论拓展到了更抽象的特征。但治理信息流被证明过于抽象；它需要语境——无论是宏观层面的经济动态，还是更个体化的人类决策。即使在互联网的这第一波浪潮中，我们就已经理解了信息治理的必要性，它需要被审慎地语境化，但又要足够开放，以反映社会价值和更抽象的品质。

最初，传统法律看起来是一种适当的治理机制。它超越了此时此地，似乎能提供跨越空间和时间的一致性。但它的优势在近乎无缝且瞬时的全球信息流环境中证明是有限的。治理的重心转向了一种替代机制：技术开始调节信息流，补充法律并日益取代法律，因为它史无前例地结合了有效性和对治理主体的赋能。莱西格预见到了这一转向并为之忧虑，将其浓缩为"代码即法律"这句话。

在接下来的章节中，我们将审视技术变革在决策空间中加剧的三个当前治理挑战。我们描述用于应对这些挑战的传统护栏，解释它们为何效力不足，以及这又如何讽刺地促进了技术解决方案的兴起。我们审视这些新的技术护栏，并考察转向技术引导社会强调了哪些品质——如有效性、聚焦度或持久性。我们将这些品质与我们可能同样看重的替代治理机制的品质进行对比。这为关于决策护栏应有品质的更规范讨论奠定了基础。

不过，我们首先需要为1993年网络空间中的那起强奸事件画上句号。那起事件促使LambdaMOO社区开始讨论治理问题——但在这些讨论真正展开之前，Lambda的一名程序员编辑了用户数据库，限制了施害者访问系统的权限。这个冒犯者被驱逐了——用社区的语言说是"被处决了"（toaded）——不是基于社会规则的司法程序的结果，而是一位高级程序员之手所为，他认为自己已经听得足够多，可以亲自伸张正义。西海岸代码在行动。

03 第3章：谬误

Falsities

第三章：谬误（Falsities）

乔·卡西迪（Joe Cassidy）一生中大部分时间是一名间谍。一名非常特殊的间谍。在世人眼里，他是美国陆军的一名士官，退役后成为文职雇员。但从1959年到1980年，他是一名受FBI（联邦调查局）雇用的双面间谍，向他的苏联上线输送了数万页经过精心筛选的美军文件，其中不乏高度机密内容。在这股真实文件流中，FBI让他穿插传递了精心伪造的信息。情节犹如冷战间谍小说——FBI在卡西迪的配合下，向苏联人喂食虚假信息（disinformation）。"虚假信息"一词正是苏联人在斯大林时期发明的，用来描述向对手提供"假新闻"的任务。乔·卡西迪是一名极其成功的虚假信息散布者。¹

20世纪60年代，苏联对美国的化学武器计划深感兴趣。二战后，苏联和美国都改进了致命神经毒气的生产，如塔崩（Tabun）、沙林（Sarin）和索曼（Soman）。业内人士称它们为"G类制剂"（G agents），按字母顺序编号（GA到GF）。美国化学武器实验室曾试图研发更多G类制剂，但未能成功。其中一个候选制剂最初展现出巨大潜力，毒性极高；但始终找不到有效的治疗手段，使其在实战中几乎毫无用处。化学武器专家还寻找二元（binary）神经毒剂——即通过混合两种相对无害的成分来制造的毒剂。美国认定额外的二元G类制剂研究是一条死路，但怀疑苏联正在着手研究。于是，FBI伪造了一批文件，显示美国在化学武器研究方面取得了突破，研发出一种高毒性的二元制剂："GJ"。

GJ当然并不存在。这个计策的目的是让苏联人走上歧途，消耗他们的时间和精力去追逐一种美国已经证明行不通的神经毒气候选物。这将拖住苏联的研究资源，延缓他们在其他神经毒剂上的工作数年之久，从而减缓化学武器军备竞赛。用虚假信息拯救世界——用假信息赢得战争，总比用致命武器好得多！

苏联人信任了他们收到的文件。他们的化学武器实验室开始全力攻关那个难以捉摸的GJ制剂。当他们撞上了美国同行此前遇到的同样实际困难时，他们继续研究、调整、试验。这个计谋似乎奏效了。但随后苏联人真的取得了突破。他们研发出一种比任何现有毒剂都更致命、更有效的神经毒剂。苏联对此保密了数十年。20世纪90年代初，在必须申报化学武器国际条约库存时，他们也没有披露其存在。直到苏联解体后，一名主要研究人员成为吹哨人，俄罗斯才承认了它的存在。它叫诺维乔克（Novichok）——最引人注目的一次使用，是在2020年毒害俄罗斯反对派领袖阿列克谢·纳瓦利内（Alexei Navalny）。

尽管大部分资料在美国和俄罗斯仍属机密，但美国情报与间谍题材顶级作家大卫·怀斯（David Wise）认为，FBI自己那份半真半假的文件可能恰恰引导苏联人走上了研发诺维乔克的道路。²如果确实如此，这个虚假信息项目就适得其反了，给世界留下了持久的附带损害。

乔·卡西迪是故意散布虚假信息。但即使是无意的错误信息（misinformation）同样危险，因为它有可能扭曲我们的决策。在本章中，我们将探讨虚假信息带来的挑战。我们回顾历史上人类应对虚假信息的方式，以及这些方式在互联网时代为何变得不那么有效。由于这些传统应对手段似乎已经失灵，我们开始转向似乎更具优势的技术方案。但正如我们将要解释的，这些技术方案也有严重的缺陷——虽然其中一些或许可以缓解。但我们还发现了一个更深远、可能更严重的长期问题：如果技术方案真的有效运作，可能会催生一个结构性的、最终致命的问题。

错误信息（Misinformation）

我们每个人都在参与改变信息流的工作。FBI操纵了苏联间谍所能获取的信息流。营销人员放大自家商品的正面品质。独裁政权禁止自由、独立的新闻媒体。隐私法限制信息流通以保护个人。官方宣传塑造着可获取的信息。通过筛选哪些信息可以被他人获取，我们影响着人们的决策和行为。社交媒体的推荐算法也是如此。

正如我们近年来深切意识到的，不实信息正通过社交媒体汹涌传播，操纵着个人的决策。以鲁迪·朱利安尼（Rudy Giuliani）为例——他曾是纽约市市长，也是时任美国总统唐纳德·特朗普（Donald Trump）的私人律师。2020年3月，在第一波疫情期间，朱利安尼在推特上发文称抗疟药羟氯喹（hydroxychloroquine）对新冠病毒"百分之百有效"。这一信息在事实上是错误的——羟氯喹对病毒毫无作用，且有显著副作用。仅仅一个月后，总统本人又危险地建议人们饮用强力清洁剂来杀死病毒，导致多人误饮漂白剂。³

这些事件凸显了错误信息的挑战——这是我们审视决策语境下信息治理难题时遇到的第一个问题。当错误信息导致错误决策时，它就产生了后果。当它不仅影响一个人的判断，而是塑造了许多人的观点时——或者当由此产生的决策尤其致命时（想想基于诡计而发动的战争），问题就更加严重。

社交媒体平台上的错误信息对社会构成了前所未有的挑战，这既源于它们的巨大普及度，也源于它们作为信息放大器的角色。麻省理工学院（MIT）的研究人员发现，推特上的错误信息被分享的频率比准确信息高出70%，传播速度快六倍，且更有可能广泛扩散。⁴根据另一项研究，2020年Facebook和推特上约四分之一到三分之一的用户互动都包含错误信息。⁵在美国，超过半数在网上分享信息的社交媒体用户表示，他们曾无意间分享过错误信息。⁶但错误信息也有被故意传播的——而且往往不是由人，而是由算法传播的。仅2021年第三季度，Facebook就删除了17亿个虚假账户，其中许多由机器人运营，专门散布错误信息。⁷

大约三分之一的美国年轻人主要通过社交媒体获取新闻和信息。⁸如果这些信息是虚假的，而他们又信以为真，那么他们的决策就建立在严重失真的现实版本之上。

更糟糕的是，利用在线平台传播故意制造的错误信息，远比通过传统媒体或老式口耳相传要容易得多、成本也低得多。在平台上创建账户几乎零成本；虚假账户传播信息的能力与真实账户几乎一样。同样，正如大量研究已经充分证明的，识别这些虚假信息散布者并非易事，即使对专家来说也是如此。⁹宣传从其内容和来源上并不容易辨认。它融入了我们每天在这些平台上接触到的信息漩涡之中，并渗透进我们的思想。¹⁰

这种情况我们已经目睹多年。剑桥分析（Cambridge Analytica）和俄罗斯政府试图通过海量Facebook帖子影响2016年美国总统大选的做法有据可查。¹¹类似的手法也出现在英国脱欧（Brexit）公投以及欧洲大陆各国大选之前。¹²2022年俄罗斯对乌克兰发动侵略战争时，伴随着又一波虚假信息攻势，淹没了各大在线平台。¹³其他国家政府也牵涉其中。据报道，中国、伊朗和朝鲜都运营着大规模的黑客队伍，向西方社交媒体注入大量虚假信息。¹⁴

也许在我们这个多极化的世界里，各国试图影响他国决策是不可避免的。但其影响是深远的。在疫情期间，当数十亿人不得不做出关乎健康的紧急决策时，来自俄罗斯和其他地方的虚假信息散布者在西方社交媒体上传播谣言，干扰公共卫生应对措施的有效性。¹⁵一些政策制定者，如唐纳德·特朗普，心甘情愿地（也许并非有意地）向支持者转传了精心植入的虚假信息，进一步放大了其负面影响。这已经不再是关于谁赢得选举的问题了；而是关于谁会因为服用未经验证的药物或拒绝接种有效疫苗而死亡。虚假信息正在左右关乎人类生存的决策。

以社交媒体平台为加速器，错误信息是当今社会面临的重大挑战。但正如乔·卡西迪的案例所揭示的，虚假信息的历史远早于数字时代。它从人类交流的早期就伴随着我们——而我们也一直在与之斗争。

言论自由（Free Speech）

我们真的很不喜欢被欺骗，尽管我们大多数人有时也会粉饰真相。当被配偶、朋友或同事欺骗时，我们会感到被愚弄。如果是弥天大谎，我们会感到被侵犯。从决策的视角来理解，这一点很好解释。虚假信息是糟糕的输入。它直接影响我们决策的质量。谎言不仅是对信任的背叛，它还会让我们做出错误的选择。¹⁶

毫不意外，人类在多个层面设置了护栏，引导我们诚实地沟通。在大多数社会中，说谎是不被认可的，在许多宗教中更是被明确禁止的。在《圣经》中，第八诫禁止作伪证；天主教会将其解释为禁止一切形式的说谎。在伊斯兰教中，说谎被视为"舌头的罪恶"。在印度教中，只有在极少数情况下说谎才是被允许的。这一点很值得注意，因为宗教建立在信仰而非客观真理之上。通过坚持诚实沟通，宗教并非直接推动人对上帝的信仰，而是促进更好的现世生活。这再次表明，社会赋予诚实以功利性的价值。16世纪，基督教改革家马丁·路德（Martin Luther）更进一步。他鼓励个人自行阅读《圣经》，找到自己的救赎之路。信徒应当因为他们认为某件事是真的才去相信，而不是反过来。在马丁·路德要求基督徒从经文中寻找真理之后，说谎带上了更险恶的含义——它会阻止他人发现通往上帝的道路，阻止他们的灵魂升入天堂。

社会和精神层面对说谎的厌恶渗透到了公共实践和国家行为中。不久之后，欧洲国家开始通过寻求真相来审判犯罪嫌疑人，而非通过神判法。数百年的启蒙运动可以被视为一场对真理的追求——运用我们的头脑去准确地捕捉和理解我们周围的世界，即使我们不喜欢所发现的东西。科学也致力于通过"科学方法"揭示真理，正如政治哲学家汉娜·阿伦特（Hannah Arendt）所阐述的（尽管科学哲学家卡尔·波普尔（Karl Popper）认为，我们充其量只能揭示谬误）。¹⁷

言论自由的思想根基与这种对诚实和真实的渴望交织在一起。如果我们的追求是真理，那么人们必须有自由说出真实的事情，即使这会造成不便或尴尬。言论自由的价值远不止于建立信任和加强社会纽带的即时效果——它通过提供更好的输入来促进更优质的决策。一些护栏可能会约束不真实的信息；但真实信息的自由流通理应受到保护。

然而，这一原则并不像看上去那样清晰和简单。在早期民主制度中，托马斯·杰斐逊（Thomas Jefferson）和本杰明·富兰克林（Benjamin Franklin）（后者职业是出版商）等言论自由的热忱拥护者设想，公共辩论能够揭示信息，使选民做出明智决策。¹⁸但事实证明，辩论往往更多是观点的交锋，而非准确事实信息的共享。这种观点交锋对改善决策又能提供什么呢？

观点无所谓真假，因此保护真实信息的原则并未告诉我们该如何对待它们。像"我讨厌他"或"我觉得她很聪明"这样的表述可能是诚实的（从这个意义上说是"真的"），但它们代表的是看法，而非确凿事实。主观意见是否应被允许？如果它们夸大其词呢？是否一切无法被无可争辩地证明为真的东西，都先验地归为"观点"，进而在人类决策中具有较低的价值和意义？区分事实与观点在概念上或许说得通，但在实践中很难操作。在日常交流中，我们把信息和观点混在一起，用判断给事实"上色"。将两者干净利落地分开极其困难——即使是受过训练的科学家的研究报告也常常被个人观点所影响。¹⁹

围绕这个问题，法律界和公共舆论已经争论了数个世纪。没有统一的解决方案，但许多国家的护栏和国际条约现在保护信息的自由流通，而基本不考虑所传播的内容是否纯粹是事实性的。只要观点中包含某些信息元素，从功利主义的角度来看，它们就是有用的，即使带有批判性甚至伤人性。²⁰因此，只有明显不正确的信息（且可能是故意或至少是轻率提出的），或者毫无根据的观点，才能受到约束。这一护栏为信息的自由流通提供了广泛而有力的保护。

困难并非出现在事实性信息或基于事实的观点的核心地带。它们出现在当我们被数字社交媒体上的帖子及其潜在后果所震惊，转而寻找护栏来"净化"所有公共话语的时候。为了理解诊断和治疗这一社会病症之间的微妙但重要的差异，我们跟随维也纳资深媒体律师、言论自由倡导者玛丽亚·温德哈格（Maria Windhager）的经历来一探究竟。²¹

棘手的难题（A Vexing Problem）

2014年，奥地利政治家伊娃·格拉维施尼希（Eva Glawischnig）找到了温德哈格。格拉维施尼希在Facebook上遭受了粗暴且充满仇恨的语言攻击。她要求Facebook删除这些毫无根据、毫无事实依据的帖子。²²温德哈格接手了这个案件，最终在欧洲法院（European Court of Justice）进行了辩护。

奥地利法律站在格拉维施尼希一边。与其他欧洲国家的法律一样，奥地利法律要求社交媒体平台在收到通知后，将特别恶劣的仇恨性帖子下架。Facebook对这些要求推三阻四，担心下架帖子可能使其沦为各国当局的信息辅助警察，并援引了限制平台责任的欧盟统一规则。但法院认为这并未违反欧盟法律，维持了国内法规的效力。Facebook败诉，格拉维施尼希胜诉，她的案件为整个欧洲大陆的仇恨言论（hate speech）监管树立了标杆。²³

在一些人看来，这项判决限制了言论自由，将数十年来精心校准的社会护栏从信息自由流通的方向上移开了。但遏制真正的仇恨言论，对作为人类决策基础的信息流通可能并无多大负面影响。网络法学者丹妮尔·基茨·西特伦（Danielle Keats Citron）等人已经令人信服地证明，大量仇恨言论不包含任何事实信息，却会造成真实伤害。²⁴而温德哈格并非言论自由的怀疑者——恰恰相反。

温德哈格是四个女孩中最小的一个，在一个充满辩论的家庭中长大。她的父亲是社会保障机构的律师，政治立场温和，大多数时候投中右翼基督教民主党的票。他鄙视纳粹主义和法西斯主义，珍视多元主义和民主——并将这些观点灌输给子女。从小，玛丽亚·温德哈格就热爱辩论。她最初想成为一名建筑师，后来转向新闻业，并认为学习法律能为这个职业做好准备。

温德哈格以一头火红的头发为人所知，思维敏捷、好辩善论，成为一名才华横溢的作家和出色的辩手。在法学院就读期间，她与朋友创办了一份学生法律期刊。通过这份期刊，她参与了一桩意义深远的言论自由案件。案件涉及格哈德·奥伯施利克（Gerhard Oberschlick），他出版并编辑月刊《论坛》（FORVM），这份刊物在自由派知识分子中享有盛誉。在一篇社论中，奥伯施利克抨击了一名曾为纳粹辩护的右翼政客。该政客以诽谤罪起诉。奥伯施利克在国内法院败诉后，上诉至欧洲人权法院（European Court of Human Rights）。

法院做出了有利于奥伯施利克的裁决，显著扩展了欧洲言论自由的边界，重新校准了信息护栏。法院明确指出，即使是论战性的观点，只要建立在一定事实基础上，就不构成诽谤。法院的裁决之所以引人瞩目，在于它将观点与事实联系起来的方式——它解释说，基于证据分析而表达的观点受到最强的保护。²⁵

这是一场甜蜜的胜利，也让温德哈格从此着迷。当她看到判决书印出来，赋予言论保护以权威和力量时，温德哈格放弃了新闻事业的念头，全身心投入法律。"我的整个职业生涯都围绕着一个问题：一个人必须被允许说什么。"她沉思道。而且，她承认，她热爱胜利。

在温德哈格看来，奥伯施利克案——保护即使带有侮辱性的、但与事实相关联的观点——与格拉维施尼希案——禁止仇恨言论——之间并无真正的张力。明显毫无根据的侮辱长期以来被认为应受规制，而基于一定事实的侮辱则不然。但在享受成功的同时，温德哈格也陷入了深思。她看到仇恨言论——那些完全毫无根据的侮辱——在社交媒体上急剧飙升，希望平台承担起自己的责任。她还担心，由于平台对仇恨言论的处理态度消极，越来越多的声音支持政客要求平台在消除各类错误信息方面发挥更直接的作用。温德哈格担心，推动平台从被动应对转向更广泛的主动审核，可能会从根本上损害言论自由——以及整个社会。

碎片化的威胁（The Threat of Fragmentation）

为了应对错误信息问题，社会长期以来对分享某些类型的完全虚假信息或不受保护的观点施加正式惩罚。这通常表现为通过民事诉讼获得经济赔偿——比如诽谤诉讼，极端情况下则有刑事起诉。但这些程序需要时间，而在诉讼期间，那些不实说法仍可继续传播。社会并非对言论受害者毫无保护，但其正式护栏显然偏向了信息流通一方。

世界各地涌现出的许多新仇恨言论法律，基于一种截然不同的流程。鉴于信息以光速传播，这些法律假设必须快速反应才能阻止仇恨的海啸或反击危险的错误信息。这些仇恨言论法律不再要求受害者先去起诉并在法庭上胜诉、再将法院判决交给社交媒体平台执行——这可能耗时数月甚至数年——而是要求平台自行处理整个流程。它们要求平台建立投诉机制，受帖子影响的个人可以发起投诉。平台随后必须评估相关帖子，判断其合法性，要么保留，要么下架。平台需要在几天甚至几小时内做出反应，因此几乎没有时间进行评估。不遵守规定将面临严厉处罚。²⁶

建立管理这些流程的体系对平台来说是一个重大挑战。但这也并非完全陌生的责任。由于版权法的存在，许多大型平台早已建立了版权持有人提交删除侵权内容请求的流程。事实证明，这些流程能够大规模快速运作，权利持有人提交了海量的删除请求。例如，仅2022年上半年，谷歌（Google）仅其YouTube子公司就收到了7.57亿条删除请求。²⁷总体而言，到2023年初，谷歌已收到超过64亿条请求，目标是在数小时内回应其中大部分。²⁸其他平台也有类似的组织基础设施，因此能够重新利用这些架构和流程来进行内容审核。

但还有一个更复杂的因素。正如我们在前一章中所了解的，在互联网的早期，一些专家主张互联网应保持无规则的状态——或者至少拥有自己的一套通用规则。他们担心互联网的碎片化（有时甚至被称为"巴尔干化"（Balkanization）），即无数个司法管辖区争相推行各自的规则。²⁹无论我们喜欢与否，这种碎片化已经到来。当我们在谷歌上搜索时，结果取决于我们物理上身处何地。它们不仅被精心调配以满足我们的偏好和期望，还要符合当地规范和法规。

所有大型在线平台都在众多司法管辖区内运营。同一内容在一个地方可能面临删除请求，在另一个地方却可能属于受保护的言论。往往不可能做出非此即彼的二元选择——要么全球下架，要么全部保留。相反，需要采取更渐进的方式，根据当地司法管辖区的规则，有选择地提供或下架信息。这意味着，至少在潜在层面上，对于每一条内容，在线平台都必须管理和遵循每一个司法管辖区的规则。

技术上这很复杂，但真正使这种局面近乎不可持续的是人的因素。目前，全球有数十万人为各大平台工作，评估删除请求的有效性，正如社交媒体学者莎拉·T·罗伯茨（Sarah T. Roberts）所详细记录的那样。³⁰2009年，Facebook拥有1.2亿月活跃用户时，据报道只雇用了12个人来审核用户标记的内容。³¹快进十年，该公司已雇用超过15,000名员工来审查和删除暴力、色情和冒犯性内容。Facebook将其描述为"所有主要消费科技公司中最全面的仇恨言论清除行动"，但这可能仍然不够。例如，据新闻报道，这15,000人覆盖了70多种语言——而Facebook提供110多种语言的服务。³²Facebook平均每天上传3.5亿张照片，此外还有近30亿Facebook用户全天候发布的所有其他内容。³³

评估删除请求成本高昂，但成本只是挑战之一；评估质量是另一个问题。评估人员需要接受充分的培训，熟悉各个司法管辖区的规则，包括复杂的细节，以判断请求是否应被批准。但在线平台如何确保人类评估员正确地评估信息？如果一个人比另一个人更宽松怎么办？在数字平台上行使言论自由是否取决于你碰上哪位评估员？甚至取决于某个评估员当时的心情？谁来培训这些评估员，多久再培训一次？他们的判断质量如何——他们是否做到了一视同仁？

Facebook为这15,000名人类内容审核员制定了内部指南，这些审核员的任务是在如此多不同的语境、语言和地区中应用法律护栏。虽然指南的一个版本已公开，但许多细节仍属机密。我们

然而，从以前的内容审核员那里我们得知，即便有指导方针，逐案判断依然极其困难。正如一位审核员所描述的："要制定一项真正能捕捉你意图的政策，实在太难了。你不得不深入到非常技术性、非常具体、往往带有任意性的细节里。你把大量时间花在讨论乳头上。"³⁴

部分原因在于——正如我们在第二章提到的——语境至关重要。以2021年加拿大那则轰动全国的新闻为例：Tk'emlúps te Secwépemc 第一民族报告称，在不列颠哥伦比亚省原坎卢普斯印第安寄宿学校旧址发现了215名失踪儿童的无标记坟墓。³⁵ 一位艺术家被这一令人震惊的发现所触动，制作了一条贝壳带——这是一种北美原住民艺术形式，常用于仪式或作为赠礼，将贝壳编织在一起以记录故事、讯息或事件。这位艺术家在 Facebook 上发布了一张贝壳带的照片，标题为"杀死印第安人／拯救这个人"。在帖文中，艺术家描述了坎卢普斯的发现如何启发了贝壳带上的图案、作品的含义，以及贝壳带的历史和教育目的。这位用户还向幸存者致歉，说明这件艺术作品可能带来的任何痛苦，强调其"唯一目的是让人们关注这起骇人听闻的事件"。³⁶ 作品发布一天后，已获得超过4000次浏览和50次分享——随后被 Facebook 删除了。

事情的幕后经过是这样的：一条算法将该帖标记为可能违规，一位人工审核员认同并移除了内容。艺术家提出申诉后，第二位审核员确认了第一位的判断。之后 Facebook 监督委员会评估了此案，结论是删除决定是一个错误。它违反了 Facebook 自身的护栏规则——当用户意图明确时，平台允许所谓的"反制言论"。"杀死印第安人"这个短语单独来看确实可能构成仇恨言论，但在该帖文的语境下，依据政策是被允许的。毕竟，它的唯一目的是引起人们对坎卢普斯事件核心行为的关注和谴责。

将指导方针应用于微妙的语境判断，这一挑战因语境和指导方针本身都在频繁变化而变得更加复杂。指导方针的重大变动往往由地方事件驱动，例如2016年美国大选、在缅甸煽动针对罗兴亚少数族群的种族暴力的虚假信息运动，或基督城恐怖袭击。

处理信息固有的语境性以及海量删除请求的压力，当然不是 Facebook 独有的难题。2014年5月，欧洲法院裁定，个人有权要求谷歌下架与其姓名相关的特定搜索结果，而谷歌必须逐案做出判断。³⁷ 为了遵守这一裁决，谷歌不得不建立专门的基础设施，并组建由律师、工程师和法律助理组成的团队。据报道，谷歌将每一项"被遗忘权"请求都分配给至少一名工作人员进行人工审核，决策过程中没有任何自动化参与。³⁸ 截至2023年4月底，谷歌已收到超过140万项请求，涉及下架550万个 URL，其中约49%获得批准——而且这一数字每天都在增长。³⁹

然而，所有这些仅仅是个开始。再来看仇恨言论：尽管其中涉及诸多细微之处，但它相对容易识别。人们主要需要寻找某些仇恨性词语和短语，同时注意语境，以避免限制戏仿、讽刺、准确的报道以及对仇恨言论事件的合理讨论。但如果评估的焦点转向虚假信息，事情将变得远为复杂。

分享假新闻

保护信息自由流通的努力，通常不包括故意传播虚假信息。事实上，正式的护栏规则往往体现了对准确性的重视。例如，社会允许以事实正确性作为诽谤案件中的抗辩理由，这表明了相反的做法——故意散播虚假信息——可以且应当承担后果。但我们怎么知道哪些信息是真的，哪些不是？

在大众媒体时代之前，不实谣言的传播范围往往受到限制。孩子们通过"传话游戏"知道口头传播很快，但很快就变得荒诞走样、不可信赖。大众媒体——报纸、广播、电视——中的虚假信息，在空间和时间上对人们决策的影响力则要大得多。正因如此，我们对大众媒体的期望与对口头传播信息的期望不同。

即便如此，我们也已经学会了辨别和感知可信度。比如，我们读到《国家询问报》上关于飞碟和外星人的报道时并不太在意，主要是因为娱乐价值，也因为大多数人知道不该根据《询问报》的内容来做决定。

社交媒体模糊了大多数既有的社会边界——而正是这些边界帮助我们解读信息，实际地区分准确与错误的新闻。这些平台上的帖子具有全球传播力，且长期可访问。它们似乎来自无数不同的来源，几乎无法为我们提供判断信息真伪的线索。于是，我们寻找可能的替代指标。例如，当信息由我们认识的人发布或转发时，我们会将对该人的部分信任转移到被分享的信息上。

这样做时，我们可能高估了信息的准确性。因为分享和转发收到的信息实在太简单、太快捷了，我们很容易不经编辑筛选就传播出去——尤其当信息似乎印证了我们已有的信念时。社会规范也影响着我们的信息分享行为。如果有人分享了我们发布的帖子，我们会视之为一种社交馈赠，并倾向于回报对方。在线平台的算法以最大化用户参与度和使用时长为目标来为每位用户筛选内容，这使情况雪上加霜。不幸的是，这导致激进和极端帖子被放大，因为它们能引发更多的反应和更高的参与度。

虚假信息如此普遍且具有渗透性——而我们的护栏规则是为一个不同的世界设计的，那个世界以地方性口耳相传和传统大众媒体为主——这些规则看起来几乎无效。因此，许多人呼吁用技术手段解决"假新闻"问题：在虚假信息一出现时就迅速删除。但这种方案要奏效，反应速度是关键。如果虚假信息在传播数周后才被清除，大部分损害可能已经造成。那么，社交媒体平台能否被社会正式委托，主动搜寻和拦截虚假信息？

信息过滤器

至少在原则上，这个想法很直接。正如我们所解释的，数字平台已经建立了内容审核的架构和流程。平台上的评估者已经在对什么应该删除、什么不应该删除做出复杂判断——以及在哪个司法管辖区内执行。可以想见，现有的内容审核基础设施可以被重新用于过滤虚假信息。

从某些方面看，虚假信息可能比仇恨言论更容易评估。饮用洗涤剂要么安全并能杀死病毒，要么不安全也不能——解释的弹性空间较小，这可能意味着更快、更廉价的评估。过滤虚假信息或许也更重要，值得重新调配审核资源。仇恨言论可能伤害受害者的心理，但吞下漂白剂会致命。

由数字平台主动进行内容过滤，意味着我们在应对虚假信息方面将出现两个关键转变。第一，这一过程将类似于仇恨言论审核体系——完全由企业掌控，由平台运营商设立和控制——而非一个社会性的过程。第二，为了在第一时间最大限度地减少虚假信息的负面影响，干预时机将前移，尽可能接近内容发布的时间点。为了大规模实现这一目标，数字平台运营商已经在开发和部署一系列技术，尽可能自动化这一过程，同时控制总体成本。其设想是，随着时间推移，越来越多的过滤决策可以且将会由人工智能和算法来做出，而非通过人工评估。

结果将是：一个由私人行动者运营和管理的公共空间。社会信息监管的主体制度——包括法院——将被一种社会技术体系所取代，其中技术部分占主导地位，社会元素则在退缩。这是通过技术实现的护栏——或者，用莱斯格（Lessig）的话来说，是通过代码实现的法律。如果一切按计划进行，人们可能仍然会彼此意见相左，但虚假信息将在广泛传播之前被迅速过滤掉。公共话语将持续地、在很大程度上不为人察觉地被清除假新闻。

对许多人来说，这似乎是一个真正的进步——一件"好事"。技术不正是为了将人类从重复性、枯燥的工作中解放出来而设计的吗？自动过滤虚假信息，不就像洗碗机和电视便餐一样，为我们节省宝贵的时间，让我们专注于真正重要的事情吗？大型企业正在积极开发必要的能力。例如，Meta 在人工智能技术上投入了大量资金，每天审查全球数百万条帖子，筛查仇恨言论、霸凌、骚扰、暴力和煽动等有害内容——"这些都要求对语言、细微差别和文化规范有深入的理解。"⁴⁰ 这类技术显然也有潜力被应用于虚假信息。

然而，批评者认为，我们可能正在走向错误的方向。

技术批判

对于利用技术过滤虚假信息的做法，批评者提出三个主要论点。他们对以下问题表示担忧：从公共执法转向私人执法、过滤的速度，以及将评估信息事实有效性的任务视为足够简单、可以自动化的想法。让我们逐一审视这些批评。

第一，执法主体的问题。让一个私人行动者来决定什么信息可以流通、什么不可以，这似乎大大偏离了现有的言论自由治理体制。我们是否正在将社会的一项核心职能私有化？事情没那么简单。商业在线平台是私人实体；它们一直有权选择传播什么信息、过滤掉什么信息，就像它们选择在用户时间线上展示什么信息以放大其传播一样。从这个意义上说，它们与购物中心并无不同——商场的所有者也可以管理其中的言论（尽管存在限制，虽然界限并不清晰）。⁴¹ 然而，对于占主导地位的在线平台来说，情况略有不同。如果它们拦截某些类型信息的流通，确实会对公共辩论产生影响。而如果这一切在缺乏充分质量控制的情况下发生，受利润驱动，那就更令人担忧了。

第二项批评聚焦于主动过滤的速度。即便是拥有阻止虚假信息传播的护栏（如诽谤法）的社会，也往往对发布前的内容管控——也就是我们所说的审查——极为警惕。事后护栏激励文明讨论，而事前内容管控则在信息交流的源头将其截断。前者使公共辩论贫瘠化；后者则丰富它。当然，只有在所有帖子在展示给他人之前都经过审查时，才会出现直接而不加掩饰的审查。但即便在帖子发布后进行迅速而全面的过滤，公众仍可能觉得它类似于审查——因为信息在其触及广大受众之前就被消除了。这确实让我们有理由担忧，因为审查是管控信息流通的最粗暴手段。

问题的关键在于：信息在被评估之前，是否已经被有意义地分享了？如果过滤发生在信息已触达许多（但可能不是全部）预期接收者之后，它可能更接近于事后管控。如果过滤如此迅速而全面，以至于在信息触及大多数甚至任何其他人之前就将其拦截，那它就更接近于审查。因此，吊诡之处在于：社会技术系统越有效，我们可能就越感到不安。

第三条批评回到了信息解读的挑战上。用算法识别仇恨言论实际上非常困难。⁴² 泄露的内部文件——被称为"Facebook 文件"——显示，例如 Facebook 在处理阿拉伯语内容时遇到的困难：由于缺乏语境理解，用于过滤恐怖主义内容的算法错误标记帖子的比例估计高达77%。⁴³ 表面上看，人们可能认为在评估事实性信息时，语言上的细微差别不如在评估仇恨言论时那么重要。但实际上，正如我们所指出的，解读和观点以及语境，都微妙地编织在事实之中。

我们每天分享的大部分信息，是基于我们的视角和观点对所掌握数据的解读。例如，在新冠疫情暴发的最初几周，一些美国公共卫生当局建议不要广泛使用口罩。这是事实还是观点？当然，从事实层面讲，口罩能限制含有病毒的气溶胶传播，从而减少感染。但当时，感染的主要途径仍然不明——是握手还是相互打喷嚏？而且口罩供应短缺，医护人员比公众更需要它们。那么，建议"广泛使用口罩的成本将超过其收益，因为医护人员将不再有足够的供应"，这种说法对吗？对信息的解读需求可能随时间而变化，这使得机器通过算法将准确事实与潜在危险的虚假信息区分开来变得极为困难。

这三个论点表明，技术驱动的主动过滤并非简单的解决方案。也许有限范围的过滤可以被接受，从而建立既能消除部分虚假信息、又不会造成太多附带损害的护栏。这需要对内容控制机制的各个杠杆进行精细调节——从选择正确的过滤时机，到确保底层规则的透明度，再到将机器与人工相结合，尽管成本不菲。即使只是部分成功的前景，也可能足够诱人，让社会愿意押注于过滤——即便它充其量只能解决问题的一部分。

然而，在线平台通过算法支持的主动过滤，可能会在信息流通（无论准确与否）、社会舆论形成和个人决策三者的交汇处引发一个更大的问题。

社会性的"辟谣"

社会技术手段消除虚假信息，暗含着一个非常决定论的过程——清晰的规则被应用于判断信息是否被允许流通。"过滤"这个词本身就暗示着一种机械性的任务：将信息分门别类。然而，许多相关边界是流动的：在缺乏足够语境时，我们如何解读信息？什么是事实、什么是观点，什么是真、什么是假？

这些问题没有简单的答案。根本不存在一套可以编码进算法的、放之四海而皆准的解读和识别虚假信息的准则。社会传统上通过社会过程来应对这一挑战：我们通过辩论——一种社会性的相互交流——来决定我们认为什么是事实性的和可信的，什么不是。就信息的有效性和价值进行辩论和思考，对我们个人和社会都有诸多好处。

第一，它让我们能够改变自己的判断。当我们锻炼认知能力时，我们会根据信息的内容、来源和其他特质，形成对某些类型信息的认知模板。这些模板帮助我们高效地筛选出可信赖的信息，我们还可以相互分享这些模板，从而实现文化学习。这些模板可能具有持久性，使我们能轻松重复使用，但它们并非一成不变：昨天看起来真实的信息，我们明天可能会质疑。

改变想法包括愿意修正我们对事实的看法。⁴⁴ 科学界充满了我们不得不修正看似确立的事实的例子——时间不是绝对的而是相对的；导致疾病的是细菌而非瘴气；地球的平均气温并非稳定不变而是在上升。我们在社会科学和人文学科中也看到同样的现象。有时一个变革需要数十年甚至数百年才能扎根，有时则发生得很快。但它确实会发生。这些纠偏时刻是文化学习的关键节点，推动着我们个人和作为物种的进步。

信息的正确性也取决于认知和语境——比如，我们希望精确到什么程度。例如，我们能否接受"地球是一个球体"这个说法是真实准确的，尽管它更精确地说是一个椭球体——赤道处更宽、两极处更扁？不同的人对什么信息值得信赖和使用有不同的看法。表面上看，这可能像一个缺陷。信息怎么能对某些人是真的，对另一些人却是假的？事实性真理难道不是普遍的吗？也许在数学中是的，但在其他领域，我们可能在一种语境下接受某事为真，在另一种语境下却不会。对什么是真的判断，是一个与语境相关的认知和社会过程。

从个人和社会层面对信息进行评估，也帮助我们在外部环境变化时调整判断。以平均气温为例：几个世纪以来它相对稳定。但随着更多温室气体进入大气层，平均气温急剧上升。世界变了；我们必须调整自己对哪些事实仍然有效、哪些已经过时的判断。

质疑我们对信息的判断并非没有代价。它需要时间和精力。有时，我们必须反复进行"辟谣"。我们被迫寻找更好的事实和更有说服力的论证。这不像西西弗斯的审判，但有时感觉也差不多。我们之所以这样做，是因为我们生活的世界在不断演变——我们对它的认知也是如此。如果昨天为真的东西明天也一定为真，那么频繁地重新评估信息将是一种令人震惊的认知和文化奢侈。但变化越多，我们从调整信息判断能力中获得的收益就越大。归根结底，这赋予了我们韧性——因为它提供了调整自身的能力。

核查事实和破除谬误还产生了一个宏观效益：它加强了我们的社会纽带。表面上看，质疑信息可能会在人与人之间播下不信任的种子。但与他人合作评估信息——从他们的见解中获益，利用他们的指导来避免犯错——远比独自摸索要优越得多。正如社会关系帮助我们生存，我们因此感激同伴。这就是为什么合作使我们作为一个物种得以进步。

合作进行"辟谣"——在评估哪些信息值得信赖的过程中进行辩论——显然在鼓励开放而激烈辩论的社会中效果最佳。也许自由民主制度之所以兴起并蓬勃发展，原因之一就是：对信息的共同评估往往能产生更可靠的结果，为社会成员提供一种民主红利，从而强化个人决策能力。

这种认知和文化层面的信息评估过程，使我们对真假的判断与我们所知和所需保持一致；使我们的社会更具韧性；并推动了自由民主制度的演进。将这一深刻的人性化和社会化的机制与自动化的信息过滤相对比：这样的系统很可能是统一的，导致信息的单一文化；它会被锁定在特定的时间和语境中，无法适应和演进；它会剥夺我们社会的韧性，削弱社会纽带，减少社会合作的益处；并且它会损害自由民主制度。为了换取速度、成本和效率上的提升，这些代价未免太沉重了。

当然，为了回应其中一些担忧，我们可以设想自动过滤器由人工定期调整。但由谁来选择什么应该被过滤？是否应该委派一群精英审查员来担任这一角色？这难道不会同样损害社会合作、限制认知多样性，从而降低韧性和适应能力吗？理论上，社会可以就什么该过滤建立广泛、开放、持续的辩论——但那样的话，技术的优势又在哪里？这样的社会和文化过程，恰恰就是我们今天已经拥有的。

审视哪些事实值得信赖，是开放社会的一项至关重要的功能，对社会的正确决策如此关键，以至于我们可能不愿将其委托给技术和商业平台。因此，尽管技术过滤虚假信息可能具有效率上的优势，我们或许可以得出结论：一个更偏向社会化的过程来评估信息——尽管起初可能繁琐且成本高昂——从长远来看可能更有益，即使我们必须一次又一次地进行这样的评估；事实上，这可能会增强我们评判事实的能力——就像肌肉通过频繁使用而得到锻炼一样。

没有万能药

在本章中，我们看到了多个层面的护栏——从宪法对言论自由的保障到诽谤法和仇恨言论禁令，从宗教法令到禁止故意传播虚假信息的社会规范——如何帮助确保准确有用的信息能够自由流通，同时抑制谎言。这一点很重要，因为虚假信息会干扰我们的决策。

但随着我们的社会被社交媒体上的虚假信息所冲击，现有的护栏似乎已不再充分。越来越多的政策制定者和公民希望平台过滤"假新闻"，并认为可以借助商业平台为打击仇恨言论及相关信息乱象而部署的基础设施，通过技术手段来有效实现。批评者则对这能否在技术层面上奏效不那么确定。

但关于在线平台算法过滤的真正问题更为根本。推动一个看似有效的技术方案来解决社会问题，起初可能有价值，但有可能因改变社会持续评估信息真实性的能力而带来意想不到的后果。让技术来承担这项工作，可能会削弱这种能力，使我们丧失韧性和适应能力。技术起初看起来像是我们对抗虚假信息所需要的"万能药"，但事实未必如此。而且，正如我们将在下一章看到的，对于决策语境中的护栏，提出的其他技术修复方案同样令人质疑。

04 第4章：偏见

Bias

第四章：偏见（Bias）

这本该是一段辉煌运动生涯的巅峰时刻。2016年8月，二十四岁的美国运动员阿比·达戈斯蒂诺（Abbey D'Agostino）来到里约热内卢（Rio de Janeiro）参加奥运会5000米比赛。作为常春藤联盟（Ivy League）大学中成绩最出色的田径运动员，达戈斯蒂诺为此付出了艰苦训练——这是她证明自己实力的机会。

预赛中，还剩四圈时，达戈斯蒂诺紧跟在新西兰选手妮基·汉布林（Nikki Hamblin）身后。那是个美好的日子，阳光灿烂，温暖宜人。突然，汉布林前方的选手放慢了速度。汉布林被绊倒了，把达戈斯蒂诺也一起带倒在地。转瞬间，达戈斯蒂诺跳了起来。她本还有时间冲刺追赶前方的队伍。但她没有——她向仍然倒在地上的汉布林伸出了手，扶她站了起来。这是一个充满力量的举动。选择帮助一个素未谋面的对手，意味着达戈斯蒂诺放弃了进入决赛的机会。

汉布林和达戈斯蒂诺重新开始奔跑。没跑出几米，达戈斯蒂诺的腿撑不住了，伤势太重，无法维持配速。这一次，轮到汉布林停下来帮助达戈斯蒂诺。她同样选择了违背竞争本能的事。两人一瘸一拐地并肩前行，远远落在其他选手身后，但彼此扶持着跑完了全程。

汉布林和达戈斯蒂诺在那一刻各自做出了一个决定——放弃奥运梦想，帮助一位同场竞技的对手。这不是她们事先练习或准备过的事。她们脑中并没有一份现成的蓝图，告诉自己如果在比赛中被其他运动员绊倒该怎么办。起身的那一刻，她们不知道自己是否受伤、伤得有多重。肾上腺素一定在飙升。她们身体里的一切——本能、训练、经验——一定都在告诉她们往前冲，试图弥补失去的时间。然而，她们做出了不同的选择。

人类是如何做决定的？达戈斯蒂诺和汉布林的决定是正确的吗？我们该如何判断？什么样的条件更有可能让人做出最佳选择？我们是否需要护栏（guardrails）来帮助人们不仅收集信息以改善决策，还能真正做出好的决定？如果需要，什么样的护栏才是恰当的？

在本章中，我们聚焦于决策行为本身。我们审视决策的各个要素以及将它们组合在一起的过程，并指出人类的不足之处。我们展示了人类如何演化出一套丰富的决策护栏工具箱，但我们依然不断犯错。鉴于人工智能（AI）的最新进展，有人提出了一个技术解决方案——用算法（algorithm）决策取代人类决策。我们考察了这种根本性转变可能带来的后果，揭示了它可能导致的一个脆弱性，并指出了一种可能的替代方案。

但首先，我们需要更仔细地审视"做决定"究竟意味着什么。

正确的选择

什么样的决定算是"好"决定？它与坏决定有何不同？人们很容易认为，决策就是把相关信息（输入）转化为深思熟虑的行动（输出）。正如我们所看到的，信息是我们得出结论的基础，好的信息能够改善我们的选择。如果决策的输入是唯一重要的因素，那么对决策情境的护栏就可以缩小到我们在前一章分析的信息问题。

但将信息转化为决策的过程并非机械运作。相同的输入并不总是引发相同的行动。有时，面对相同的挑战和相同的信息，两个人会得出截然不同的解决方案。决策绝不仅仅是把信息输入塞进一个心智公式，然后解出最优答案那么简单。

从结果而非输入的角度来看，可以说好的决策是在当前处境下能够推进我们目标的决策。这引出了好决策的两个要素——与目标的一致性和对情境的适当性——它们使我们远离了那种机械的、以输入为导向的决策观念。当人们拥有不同的目标和价值观时，相同的输入可能导致不同的决策——或者当人们追求相同的目标但身处不同的情境时也是如此。很多事情取决于决策的内在过程，而这个过程是非确定性的。它可能产生出人意料的结果——不仅对外界如此，正如阿比·达戈斯蒂诺所发现的，对自己也是如此。

研究人员发现，决策的内在过程包含两个组成部分：生成多种选项，然后从中挑选一个付诸行动。[1] 就好像我们先打开一个漏斗，获得各种可能的选择，然后再收窄漏斗，锁定最终选定的选项。两个部分都很重要。如果不收集备选方案，我们就不会知道有哪些可能性，从而人为地缩小了选择空间。而如果没有对已识别的选项进行比较和评估的过程，我们就无法做出决定，也无法将意图转化为行动。

我们的大脑拥有一些出色的心智工具来辅助这个过程。如果需要极快地做出决定，我们有一套快速反应系统，能够迅速聚焦于一小组默认选项。这是我们祖先在非洲大草原上生存留下的遗产。例如，当我们突然听到一个陌生且具有威胁性的声音时，我们会蹲下或逃跑。诺贝尔奖得主、心理学家丹尼尔·卡尼曼（Daniel Kahneman）将其称为系统1（System 1）。[2] 然而，在现代生活中面对的大多数重要且影响深远的决定，我们都有时间去思考。我们的选择不那么本能，决策过程更加深思熟虑。卡尼曼将其称为系统2（System 2）。

当我们仔细思考备选方案并从中选择时，我们使用心智模型（mental models）进行思考——即对现实的表征。心智模型帮助我们聚焦于特定情境中最重要的现实特征。心智模型有点像放大镜，它缩小了我们的视野范围，但放大了眼前的细节。在心智模型内部，我们生成合适备选方案以供选择。我们将庞大的选择空间压缩为更有可能恰当且可执行的选项。这是一个精妙的机制，帮助我们看到多条路径而不至于迷失在死胡同里。[3]

如果这个描述让人觉得这是一个清晰的线性两阶段过程——先生成选项再从中选择——不要被迷惑了。实际过程往往远比这混乱，而且是迭代的。我们可能先生成几个选项，评估之后发现不尽如人意，于是再生成更多选项。决策的认知引擎帮助我们将愿望转化为现实，尽情境所限——但理解它既需要艺术，也需要科学。

认知变形

将理解决策视为一个深思熟虑的认知过程——即构想和选择选项——其中隐含着一个前提：有些选项比其他选项更好。好的决策就是选出这些有利选项。不幸的是，人类往往不善于做出好选择。心理学家和行为经济学家已经表明，我们在评估现实和思考选择时，会受到大量认知偏差（cognitive bias）的影响。[4]

例如，近因偏差（recency bias）使我们高估最近经历的事情，而忽视更早发生但可能仍然相关的信息。确认偏差（confirmation bias）放大了一切能够印证我们观点的信息——比如，如果我们觉得自己开车时总是遇到红灯，就会注意到每一次被红灯拦住的经历，却对顺利通过绿灯的时候视而不见。损失厌恶偏差（loss aversion bias）使我们倾向于避免失去已经拥有的东西，同时却愿意冒更大的风险去挽回已经失去的东西；这对赌徒和天真的投资者来说尤其致命，他们往往加倍下注而非及时止损。类似的认知变形还有很多。

这些偏差并非认知上的意外，不是我们大脑中某种糟糕的线路问题。它们之所以存在，是因为在过去某些情境中提供了进化优势。就像人类面对危险时的"战斗或逃跑"本能一样，有些偏差在今天已经不那么有用了；另一些偏差则仍然具有价值。以近因偏差为例：当环境发生变化时，淡化对过去不同情境下经历的记忆是有帮助的。再看确认偏差：通过让我们确信自己的观点是正确的——即使并非如此——它激发了我们驾驭复杂世界的信心。我们实际做得可能并不如预期那样好，但拥有尝试的信心可能比因缺乏安全感而裹足不前要好。然而，尽管某些偏差有其价值，综合来看，它们使我们面临做出低劣选择的风险。这反过来又降低了我们行动的效果。

过去几十年来对这些偏差的发现，打破了启蒙时代（Age of Enlightenment）关于人类完全理性的理想化看法。心理学研究给人类心灵能够超越本能和无根据信念的希望泼了冷水。研究表明，即使我们意识到自己的偏差，也无法轻易将其关闭。当然，我们可以在决策时保持警觉和谨慎，但无法简单地通过训练消除偏差。它们是人类决策中的结构性特征。而且，由于我们的认知偏差是为一个更简单的世界而演化的，世界越复杂，它们造成的问题就越大。当我们不得不消化和理解更多相互矛盾的信息时，偏差的扭曲效应就更加严重。

我们可能无法从自己的偏差中获益，但别人可以。研究人员对我们的认知变形了解得越多，我们就越容易被他人策略性地利用这些偏差来影响我们的决策。广告利用我们的偏差让我们想要自己并不需要的东西。销售人员利用我们的偏差让我们付出超出应有的价格。书店里摆满了影响他人决策的指南——而这些书本身就利用偏差让我们掏钱购买。我们常常浑然不觉别人在利用我们的偏差，当一个不透明的算法（algorithm）来做这件事时，我们更是容易中招。机器可以让我们上当受骗，或者上瘾：例如，研究表明，社交视频分享平台TikTok的推荐算法被刻意设计来诱导用户观看远超其计划数量的短视频。[5]

这就是人类的困境。好决策如此重要，我们却深受认知变形之害，选不好、做不对。然而，早在认知偏差被正式研究之前，人类就意识到自己常常做出错误的决策，并开始思考能够改善决策过程的社会护栏。今天，如果我们留心观察，会发现这些护栏无处不在。

决策护栏

个人在磨练决策技能时不必从零开始。我们可以借鉴超越个人经验的洞见。当我们发展出能够全面表达自我的语言——而不仅仅依赖表示危险或食物存在的有限信号——这种学习就变得容易多了。这种学习可以是非正式的，当我们向他人讲述自己的经历和决策的后果时。这样一来，"好"决策被复制和传播，而"坏"决策则被淘汰和避免。

古老的学徒制（apprenticeship）理念是通过长期观察他人然后自己动手来学习。通过这种方式，工匠和其他专家不仅能够传授知识和信息——比如如何将矿石冶炼成铁，或者如何利用星星导航——还能传授决策护栏，比如在特定情境下是否应该追踪一头鹿。通过帮助他人看清哪些选择值得追求、哪些应该避开，我们为他们降低了决策的复杂度。

正规学校教育同样可以被看作不仅仅是传授知识的机构。它让下一代接触到一系列已被证明能够产生良好结果的选择。这不仅引导我们的孩子选择那些我们认为通向更好生活的选项，还加快了决策过程，使其更加高效。

除了正规学校教育和学徒制之外，许多专业研讨会、研修班和讲座也旨在培养和传播良好决策的文化。管理学巨著为激励销售团队或经营工厂等情境提供了最恰当的选择——我们称之为"最佳实践（best practices）"或"标准操作程序（standard operating procedures）"，还给它们起了好记的缩写——而自助书籍则指导我们如何结束一段关系。它们在形式和内容上可能大相径庭，但共同点在于它们将决策选择封装成了我们可以使用的形式。同样，助推（nudging）旨在重新利用我们的认知偏差，引导我们走向社会认为正确的选择。

所有这些护栏与其说是关于选择本身，不如说是关于如何选择；它们的目的是促进决策过程。它们可能以组织规则的形式存在，比如约束麦当劳（McDonald's）员工如何回应顾客投诉，或者限制组织成员之间——尤其是跨层级之间——发展恋爱关系的时间和方式。有时这些规则简直是救命的，比如当航空公司明确规定飞行员在自动碰撞警告与人工空中交通管制指令矛盾时应如何应对。

组织护栏已经在许多领域大幅提升了人类决策的质量，从工程到社会科学研究。在医疗领域，医生兼作家阿图·葛文德（Atul Gawande）在他的《清单革命》（The Checklist Manifesto）一书中记录了为紧急情况制定简单但极其有效指南的发展历程。[6] 密歇根州（Michigan）的一项清单行动使重症监护病房（ICU）患者的感染率下降了66%，这一惊人的成功挽救了生命，也节省了金钱。[7]

决策护栏也以更广泛的社会规范形式存在，清楚地告诉每个人不应该做什么。在热门电视剧《生活大爆炸》（Big Bang Theory）中，谢尔顿·库珀（Sheldon Cooper）的行为之所以如此笨拙，正是因为他不遵守社会规范，做出让朋友恼火或自己陷入麻烦的决定。宗教常常建议甚至命令我们在某些情况下做出特定的选择。虔诚的基督徒必须遵守十诫（Ten Commandments）。正统犹太教徒在安息日几乎没有工作的余地，虔诚的印度教徒不得食用牛肉，而有德行的穆斯林不应收取利息。

法律本质上是与特定机构和执行程序相联系的正式化社会规范。在许多方面，法律减少了个人可做出的决定的多样性。正如我们在第一章中提到的，法律有时迫使我们向他人披露某些信息；它们可能禁止我们在合同中加入某些条款，或者完全禁止签订合同。法律的设立可能有各种各样的原因，但往往通过约束人类决策来帮助弱势群体、减少潜在冲突或维护社会秩序。

人类仍然可以选择无视法律——或者学校教育、宗教、清单、助推——尽管这种选择的后果可能会限制他们实现目标的能力。为了防止人们在有护栏的情况下仍然犯决策错误，有时约束被嵌入到物理世界中，使我们不再有选择的余地——决定已经替我们做好了。起初，这些约束可能被视为人类意志的丧失。当空客（Airbus）推出首架A320飞机时，它配备了精密的计算机来限制飞行员可以执行的机动操作。评论家们当时认为飞行员会讨厌这种对决策的"保姆式"干预。但在许多情况下，我们已经接受了在具有潜在危险的设备中设计决策约束：想想工厂车间机械设备上的安全功能挽救了多少生命。不过，它们也可能带来副作用。如果飞机大部分时间都是自动着陆，飞行员就不再练习自己的手动降落技能，当他们必须自行降落时就更容易犯错。

也许对人类决策施加外部约束的最极端例子是苏联时代的"边缘"（Perimetr）系统，该系统至今仍在运行。如果该系统判断正在发生核攻击且正式的人类指挥系统已经瘫痪，它可以自主发射核导弹。将人类的存亡托付给一台机器，这可能令人震惊，但其创建者的意图相对理性和良善。苏联战争规划者担心的是那些容易冲动的军事指挥官和政治狂热分子下令过早发动核攻击。他们认为，如果政治家和将军们知道"边缘"系统即使在人类决策者被消灭后仍能发动报复性攻击，那么当怀疑但不确定有来袭攻击时，他们就不太可能下令反击。"边缘"会推动他们更理性地行事。这是对人类决策者被视为最薄弱环节的一个令人震惊的承认。

我们可能会为这种防止人类选择末日的尝试喝彩。但"边缘"也意味着一种深具问题性的趋势：良性的决策引导在削减人类的决策选项。

投射过去

我们越来越多地将规则嵌入到我们与之交互的物体中，使其无法被违反，从而限制人类的自主意志。这可能使人类免于做出愚蠢的决定，但限制人类自主意志有一个根本性的弱点：它使决策空间僵化。随着越来越多的决策受到约束，我们失去了应对变化的能力。

我们的决策护栏建立在我们对过往决策的认知之上。这在类似的情境中是有效的，或者当过去比现在更有见识时也是如此：复兴希腊和罗马的传统将欧洲从我们称为中世纪（Middle Ages）的漫长千年智识低谷中拉了出来。但如果环境发生变化，或者我们调整了目标，现有的决策护栏就会推动我们采取过时的选择。要使其重新发挥作用，就需要更新。

并非所有规则都有适当的更新机制，即使存在这样的机制，在规则被彻底修订之前也存在时间滞后。在这段滞后期间，我们可能最终认为自己做出了好的决定，实则不然，因为我们依据的是过时的决策护栏行事。例如，修订法律需要经历一个耗时的正式程序——即使所有利益相关方都同意；如果需要建立共识，则耗时更长。在这段时期，过时的法律规则仍然有效，塑造着一个社会的发展轨迹，仿佛过去仍在锁定着未来。

社会规范可以在没有正式程序的情况下被改变。但这并不意味着它们更容易适应变化了的情况。事实上，社会规范被证明具有惊人的持久性。即使在现代西方国家——那些对法治有着坚定信仰的地方——古老的社区和地方规范仍在持续塑造着行为，有时甚至与法律规则相悖。

将规范和规则嵌入机器中，使得防止过去投射到不断变化的未来变得更加困难。但有一项新技术有望帮助我们在做决策时保持内在的适应性和灵活性。僵化将不再是问题，因为决策护栏会自动演化。这就是大众媒体所称的人工智能（AI），但专家们更愿意称之为"机器学习（machine learning）"的诱人前景。

机器的灵魂

基于机器的决策是面向未来的一个有趣愿景：受自身认知变形困扰的人类，试图通过将决策外包给自适应的机器来改善命运——某种意义上的"心智义肢"。

在二十世纪的大部分时间里，人工智能（AI）的基础是在软件中表示显式的规则集，然后让计算机基于这些规则进行"推理"——机器的"智能"就是将规则应用于特定情境。由于规则是显式的，机器也可以通过列出促使其决策的规则来"解释"其推理过程。[8] 即使人工智能在推理和决策方面有着超越表象的光环，传统AI依赖于我们能够将所有相关规则明确化并将其转化为某种机器可消化的表示形式。它是透明和可解释的，但它也是静态的——在这个意义上，它与其他形式的决策护栏（如标准操作程序或清单）并无本质区别。这类AI的进展停滞了，因为在人类活动和决策的许多日常领域中，将规则明确化是极其困难的。

然而，在近几十年里，人工智能这个标签被用来指称一种截然不同的东西。[9] 新型AI以复杂的方式分析训练数据，挖掘出代表数据中隐含知识的模式。AI不会将这些隐藏的知识转化为显式的、可理解的规则，而是将其表示为节点网络中一组庞大而复杂的抽象联系和依赖关系，有点像大脑中的神经元。然后，它通过应用训练数据中的模式来"决定"如何响应新数据。例如，训练数据可能包含疑似肿瘤的医学影像，以及它们是否被证实为恶性的信息。当给AI展示一张新图像时，它会估计这张图像是恶性的可能性有多大。由于系统是从训练数据中学习的，这个过程被称为"机器学习"。

这种数据驱动的AI相对于传统AI有两个重要优势。首先，人类不再需要将规则明确化后输入系统。相反，规则从训练数据中自动浮现。关于机器学习和自动驾驶汽车的著作《驱动》（Driven）的作者亚历克斯·戴维斯（Alex Davies）简洁地概括道：在这种新范式下，"计算机得到的是课程，而不是法律。"[10] 这意味着我们可以将此类AI应用于那些用显式规则难以捕捉的日常知识。我们可能会嘲笑现代AI系统在理解口语或识别图像中的猫时仍然犯的错误，但在这类任务上取得的进步是惊人的。

2016年，谷歌（Google）的AI子公司DeepMind让其AlphaGo系统与人类围棋冠军对弈。围棋是一种规则简单但博弈极其复杂的棋盘游戏。由于每一步都有太多可能的选项，评估每一种可能的走法和应对很快就会耗尽最强大的超级计算机的算力。这就是为什么专家们长期以来认为围棋将始终由人类主导。但DeepMind有不同的想法。他们没有采用暴力破解的方式，而是让AlphaGo与自己对弈了数十万局。每一局都为AlphaGo生成了可供学习的训练数据。当AlphaGo随后与人类冠军进行五番棋比赛时，它以四比一获胜。[11]

比胜利更重要的是AlphaGo如何实现这一壮举。根据评论比赛的专家的说法，它通过走出"精妙"、"优美"和"非传统"的招法取得了成功。显然，当AlphaGo在其海量的训练数据中筛选时，它推导出了未知的模式，从而找到了致胜的招法。

人类的专业知识往往建立在我们通过长期实践获得的隐性知识的复杂网络之上——也就是我们所说的"经验"

在我们的求职简历中也是如此。每个职业都是这样——从建筑师、发型师到音乐家、领导力教练、销售人员和执法人员，概莫能外。数据驱动的机器学习提供了一个诱人的机会：捕捉这类隐性知识，并将其转化为可操作的决策依据。GPT和类似的生成式AI模型就是绝佳的例证。通过在多达五千亿词的训练文本上进行训练——从书籍、手册到维基百科无所不包——它吸收了大量关于世界的知识，而这些知识并不以显性规则的形式存在。打个比方，想想烹饪：菜谱会提供一步步的做饭方法，但几乎所有的菜谱都会省略某些步骤——作者觉得那些步骤显而易见、不值一提，或者太微妙而不必多说。但当你仔细研读许多菜谱的字里行间时，就能捕捉到这些隐性知识。生成式AI的工作原理也是如此，这也是它与此前技术的根本性飞跃所在。

第二个优势——在我们的讨论语境中甚至更为重要——在于：由于规则是从训练数据中推导出来的，它们不必是固定的。相反，随着更多（更新的）训练数据的引入，规则可以不断调整。这应当能防止许多决策护栏随着时间推移而僵化失效。它不仅能从过去的数据中发现模式，还能从当下推导出适用于未来决策的规则。换句话说，它内置了一套规则更新机制。

这种数据驱动的AI有望在从医学到气候变化、从农业到制造业的广泛领域中带来更优决策。倡导者认为，我们应当在越来越多的场景中鼓励使用机器学习，甚至强制推行——就像碰撞预警系统在商业航空中已成为强制要求一样。

虽然这听起来可能有些夸张，但变革实际上可能是渐进式的。在日常生活的许多场景中，我们已经在让机器为我们做决策了——从相对简单的（比如汽车碰撞时安全气囊的弹出）到更为复杂的（比如Siri在智能手机上为我们选歌）。而且我们从中获益：机器不像人类那样容易受到偏见的干扰；它们的表现在不同情绪状态下始终如一。它们还行动高效——能在瞬间做出决策，且成本相对较低。

然而，批评者指出，在决策场景中使用机器学习，这些显著优势似乎被同样重大的缺陷所抵消。

黑箱？

那些消化了海量训练数据的机器，对用户而言仍然是黑箱（black box）——也就是说，我们无法窥视内部，看看它们识别出了什么"规则"，以及如何将这些规则应用于新数据。弗兰克·帕斯夸莱（Frank Pasquale）等专家认为，这使得数据驱动AI与更传统的机器决策有着根本区别——在传统机器决策中，人类仍然掌控着将哪些明确规则写入系统。[^12] 他们说，如果我们让系统做决策，却不知道这些决策到底基于什么，那我们就等于把自己交给了机器的专断。在没有充分证据表明机器学习系统如我们所愿和所预期地运行之前，用户不能也不应该委托它们来替自己做决定。这个论点听起来很有道理。谁愿意把控制权交给一个未知的东西呢？

然而，仔细审视就会发现事情更为复杂。在日常生活中，我们都依赖着许多自己并不理解的机器。比如，作为司机和乘客，我们可能对汽车上的ABS防抱死制动系统有个模糊的概念，但大多数人对其确切的内部工作原理一无所知。当然，设计和制造这些系统的人完全清楚它们是如何运作的。但我们信任ABS刹车系统，是因为想到有其他人类理解它们而感到安心——还是因为经验告诉我们它们值得信赖？

在最近的一项研究中，德里克·班鲍尔（Derek Bambauer）和迈克尔·里施（Michael Risch）发现，许多最初对数据驱动AI缺乏透明度感到不安的人，在决策结果普遍良好时会改变看法。[^13] 这项研究之所以极具启发意义，是因为它揭示了用户真正在意的东西：改善的结果，而非程序上的透明。透明度的诱人呼声或许动听（我们中的一位作者也曾为之倾倒[^14]），但事实证明，人们更关心结果而非过程，更关心目的地而非旅途本身。[^15]

在这个语境下，需要指出的是，AI的批评者常常混淆了两个实际上截然不同的问题：决策过程的透明度有多高，以及机器决策的质量有多好。正如机器学习的诸多成功案例所表明的，缺乏透明度并不妨碍机器做出高质量的决策。反过来，并非每一个理论上透明的决策就一定是好的。想象一下，你必须在两个人之间选择听从谁的建议：一个总是详尽解释自己的理由但经常出错，另一个深不可测但通常正确。谁还会选择透明度？

幸运的是，我们不必非此即彼。最近已经开发出了一些方法，可以在不要求完全透明的情况下测试机器学习黑箱的决策质量。例如，可以让机器评估一个精心设计的边缘案例——一个我们期望它以特定方式做出决策的案例。如果机器判断错误，就说明某个环节出了问题，需要调整。[^16]

除了缺乏透明度之外，机器决策经常被提及的另一个弱点是可能存在偏见（bias），即其决策对某些群体或个人构成歧视。[^17] 造成这一问题的一个关键原因很容易定位。数据驱动的AI使用实际数据进行训练，包括先前的决策。如果训练数据本身不完整或存在偏差，就会把AI带偏——因为人类偏见会被捕获到决策数据中，当这些数据被用于训练AI时，偏见便嵌入了机器构建的知识表征之中。[^18] 或者，借用计算机科学的说法：偏见进，偏见出（bias in, bias out）。

偏见的根源不一定只是糟糕的训练数据。问题也可能源于不恰当的机器学习算法，或者算法的错误配置，或者整体设置的缺陷。[^19] 我们有很多事情可以做、也需要做，以确保数据驱动AI系统的所有要素——从训练数据及其处理方式到机器学习算法的选择——都适合预期用途并得到正确使用。同样，我们也需要谨慎审视我们用什么基准来评估AI系统。如果我们以完美为标准，很可能会失望——不仅因为数据及其使用中的缺陷，还因为并非所有偏见都能被完全消除。即便是消除某种偏见的精密措施，也可能固化另一种偏见——这不仅仅是因为这些措施不够充分，更因为社会现实本身就是纷繁复杂的。另一方面，如果我们以人类决策为基准，AI系统的表现未必会比人类决策者更差。

然而，这并不意味着机器决策就拿到了"通行证"。还有一个更深远、更具破坏性的结构性弱点潜伏在前方。

正确的素材

正如我们所看到的，决策护栏的核心理念是：过去的经验可以被用来在当下做出好的决策。这在世界不变的情况下是行得通的——无论是我们必须做出决策的情境，还是我们希望通过决策实现的目标，都不发生变化。硬编码规则在变革时代就显得捉襟见肘；理论上，这正是数据驱动AI应当大展身手的地方。如果情况发生了变化，我们应该能够添加反映新情况的更多训练数据。然而，这种推理存在一个缺陷。

自动驾驶公司Waymo恰好说明了这一论证——也说明了其缺陷。多年来，Waymo在美国各地部署了数百辆汽车，收集了关于道路、标识、路况、天气和驾驶员行为的海量数据。这些数据被用来训练Waymo的AI系统，使其能够自动驾驶。这些车辆就是Waymo系统的试验品。观察到的错误（包括自家驾驶员犯的错）反过来帮助Waymo系统学习如何避免它们。要识别任何特定情境下的最佳驾驶行为，这样的系统不仅需要大量不同情境的数据，还需要驾驶员在每种情境下做出不同决策的结果数据。当训练数据中存在足够的变异性时，学习效果最为丰富——这样系统就能推导出什么条件下什么方案最优。要获得多样化的训练数据，Waymo需要捕捉驾驶员做出各种不同选择的过程。

由于Waymo从未停止收集训练数据，即使情况发生微小变化——比如交通法规和随之而来的驾驶行为的变化——也会反映在所收集的数据中，并最终嵌入Waymo的系统。这是一台不仅学习了一次、而且从未停止学习的机器。

然而，让我们想象一个我们越来越依赖机器做决策的世界。机器越是主导我们的选择，这些决策就越会成为持续机器学习的唯一数据来源。问题在于，数据驱动的机器学习不会做实验；它是基于从先前决策数据中推导出的最佳实践来行动的。如果机器开始更多地从我们基于其建议所做出的选择中学习，它们就会放大自身那些保守的解决方案。

随着时间推移，这将收窄并淹没训练数据中的行为多样性。数据中将不再有足够的实验性内容，使机器无法适应新情况。这意味着数据驱动的机器学习将丧失其相对于显性规则系统的最重要优势。我们最终将陷入一种无法进化的决策单一文化；我们又回到了固定的决策规则。

这个缺陷比无法适应变化了的环境更为重大，后果也更为深远。即使现实没有改变，我们也可能错失未来改善决策的机会。许多最终获得成功的创新，在其最初形态中并不比现有选择更有用。但是，从训练数据中出现的任何新决策选项，只有在能立即产生比现有选择更好的结果时，才可能被采纳。这就封堵了试验有前景的新想法的任何机会。

例如，最早的蒸汽机消耗的能量远超其能转化为运动和动力的部分。[^20] 如果一台机器将蒸汽机与当时使用马匹作为动力的现有方案进行比较，它会立刻放弃蒸汽动力的念头。蒸汽机最终成功的唯一原因，是固执的人类认为长远来看可以改进这项发明，并坚持了下来。这些发明爱好者没有任何数据来支撑他们的信心。他们只是凭借想象——然后继续修修补补。

当然，大多数这样的准创新者最终都会失败。进步之路上铺满了那些固执地追随疯狂想法的修补匠的墓志铭。然而偶尔，微小的变化不断积累，最终带来突破——一个远远更优的决策选项。现代社会允许修补匠的存在，尽管这种做法短期内几乎总是收效甚微，甚至是破坏性的——只因为未来某个时刻可能会有巨大的回报。

数据驱动的机器学习如果被广泛使用，将抛弃那些最初不够理想的发明。但这样一来，它也就放弃了实现长期突破的可能性。机器只能从已经存在的东西中学习。人类却能想象尚不存在但可能存在之物。人类发明了蒸汽动力，而数据驱动的机器学习则只会找到越来越高效地使用马力的方法。

人类的梦想远远不止于技术革新。我们的祖先曾梦想一个废除奴隶制的世界；妇女可以投票的世界；人们可以自主选择与谁结婚、是否生育后代的世界。他们想象天花被消灭、我们用疫苗抵御脊髓灰质炎的世界。他们努力让这些梦想成真。如果他们只看过去和现在的数据，这些梦想没有一个能够实现。

从标准操作程序（SOPs）到助推（nudges），决策指南都强调一致性。传统教育也往往以传承为目标——暗示决策就像数学题一样，存在一个正确答案。但决策指南终究只是建议——如果你愿意承担风险（并负起责任），就可以违背它。千百年来，年轻一代中总有人愿意去冒这个险。年轻人不断反抗父辈和老师，挑战旧的、传统的、可预见的东西，转而拥抱的不仅是原创和新奇，还有那些尚在想象中的事物。人类继续梦想着——比如一个升温不超过两度的世界，或者一个人们有足够食物却不耗尽地球资源的世界。

与人类不同，机器决策被优化为追求跨时间的一致性。即使数据驱动的机器学习能够获取最新数据，它仍然会限制我们的选择空间。它总是会选择一条更高效的路径沿着我们当前的方向前行，而不是尝试开辟一条新路。我们越多地用它来做决策，它就越会从数据中剔除决策的变异性，并丧失进步的能力。它会把我们带入脆弱、僵化、无法适应和进化的境地。从这个意义上说，数据驱动的机器学习是对不变性的崇拜，是想象力的天敌。

如果由机器做决策，阿比·达戈斯蒂诺（Abbey D'Agostino）会继续冲刺，而不是去扶尼基·汉布林（Nikki Hamblin）站起来。如果由机器做决策，尼基·汉布林会握住达戈斯蒂诺的手站起来，但当达戈斯蒂诺再次跌倒时，她会径直跑开。机器所有的训练数据都会告诉它，这才是优化比赛成绩的正确方式。达戈斯蒂诺和汉布林做出了不同的选择——因为我们人类可以这样做。

没有任何技术调整能轻易解决这个问题。如果我们想增加数据的多样性，就需要机器决策的变异性。这意味着机器必须做出不够最优的选择。但支持在决策中更多使用AI的整个论点，恰恰建立在AI能够持续、跨时空地提出更优选择的能力之上。在许多场景中，刻意在机器选择的选项中引入变异——从而增加近期决策失误的风险，以换取长远利益——在社会层面是难以被接受的。即便社会接受了，也未必能产生我们期望的实验效果。理论上的决策空间往往极其庞大。随机遍历决策选项以生成必要的多样化数据，需要极长的时间——在大多数情况下，远远无法满足及时决策的需要。即使迭代不是随机的，可以完全在数字环境中完成——比如AlphaGo通过自我对弈来学习——也需要巨大的计算资源。

相比之下，人类做实验时很少随机决策；相反，他们使用心智模型（mental models）来想象结果。如果做得好，这可以极大地缩小决策空间。正是这种基于认知建模的筛选，将人类在决策场景中的实验与机器在缺乏心智模型时不得不采用的随机游走区分开来。而如果机器使用某个特定的心智模型，所产生的数据又会受到该模型局限性的约束。一群多样化的人类使用多样化的心智模型进行实验，这种优势很难被超越。

我们从分析人类决策的缺陷出发，这似乎为一种技术解决方案打开了大门——一个能力强大、表面上具有适应性和学习能力的机器决策系统，或者至少是机器决策辅助系统。一个针对既有护栏所面临严峻挑战的技术修复方案。然而，仔细审视后发现，这个看似令人印象深刻的技术方案可能存在意想不到的后果，恰恰限制了其倡导者所极力推崇的敏捷性和适应性。如果我们的目标是支持和促成像阿比·达戈斯蒂诺和尼基·汉布林那样的选择，也许我们不需要机器来告诉我们如何像往常一样做决定。相反，我们可能需要一种截然不同的决策护栏。

决策变异性

这类护栏的出发点，是质疑"决策存在正确选项"这一信念。正确选项的公理（axiom of correct choices）只有在知识完备且绝对静止的条件下才成立——即一切已知且万事不变。显而易见，这种情况极为罕见。然而，我们却总是被单一解决方案的诱惑所俘获。个人和团队被要求"解决问题"，仿佛所有问题都有现成答案。学校让学生接触预设了标准答案的问题，假装人生不过是一连串可以破解的谜题。

如果我们想要决策变异性，首先需要挑战这一公理，而不是建立促使我们趋向单一答案的社会结构和流程。做出更好的决策，取决于是否愿意不断尝试新的、多样化的选择。一个决策只有基于我们已知的信息才能被认为是最佳的。通过审慎的试错，我们可能会发现一个更好的替代决策并采纳它。但我们只有在决策可以变异的前提下才能做到这一点。

我们不需要强制实验，但应当鼓励和促进实验。人类无时无刻不在想象，他们以不同的视角看待事物，得出不同的决策。人类从很小的时候就本能地训练自己生成决策选项——这是孩子们从一岁多起就开始进行的假装游戏（pretend play）的一个关键益处。[^21] 青少年甚至成年人也继续磨练这种技能，比如当我们阅读小说、观看戏剧或电影，或者参与合适的电子游戏时。然而，认知科学的专家们认为，我们仍然没有充分利用自己对决策选项的想象力。[^22]

支持决策变异性的护栏应当着力解决这些制度性的局限。例如，在正规教育中，我们不应只强调知识的获取，还应当训练我们更好地（或至少更多地）想象决策选项的能力。更广泛地说，我们应该避免谈论"解决问题"时暗示只有一个正确答案——而应强调存在多种决策选项，各有利弊。

我们的社会往往对那些敢于打破传统、开辟自己道路的人心怀敬畏，尤其是当他们最终获得成功时。我们崇拜史蒂夫·乔布斯（Steve Jobs）和埃隆·马斯克（Elon Musk）这样的企业家，认为他们打破了固有模式。我们为玛丽·杰克逊（Mary Jackson）和NASA的其他女性计算员这样的先驱者喝彩——她们刻意选择了非传统的职业道路，电影《隐藏人物》（Hidden Figures）就讲述了她们的故事。[^23] 肯尼迪总统（Kennedy）甚至在博士论文中刻画了那些做出重要决策时明知不受欢迎、艰难且充满挑战、却依然逆常规而行的有胆识的政治家。[^24]

但尽管我们为持有不同观点的人喝彩，社会中无数机制却在优待显而易见的选择。这正是我们在学校里被反复教导的，也正是似乎能为我们赢得一大群朋友的做法。选择公认道路的人几乎无需为自己的判断辩护。反倒是新想法、不寻常的选项被置于显微镜下，面对社会的严格审视。

如果我们想增加决策变异性，或许应当改变其中一些促成决策趋同的机制。在那些我们倾向于嘲笑而非赞赏不同视角的场合，我们应当将这些不同视角视为改善决策的沃土。如果我们理解标准操作程序之类的工具只是决策的辅助拐杖——只有在情境和目标稳定、决策效率至关重要的条件下才管用——并且给自己留出质疑它们、检验它们、偶尔无视它们的空间，同时准备好提出替代方案和新的选择，那么这些工具就是无妨的。

支持决策变异性的社会护栏之所以有价值，其原因与市场作为协调机制之所以成功是一样的。有了市场，我们得以各自前进，一次交易一步，而不必所有人都朝同一个方向行军。但要实现这一点，人们必须拥有按照自己判断做出选择的自由——相互做出承诺并为之负责。[^25] 被称为私法或民法的兴起——将基于个人意志进行交易的自由正式化——是大约三百年前欧洲经济乃至社会进步急剧加速的主要推动因素之一。

当然，实践中这种进步是混沌不清的。法律也固化了既有的角色和等级秩序。权力差异导致了严重失衡的协议。根深蒂固的社会价值观阻碍了可能的变革。这些缺陷中有许多需要其他类型的社会护栏来塑造个人可以做出的决策。然而，赋予个人一种法律机制，使其决策能够转化为契约性协议，这仍然是决策变异性的基石——而变异性又带来人类的实验——最终带来更好的决策。

解放意志

人类进步始终需要在恒常与变革之间、在决策锁定与实际选择之间走钢丝。找到这种平衡是一个代价高昂且令人疲惫的过程，频繁地危险地偏向一方或另一方。但人类在保护自己做梦的自由、并将梦想转化为行动方面，也展现出了惊人的韧性。

在本章中我们看到，数据驱动的AI承诺复制这种灵活性，为我们提供一种既有效又敏捷的护栏——但仔细审视后发现，AI的弹性依赖于持续不断的数据流来捕捉多样性和变化。我们越是让AI替我们做决策，这些数据就越趋于同质化。随着时间推移，数据驱动的AI可能恰恰因为它基于短期决策成功来训练而丧失敏捷性。

这就是技术解决方案主义（technical solutionism）的陷阱——相信技术能通往决策天堂的捷径——我们在前一章已经遇到过这个问题。AI可能看起来是一个令人印象深刻的答案，但这仅在我们的决策护栏目标局限于延续过去时才成立。如果我们想让决策更加灵活和适应性强，我们所需要的不是缩小人们的选择范围，而是扩大它；护栏的使命就变成了促进决策变异性。我们看到的不是技术护栏推进某个显而易见的解决方案，而是两种替代路径浮现出来——信息多样性和决策变异性。这是一种规律吗？让我们在审视决策空间中第三个关键治理挑战时，看看这个规律是否依然成立。

[^12]: Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information (Cambridge, MA: Harvard University Press, 2015).

[^13]: Derek Bambauer and Michael Risch, "A Theory of Preferred Disclosure," George Washington Law Review 91, no. 3 (2023): 697–753.

[^14]: Viktor Mayer-Schönberger, Delete: The Virtue of Forgetting in the Digital Age (Princeton, NJ: Princeton University Press, 2009).

[^15]: Cass Sunstein, "Transparency and the Rule of Law," in Transparency: The Key to Better Governance?, ed. Christopher Hood and David Heald (Oxford: Oxford University Press, 2006), 75–94.

[^16]: Finale Doshi-Velez and Been Kim, "Towards A Rigorous Science of Interpretable Machine Learning," arXiv preprint arXiv:1702.08608 (2017).

[^17]: Cathy O'Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (New York: Crown, 2016).

[^18]: Safiya Umoja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (New York: NYU Press, 2018).

[^19]: Arvind Narayanan, "How to Recognize AI Snake Oil," lecture, Princeton University, November 2019.

[^20]: See, for example, the analysis in Robert C. Allen, The British Industrial Revolution in Global Perspective (Cambridge: Cambridge University Press, 2009).

[^21]: See, for example, Angeline S. Lillard et al., "The Impact of Pretend Play on Children's Development: A Review of the Evidence," Psychological Bulletin 139, no. 1 (2013): 1–34.

[^22]: See, for example, Thomas C. Toppino and Stephen M. Kasserman, "Effect of Spacing Repetitions on the Recognition Memory of Young Children and Adults," Journal of Experimental Child Psychology 51, no. 1 (1991): 78–98.

[^23]: Margot Lee Shetterly, Hidden Figures: The American Dream and the Untold Story of the Black Women Mathematicians Who Helped Win the Space Race (New York: William Morrow, 2016).

[^24]: John F. Kennedy, Profiles in Courage (New York: Harper, 1956).

[^25]: See, for example, the discussion in Douglass C. North, Institutions, Institutional Change and Economic Performance (Cambridge: Cambridge University Press, 1990).

05 第5章：疑虑

Doubt

第五章：疑虑（Doubt）

尽管自动驾驶汽车被炒得沸沸扬扬，公众对此却普遍持怀疑态度。一项行业调查显示，只有十分之一的美国驾驶者愿意乘坐完全自动驾驶的汽车。[^1] 这在一定程度上反映了一种被称为"机器人恐惧症"（robophobia）的现象——与人类犯的错误相比，我们更不愿意原谅自动化系统犯的错误，即使自动化系统总体上犯的错误更少。[^2] 社会能容忍人类驾驶者一定程度的失误，而这些失误每年导致125万人死于道路交通事故。然而——正如丰田（Toyota）首席执行官所说——我们"对机器缺陷造成的伤亡几乎零容忍"。[^3]

但调查还指出了人们对自动驾驶汽车最为担忧的一类特定决策：那些需要快速做出决定、但可用信息又严重不足的生死攸关的场景。这是任何决策过程都固有的结构性问题。我们可能无法获取所有相关信息，或者相关的信息根本尚未存在。

数字技术深刻地塑造着不确定性条件下决策在生活各个领域中的展开方式。正如前两章讨论的主题一样，在信息不完整的情况下做决策并非新问题，但由于近年来的技术进步，这一挑战变得更加紧迫。作为回应，也由于现有护栏的局限性，社会转向了看似能带来稳定性的技术修复方案。但正如我们将在本章中看到的，这些解决方案可能会削弱自身的效力。相比之下，社会护栏在应对不确定性方面具有更强的能力，能够以允许人类和社会应对决策疑虑（decisional doubt）挑战的方式来处理问题。

信息鸿沟（Information Gaps）

在强调自动驾驶汽车在生死关头做出类人选择的困难时，批评者常常提到"电车难题"（trolley problem）的各种变体——一类涉及伦理困境的决策场景。原始的电车难题设想了一辆失控的电车沿铁轨疾驰而来，铁轨上有五个人被困住。一个旁观者可以扳动一个开关，将失控的电车引到一条侧轨上，而侧轨上困着一个人。旁观者应该什么都不做，让电车撞死主轨上的五个人，还是拉下操纵杆拯救那五个人，但导致侧轨上的那个人被撞死？人们的直觉反应各不相同。[^4]

虽然这个场景是假设的，但人类驾驶者确实可能面临类似的瞬间决策。例如，想象一个行人突然走到了你驾驶的汽车前面的马路上。已经来不及刹停了：如果你猛踩刹车，行人很可能会被撞死。你可以选择急转弯冲出公路、开进沟里。这样能救下行人，但你自己受重伤的风险会大大增加。或者，人类驾驶者可能选择猛踩刹车而不转弯冲进沟里，以保护自己。但什么是正确的选择？控制自动驾驶汽车的软件是否应该被编写成：当某种碰撞不可避免时，更重视车内乘客的安全，而不是车外潜在受害者的安全？

诚然，并非所有伦理困境都同样现实。麻省理工学院媒体实验室（MIT Media Lab）开发了一个项目，让人们表达自己的意见——当面对电车难题的各种变体时，自动驾驶汽车应该被编写成做出怎样的决定。其中一些困境显然过于离谱："当一辆突然刹车失灵的自动驾驶汽车面临以下选择时该怎么办：（1）急转弯撞上混凝土护栏，导致1名女性高管死亡；或者（2）继续向前行驶穿过人行横道，导致1名大块头男子、1名女运动员、1名罪犯、1条狗和1名男孩死亡？"[^5]

一些科学家认为，这些场景太极端，与现实情况脱节，对指导自动驾驶汽车的设计没有用处。更根本的是，另一些人质疑了一个假设，即算法系统的设计应该以功利主义伦理（utilitarian ethics）为指导。第三组人则指出，电车案例在要求道德回答的同时，实际上需要的是政策回应：例如，我们可能在道德层面上根据谁在车里而做出不同的判断，但不希望自动驾驶软件在决定如何行动时考虑乘客的身份。电车场景是否是理解自动驾驶汽车伦理的有效思想实验，确实值得怀疑。[^6]

不过，也许关键的洞见在于：电车难题不仅仅是一个伦理困境，它揭示了一个决策层面的挑战——通过添加更多信息来改善系统的决策架构是有极限的。考虑一下，在上述麻省理工的场景中，要做出决定需要什么信息——假设（为了论证方便）这个决定基于经典的功利主义，即（不涉及理论复杂性的话）最基本的理念是：最恰当的行动是能为最多人带来最大利益的行动。我们可能想知道，比如：那位高管从事什么行业？那名罪犯再次犯罪的可能性有多大？等等。一个无法逾越的信息问题立刻变得显而易见。鉴于我们几乎不可能了解潜在未来事故中可能涉及的任何人的情况，根本不存在合理的方法来计算选项一或选项二各自行动所产生的善与恶的总和。

将电车难题重新定义为一个决策挑战，有助于我们看到其核心的信息鸿沟。正如我们描述的其他一些挑战一样，这种鸿沟并不新鲜；它们一直伴随着我们。这就是为什么，正如我们在第三章中所解释的，实现稳健的信息流通对于良好的决策如此重要。但电车难题强调的不仅仅是需要获取尽可能多的相关信息。它揭示的不是一种实践层面的局限，而是一种概念层面的局限。即使我们能获取任何人所能获取的所有信息，有些事情仍然是未知的，而且也许根本不可能被知晓——至少在我们需要做出决定的时候无法知晓。

以电车为例，我们可能知道每个相关人员的性别、年龄、职业和家庭背景。但我们不知道该如何赋予每条信息以多大的权重——这不仅是一个决策问题，也是一个信息问题，因为我们无法知道如果这些人活着，他们在一生中可能取得什么成就。如果其中一人将来会发现阿尔茨海默病的治愈方法呢？如果另一人成为著名作家、知名画家、杰出运动员或成功的企业家呢？如果其中一人将养育一个幸福的大家庭呢？

即使我们能够以某种方式穿越到潜在的未来时间线去调查每个人的生命轨迹，然后回到现在来做决定，我们还会遇到另一个问题。我们自身的决策过程可能会随时间而改变，即使面对完全相同的事实，也可能做出不同的选择。今天，我们可能选择拯救未来的著名艺术家而非未来的幸福家长——但几年后，如果再被要求做同样的选择，我们可能赋予不同的价值和优先级，转而拯救未来的家长。坠入爱河或组建家庭常常引发这样的重新调整（本书的两位作者可以为此作证），教育和职业变化也是如此。我们价值观和偏好的这些调整随时都在发生，出人意料且不可预见。

这个基本困境无法逃避：无论有多少信息被投向一个决策问题，我们都注定要在洞察力不足的情况下做出决定——而我们不可避免地会在未来后悔自己的一些决策。

缓解无知（Mitigating Ignorance）

社会通过设计各种社会护栏来应对这一困境，这些护栏有一个共同点：它们帮助汇集来自多个但相似的情境中的信息。这个思路相当简单。如果我们无法了解某个具体案例的一切，那么也许通过汇总许多类似案例的信息，我们可以填补部分信息鸿沟——即使不能做到具体细节上的精确，至少可以在方向上有所帮助。

这种应对信息鸿沟的方式与我们理性估算和管理风险的能力紧密交织。以保险为例。保险的一个基础是汇集互不关联的风险，使一个事件不会引发连锁反应。这就是为什么一家保险公司为一个社区的所有房屋投保火险、却没有在其他地方投保任何房屋的做法是糟糕的。如果该地区发生毁灭性火灾，保险公司可能破产。这是保险公司希望扩大规模和多元化客户群的原因之一。另一个原因是，这能为估算承保事件的平均概率创造一个更稳健的数据池。通过收集和整合来自大量客户的信息——尤其是在事件发生之后——保险公司希望能最大限度地减少新客户信息鸿沟的影响。

做这件事的不仅仅是保险公司。所有参与风险管理的人都在使用类似的策略：银行评估信用worthiness、监管机构评估药物效果、航天机构计算发射风险、甚至情报机构评估地缘政治威胁。社会护栏在这些情境中提供了宝贵的支持，例如要求个人在提供用于计算风险的信息时必须准确和真实。还有一些护栏旨在确保计算风险的算法是稳健的、可访问的，并使用多样化的信息输入。然而，从实践角度来看，大规模收集和分析海量数据并快速高效地识别类似案例一直都很困难。因此，风险模型往往相对简单和粗糙，汇集的信息规模也有限。

与我们在前几章中考察的另外两个挑战非常相似，在这个领域，传统的社会护栏也被数字技术和现代数据分析所取代，后者承诺克服这些局限性。随着电子商务的兴起，一个交易空间逐渐形成，类似的数据可以以相对较低的成本汇集起来。由此产生了一种应对信息鸿沟、减少不确定性、改善决策的技术策略。这是一种新型护栏，它利用信息流使社会变得更加可计算。

数据汇聚（Data Aggregation）

这就把我们带回到了互联网的早期和eBay的故事。1995年，科技企业家皮埃尔·奥米迪亚（Pierre Omidyar）创立了eBay，旨在"在一个诚实、开放的市场中连接买卖双方"。[^7] 它利用个人电脑和万维网（World Wide Web）提供的新可能性，打造私人拍卖、车库旧货出售、跳蚤市场和分类广告的数字版本。

尽管eBay的愿景在当时引人入胜，但一个根本性的实施问题很快浮现：由于时空分隔，eBay这个新型市场的参与者对彼此几乎一无所知。事实上，他们往往是完全的陌生人。毕竟，在那个年代，人们认为互联网能让用户保持高度隐私，赋予他们一层匿名的面具。[^8] 对交易伙伴缺乏了解成为了一个重大障碍——当人们需要决定是否冒险寄出商品并期望收到回款时，或者从买家的角度看，是否在收货前提前付款时，这种障碍尤为突出。用抽象的信息术语来说，核心问题与前面遇到的类似：如何在没有充分把握未来的情况下，在当下做出决策。

奥米迪亚意识到，只有当买家和卖家至少对彼此有一些了解时，eBay才能蓬勃发展。困难的问题在于：哪些信息能让用户有足够的信心，愿意与一个原本是陌生人的人做生意。奥米迪亚的解决方案既简单又精妙。他意识到，如果eBay能设计一个系统来追踪用户A的过往行为，就可能给用户B提供足够的信息，来对A未来可能的行为做出判断。

eBay开发的系统被称为反馈论坛（feedback forum）。它为注册参与者提供了在完成交易后"给予应得的赞扬、提出适当的投诉"的机会。[^9] 除了文字评论外，客户还被鼓励给彼此打标准化的数值评分，eBay随后用这些评分为每个用户计算一个分数，显示在其名字旁边。在设计上，该系统通过标记有问题的用户、奖励可信赖的用户来强化良好的行为。

随着反馈论坛的上线，一个强大的声誉系统（reputation system）诞生了。其背后的理念代表了一种可扩展的决策问题解决方案：通过标准化和汇总用户过往行为的信息，其他人可以对未来做出有依据的推测。同样，通过汇集大量交易的信息，产品评级系统帮助人们更好地预测产品对特定任务的适用性，从而弥补信息鸿沟。[^10] 从那以后，声誉系统与品牌和意见领袖一起，成为人们在需要做出本有风险的决策时的关键赋能工具。

不仅电子商务平台，优步（Uber）和爱彼迎（Airbnb）等服务平台也依赖类似的系统来促进用户之间的交易。

然而，尽管声誉系统无处不在且成效显著，它们也存在结构性弱点。声誉系统的质量取决于它所汇集和便捷呈现的信息质量。如果用户对自己的经历和交易不说实话，基于这些错误数据做出的预测就会出错。这种情况经常发生。例如，正如我们在第一章中提到的，卖家发现他们可以在交易完成之前就给买家非常正面的评价，从而提高自己的评分，不管实际体验如何。买家将此视为一种"声誉礼物"，往往感到在社交上有义务回赠好评。[^11] eBay上的其他卖家则会故意等到买家提交反馈后再评价买家，常常是为了报复差评。这种风气一度失控，eBay不得不限制卖家的评价方式，实质上缩减了评价的范围（从而也降低了其效用），只为确保系统其余部分不会过度失真。

一个在许多平台上都很猖獗的相关问题是，大批量购买评分来提升声誉。一个生产"虚假"评分的小作坊产业已经形成。所有大型电子商务平台都在与这一问题作斗争，定期删除它们认为是虚假的数百万条评分。但研究表明，识别"虚假"评分并非易事。[^12] 即使是出于好意的清理行动，也往往存在过度清除和清除不足的问题——既删除了一些合法的评分信息，又在系统中留下了一些欺诈性评分。平台和虚假评分提供者之间展开了一场不断升级的猫鼠游戏。由此产生的媒体报道揭示了虚假评分产业的规模及其后果，削弱了消费者对至少部分声誉系统的信任，使一些已产生的信息价值蒸发殆尽。

即使评分完全准确和真实，它们也可以被操纵而产生误导。这是因为所有声誉系统都是通过展示过去的信息来预测未来事件的。但就像电车难题中站在开关旁的人无法知道她能选择拯救的人的生命轨迹一样，我们无法确定一个潜在的交易伙伴会如何行事，无论我们掌握多少关于她的信息。几年前eBay上一个广为人知的案例就说明了这一点。[^13] 一位瓷器小雕像商人多年来积累了近乎完美的声誉评分。然后在几天之内，他卖出了他并不拥有的雕像，金额达数十万美元。当雕像迟迟未到时，买家最终发现他已经卷款消失了。他本质上是在兑现自己过去的声誉。eBay声誉系统中的所有信息都是准确的，但已不再具有预测性。

类似的案例在许多具有评分机制的平台上都发生过。根本问题在于，声誉系统建立在将过去的信息外推到未来的基础上。正如投资公司的招股说明书所声明的，过去的业绩并不保证未来的结果。这就是汇集已知信息来应对信息鸿沟所带来的决策挑战的阿喀琉斯之踵（Achilles' heel）。即使是最先进的收集、整理并通过精密声誉系统便捷呈现这些信息的技术，也无法逃脱这一局限。技术解决方案不过是一块创可贴——脆弱不堪，容易被各种手段利用。

随着eBay和其他平台意识到声誉系统的局限性，它们也开始理解另一个问题：即使在最好的情况下，声誉系统也许能部分地预防交易纠纷，但当纠纷发生时却无法解决，尤其是当双方都没有过错的时候。

应对意外（Dealing with the Unexpected）

在某些情况下，决策以基于过往行为信息无法预测的方式出了问题。例如，如果货物到达时已经损坏怎么办？如果卖家没有如承诺的那样从制造商那里拿到货物怎么办？如果购买的商品被寄到了错误的地址怎么办？在前互联网时代，交易伙伴之间此类商业纠纷的可能答案相对简单：接受损失、协商解决方案，或者诉诸法院——社会的正式争端解决机制。

然而，对于eBay（以及类似的电子商务平台）来说，依赖法院往往行不通。期望消费者就经常价格不高的二手商品购买纠纷去打官司是不现实的，尤其当双方身处不同司法管辖区时更是如此。而且即使消费者真的去打官司，随着平台处理的交易越来越多，法院很快也会不堪重负。

需要一种新的方法，而马萨诸塞大学（University of Massachusetts）的研究人员已经开始着手研究一种新方法；他们称之为ODR，即"在线争端解决"（online dispute resolution）。这项工作的先驱伊桑·卡特什（Ethan Katsh）回忆说，大约到1994年，"有一点开始变得清楚，即未来的网络空间不会是一个和谐的地方，需要工具、资源和专业知识来应对将会发生的争端。"[^14] 卡特什及其在马萨诸塞大学阿默斯特分校（UMass Amherst）的合作者研究了在线环境中出现的争端特征，并摸索出了一套应对方法。

1999年，eBay邀请该团队开展了一个试点项目。该平台开始在其网站上链接到一个投诉表格，告知客户可以通过填写该表格来获得与交易相关争端的协助。表格被送到卡特什和他的团队手中，他们将其分配给一位经验丰富的人类调解员。调解员通过电子邮件与双方沟通，进行穿梭外交——倾听双方诉求、界定或重新界定争端、整理信息，并促成和解意愿。试点取得了成功。两周内，马萨诸塞大学团队处理了数百起投诉，其中近一半成功调解。[^15] 基于这一早期成功，eBay随后与初创公司SquareTrade签约，提供类似的服务，成功解决了数百万起争端。[^16]

受早期成功的鼓舞，eBay逐步建立了自己的内部ODR团队和框架。启动争端解决程序最常见的原因是未收到商品，或收到的商品与原始listing中的描述不符。随着eBay在常见问题上积累了经验，它开发了能够协助双方解决相对简单争端的软件，人类调解员只在更复杂的案件中介入。[^17] 这看似是一个针对不可避免的信息鸿沟所引发的争端的新颖技术解决方案，但现实再一次更加微妙。ODR建立了帮助双方沟通的渠道，并为他们提供了可能的解决方案，但真正承担重任的是人。归根结底，争端是通过社会互动解决的，而不是通过技术强制执行。

eBay内部甚至有人将他们的ODR视为功能上等同于法院的东西。正如一位内部人士所说："在eBay的很多时候，我们观察到自己本质上是在为一个网络国家构建一套民事司法系统。"[^18] 然而，ODR在两个重要方面不同于法院。法院参与的正式程序旨在发现真相，并做出可以强制执行的决定。ODR两者都做不到。事实上，任何对ODR结果不满的一方都可以随时将案件诉诸法院——而这正是促使双方找到彼此可接受的和解基础的强大激励。没有正式法院的存在，ODR的成功率可能会大大降低。ODR也没有解决更根本的问题：交易发生时的信息鸿沟。无论它在促进争端解决方面多么成功，都无法确保争端不会发生。但最近，技术专家们针对这一决策挑战推出了一种截然不同的解决方案：智能合约（smart contracts）。

智能合约（干代码）（Smart Contracts / Dry Code）

智能合约是计算机代码与区块链（blockchain）的热门组合，区块链技术使得交易记录能够分布在参与去中心化网络的各台计算机上，而不是保存在传统的集中式数据库中。智能合约承诺通过改变范式、朝相反方向前进，来克服"增加更多信息"方案的局限性。智能合约的目的不是促成更多信息，而是限制各方在决策时可用的信息丰富度。通过这样做，它们旨在防范未来的意外。

以传统的自动售货机作为类比。它被设计成只接受硬币，并吐出特定的产品。它是一个自成一体且安全的系统，几乎不留任何歧义的空间。它预先确定了交易的每一步，不需要任何人的干预。（至少在可乐罐卡在机器里的时候除外——踢它一脚往往是一种有效且真正属于人类的反应。）

智能合约将自动售货机的模式推广到各种数字应用中。智能合约涉及将合同各方之间的交易协议条款直接写入代码行。然后，代码和协议被放置在区块链上——一种不可篡改的数字账本。代码将自动执行协议，任何一方都无法干预。智能合约交易可追踪且不可逆转（irreversible）。

智能合约旨在尽可能地剥离交易中的人为因素。它们要求将人类可读的语言缩减为机器可读的代码。智能合约完全依赖于其发明者尼克·萨博（Nick Szabo）所称的"干代码"（dry code）——一组可以由机器执行的"如果-那么"（if-then）语句。[^19] 相比之下，传统合约涉及的是"湿代码"（wet code）——即需要由人脑解读的语言，伴随着各种歧义。

智能合约不仅要消除关于合同条款定义的信息歧义——比如在eBay上卖家和买家可能对

对于卖家用来描述产品的词语，他们可能理解为完全不同的东西。与自动售货机类似，智能合约也被设计为通过代码来执行协议，不给人为干预或违约留下任何空间。某些类型的智能合约交易依赖于未来的变量，例如基准价格或天气条件，在这种情况下，各方会事先约定一个第三方"预言机"（oracle）来提供这些信息。但只要代码控制着商品或服务的交付以及款项支付，智能合约就消除了在整个交易过程中任何人为干预——包括律师干预——的必要性和可能性。

智能合约的布道者们大量撰文论述其如何有望彻底改变数字经济各个角落的商业运作，从金融、全球贸易到房地产和废弃物管理。20 他们认为智能合约比受法律管辖的传统"湿代码"合约更高效。支持智能合约的论据大致可分为三类。第一，通过消除人类语义的模糊性并将语言简化为机器可读的形式，智能合约被认为更加透明和明确。第二，它们是安全的：写入分布式账本的协议受到复杂密码学的保护，难以被黑客攻破——至少难以在不被发现的情况下攻破。第三，它们是自动执行的。就像自动售货机的案例一样，执行协议条款不需要耗时且容易出错的人为干预。

智能合约还承诺解决 eBay 一直未能解决的另一个更根本的问题：各方可以信赖对方会遵守协议条款，而无需信任彼此或任何第三方——比如平台本身或其在线争端解决机制。科技企业家兼投资人里德·霍夫曼（Reid Hoffman）将其称为"无需信任的信任"（trustless trust）。21 区块链技术专家兼学者凯文·沃巴赫（Kevin Werbach）简洁地总结道："在任何交易中，有三个要素可能需要被信任：交易对手、中间人和争端解决机制。区块链试图用软件代码取代这三者。"22

智能合约是否真的优于传统的"湿代码"协议，目前尚无定论，尽管确实存在严重疑问。智能合约只能用于那些在决策时刻能够被精确界定的交易。即使区块链本身可能坚不可摧，智能合约也是运行在区块链之上的软件应用程序，难免存在漏洞和缺陷。当代码失灵时，仍然需要人为干预。而且，在特定交易的语境下将信任从人类转移到机器代码，是否有助于解决最重要的信任挑战——即在商业交易中普遍建立信任——这一点值得怀疑。

然而，有一点是明确的：智能合约并非本章核心所讨论的信息鸿沟问题的解决方案。智能合约的前提是，交易各方在缔约时刻已经就一套完整的条款和条件达成一致，并以此管理交易的整个生命周期。对于像用硬币换一罐可乐这样简单而短暂的交易，这或许是可行的，但在许多情况下，这是一项不可能完成的任务。专家们早就指出，合约必然是不完整的，各方在应对变化的环境时常常必须重新谈判。没有人拥有全面的预见力，能够预判所有可能的环境变化。即使他们能做到，就所有这些可能发生的情况进行谈判也会使达成协议的交易成本高到令人望而却步。23

当环境发生意想不到的变化时，确定性代码会迅速崩溃。一个典型的案例是 The DAO 的故事，这是第一家完全由代码构建的数字金融公司。The DAO 被设想为未来的数字化企业，没有传统的所有者、董事会或人类管理人员。取而代之的是一个由承包商、管理者和代币持有者组成的编码网络。它的启动引起了广泛关注并吸引了大量资金。24 但理论过于美好，难以在实践中运作。启动后不久，The DAO 因代码中的一个漏洞被黑客利用而崩盘，约三分之一的资金被转移到一个独立且无法访问的账户中。25 在社区内部就是否接受最初编写的代码作为约束性规则、还是放弃"代码即法律"的信条而直接修改代码进行了激烈辩论之后，多数人决定进行人为干预以追回初始投资（少数人坚持原有代码并启动了一种独立的数字资产）。仅凭控制代码既无法阻止 The DAO 发生根本性的轨迹偏转，也无法为这些未曾预料的事件所引发的危机提供应对之道。人类胜过代码，而所有代码本质上都是可塑的。

通过限制哪些信息是重要的来解决决策时无法获取变化中的未来环境信息的问题，这是一个有趣的想法。但它似乎经不起现实的检验。仔细审视就会发现，智能合约和其他不可变代码的表现形式并没有解决、而是回避了人类决策中固有的困难信息问题。即使我们承认智能合约在某些狭窄的情境下可能比传统协议更高效，"湿代码"似乎仍然是应对那些从当下延伸至未来的交易信息问题的更有效方法。

传统合约（湿代码）

为了说明智能合约和区块链所代表的"干代码"理想化未来与传统"湿代码"合约混乱现实之间的鲜明差异，让我们来看一个恰巧涉及……鱼的交易的案例。Haakjöringsköd 是合同法中一个经典案例，涉及一场关于鲨鱼肉的争议。

乍看之下，案情并不复杂。两位商人——买方古斯塔夫（Gustav）和卖方马蒂亚斯（Matthias）——就大量一种名称颇具异域风情的鱼"Haakjöringsköd"达成了一笔跨境商业交易。合同敲定了所有关键条款：确切的鱼肉数量、"每公斤/凭提单和保单净现金支付"的购买价格，甚至明确了货物从挪威运往德国的方式（通过一艘名为 Jessica 的船）。

合同签订后不久，古斯塔夫支付了货款。然而，当鱼肉乘 Jessica 号抵达汉堡时，海关当局根据适用于某些鱼类的进口法规将其扣押。作为被扣押鱼肉的补偿，古斯塔夫从当局获得了一些赔偿——但金额远低于他已支付给马蒂亚斯的货款。由于这些事件，古斯塔夫不仅没有拿到他购买的鱼，还遭受了重大经济损失。

是什么导致两位商人之间一笔标准的商业交易走向了这样的结局？这里正是本案变得更有趣的地方。当古斯塔夫和马蒂亚斯就 Haakjöringsköd 达成一致时，他们都以为这个挪威语单词的意思是鲸鱼肉。然而，实际出售给古斯塔夫的货物其实是鲨鱼肉——Haakjöringsköd 的真实含义正是如此。鲸鱼肉不会落入进口法规的管辖范围，也不会被扣押，但鲨鱼肉却会。

对结果感到失望的古斯塔夫决定将马蒂亚斯告上法庭。他主张马蒂亚斯必须赔偿他的经济损失，因为所交付的货物（鲨鱼肉）与合同条款（鲸鱼肉）不符。法院作出了有利于古斯塔夫的判决。法院认为，双方都想签订一份关于鲸鱼肉的合同，他们使用了错误的术语来描述共同意图这一事实并不重要。因此，法院裁定应当交付的是鲸鱼肉。由于鲨鱼肉"缺乏鲸鱼肉的特征"——如法官所言——根据德国法律，它需要被视为"标的物的瑕疵"。因此，古斯塔夫有权要求马蒂亚斯赔偿其所遭受的损失。

表面上看，Haakjöringsköd 案似乎凸显了湿代码的不足。所有麻烦都源于对 Haakjöringsköd 一词含义的人类语言误解。但在表象之下，这个不寻常的案例揭示了传统合同形式的一些优点。首先，合同法尊重当事人的真实意图。只要双方想要的是同一件事，使用了一个客观上指向不同事物的词语并不影响合同的效力。从人情和经济的角度来看，这是合理的：双方都想买卖鲸鱼肉，法律的作用正是促成这笔交易。而干代码方法的逻辑将迫使他们以鲨鱼肉完成交易——这是双方最初都未曾设想的。在更抽象的层面，这个案例还说明，合同法提供了一套背景性原则，用以规定交易未按计划进行时应如何处理。这些护栏

并不将合同视为特定交易的"固定"容器，而是将其视为动态关系的表达——这种关系会随着时间的推移以及各方彼此之间和与周围世界的互动而不断演变。不仅是智能合约，就连当前追求尽可能详尽地列明细节的书面合同趋势，也忽视了合同法的这一核心角色，并可能危及我们在不确定性条件下进行协商的能力。26

相比之下，合同法中护栏所提供的弹性有助于应对本章核心的信息问题。但它走得更远，正如以下摘录所指出的："合同法从根本上说是一种补救性制度。它关注的与其说是改变当事人在缔约时的行为方式，不如说是在事后取得正确的结果。它包含了一系列法律原则——显失公平、共同错误、违法性、行为能力、对价、欺诈、胁迫——使得当事人能够摆脱即使是明确规定了的义务。"27 换言之，合同法并不强制维持一桩"不幸福的婚姻"，而是提供了一种"有管理的离婚"。

关于合同法的弹性究竟有多大、应该有多大，以及弹性更多地是一个缺陷还是一个特性，不同学派持不同观点，学术争论十分激烈。在美国和欧洲，这些辩论在"不完全合同理论"和"关系合同理论"等旗帜下展开。28 合同法中弹性的程度在很大程度上受文化因素影响：例如，亚洲传统的合同比念就将西方对弹性的理解进一步延伸。从这种视角来看，关于交易的传统合同"预见而非界定随之而来的关系。合同所记录的不是一桩商业交易的'终结'[……]，而是商业关系的开始。"29

尽管存在这些细节上的差异，这里的关键洞察在于，治理湿代码合同的护栏专长于实质性规范和程序性规范，这些规范在环境和关系随时间变化时引导人的行为。干代码则相反，它试图将一切锁定，以决策时刻已知的信息来决定交易的未来走向。弹性使得法律——而非代码——能够从更广泛的社会视角审视决策时信息不完全的问题。随着我们重新构想数字时代治理决策的护栏，这一点获得了新的重要性。

法律的弹性

法律常常被视为一束将人限制在有限选择和角色中的护栏。但正如我们刚刚看到的，事实未必如此。事实上，合同法并非唯一一个设计了在变化环境中引导人类决策的护栏的法律领域。整个法律体系中都嵌有特定的弹性规范，帮助人们在环境变化时应对修订决策的需要。例如：家庭法中关于法定分居或离婚的规则；公司法中使所有权和组织结构能够根据组织生命周期中特定时刻的需要而变更的规范；破产法中规范债务人无力偿还债务情况的法律；个人数据的删除权或更正权，等等。

除了这些实质性规范之外，在不同法律领域之内和之间还存在大量程序性规则，用以确定在什么条件下、何时以及如何将关于此类变化的信息引入法律体系。这些规则包括刑事或民事诉讼中的证据规则，以及行政法中的复议权利。这些程序性规范赋予法律在塑造特定关系中的行为时以弹性——无论这种关系存在于家庭成员之间、商业伙伴之间，还是公民与政府之间。

虽然每个领域在特定情境下提供不同程度的弹性，但法律作为社会护栏的正式体系还具有源于其自身信息属性的一般性弹性。由于所有法律规范都以这种或那种形式通过语言来表达，法律只有通过"对人说话"才能发挥作用，通常是通过书面文字。它无法直接影响事物的物理性——即使是制裁或武力的威胁也只不过是信息。

一个重要的含义是，法律具有一定程度的模糊性，符号学和语言哲学等学科的研究表明，模糊性是人类语言不可分割的特征。30 事实上，法学家米雷耶·希尔德布兰特（Mireille Hildebrandt）认为，模糊性是她所称的法律适应性本质的核心。31 这种一般性弹性使我们能够吸收随时间和情境变化而来的变迁，这些变迁塑造了我们对法律是什么或应当是什么的理解。弹性既是法律进化本质的反映，也是其推动力。

同样，对于弹性是好事还是坏事以及程度如何，人们看法不一。这在很大程度上取决于人们认为应将多少决策权交给法律的解释者。例如，在美国语境下，对于如何解释宪法文本存在强烈分歧。宪法应该被解读为一份"活的文件"，即根据当前时代、文化和社会来解释其文本？这一方法强调法律的弹性。相反的观点则推崇一种被称为"文本主义"或"原旨主义"的司法方法，认为宪法今天的含义不多不少，就是当初起草和批准者所赋予的含义。许多热点案件——从堕胎到气候变化立法——的结果往往在很大程度上取决于最高法院认为适当的弹性程度。在目前的美国最高法院构成下，"文本主义"是主流方法；但随着大法官的更替，这一点也可能改变。正是这种对变化的开放性、这种结构性弹性，使法律成为一种成功的社会护栏制度。

在某种程度上，法律的弹性取决于法律是如何被书写的。例如，在金融领域，法学家卡塔琳娜·皮斯特（Katharina Pistor）表明，法律使用开放性语言或引入增强弹性的规范的程度，决定了决策者在应对系统性危机时拥有多大的自由裁量权。32 当然，在某个节点上，即使是缺乏弹性的法律也可以被暂停或重写——但这属于政治性的、有时是暴力的过程，超出了本章所讨论的法律弹性概念的范畴。

当然，法律并非唯一具有灵活性的护栏。弹性也内在于许多其他类型的社会护栏之中，部分原因在于它们的社会属性使其更易于改变。但鉴于法律往往被认为具有刚性，其灵活性尤为引人深思。

在意外之上构建

本章考察了一个即使最聪明的技术也无法解决的结构性决策问题：未来是不确定的，本质上是不可控的。变化的环境一次又一次地挑战着过去所做决策的合理性。在某种程度上，技术可以通过对未来的更好预测来帮助我们缓解这个问题——例如通过数据聚合和机器学习，或平台上的反馈系统。但考虑到我们所生活的世界的复杂性和不确定性，预见所有可能的未来环境变化是不可能的。

正因如此，我们可能需要足够灵活的护栏来处理环境变化时交易各方之间的争议。我们考察了一个号称技术性的解决方案——eBay 的在线争端解决机制——经仔细审视，它促进的是人的角色而非取代人。另一个被炒作的解决方案——智能合约——承诺消除人为因素，但存在严重局限性。两者都无法取代传统法律通过弹性实现动态稳定的功能性能力——法律提供了丰富的实质性规范和程序性规范，能够帮助个人和整个社会应对意外。

从这个角度来看，法律可以被理解为一套精密的社会和文化护栏——与技术解决方案不同，但与其他类型的社会护栏非常相似——它历经数个世纪的演变，使今天的人类能够拥抱一个日益不可控、不可预测且不确定的未来，而这个未来正被数字技术深刻塑造。

06 第6章：原则

Principles

第六章：原则（Principles）

3月23日像前一天一样来了又去。大雪纷飞，风雪交加，什么也看不见。于是，三个人留在原地——又冷又累，虚弱不堪，意志消沉，而下一个存放食物和燃料的补给站还在十一英里之外。他们再也没有走出帐篷，在接下来的一周里相继死去。

这次探险的正式名称是"新地号远征"（Terra Nova Expedition），它以惨败告终。远征队领队、雄心勃勃的英国海军军官罗伯特·法尔肯·斯科特（Robert Falcon Scott）及其队员于1912年1月17日抵达南极点。他们本希望自己是第一批到达的人——但挪威人罗尔德·阿蒙森（Roald Amundsen）比他们早了一个月。阿蒙森一行安然返回，斯科特和他的同伴们却付出了生命的代价。关于这次远征失败的原因，人们已经写了很多。1几乎在每一个转折点上，事情似乎都出了差错；错误的决策一个接一个，带来了灾难性的后果。

一个经常被提及的关键因素是斯科特选择使用机动雪橇来完成穿越南极洲的大部分路程。当时内燃机还是相对新鲜的事物。事实证明，它们不够坚固，无法承受斯科特远征队遇到的极端条件，动辄抛锚。因此，斯科特不得不比计划提前很早就放弃了机动雪橇，行进速度大为减慢。相比之下，阿蒙森依靠的是狗拉雪橇——这是一种久经考验、切实可行、即使在极端情况下也值得信赖的方式。狗为阿蒙森立下了汗马功劳；阿蒙森一行从南极返回时，身体状况极好，体重甚至比出发时还重。斯科特对未经检验的新技术的迷恋，是否注定了远征的失败？如果坚持使用另一种技术，远征是否就能成功？

事实上，斯科特曾在挪威的冬天对机动雪橇进行过试验。他不断改进设计，雪橇也展现出了良好的性能。狗拉雪橇也不是没有挑战——雪橇犬需要大量食物，有些还会逐渐疲劳。当机动雪橇正常运行时，它可能同样可靠，甚至效率更高。

机动雪橇的问题更为深层。在整个旅途中，操作和维护它们需要专业知识，必要时还需要能够修理。斯科特曾与工程师雷金纳德·斯凯尔顿（Reginald Skelton）合作，设计、试验和改进机动雪橇。斯凯尔顿对这些雪橇了如指掌，甚至了解更多。他本是随行的最佳人选。但斯科特没有邀请斯凯尔顿同行，因为他觉得自己受到一条约束的限制。此前，斯科特已选择泰迪·埃文斯（Teddy Evans）担任远征队副指挥。埃文斯和斯凯尔顿都是军官，而斯凯尔顿的军衔高于埃文斯。如果埃文斯和斯凯尔顿同时在队中，就意味着军衔低的人要指挥军衔高的人，这违反了军队中的社会规范，也是埃文斯无法接受的。在必须在两人之间做出选择的情况下，斯科特选择了埃文斯。然而，没有斯凯尔顿，机动雪橇彻底失败了，最终葬送了整个远征。

这不是斯科特犯下的唯一错误，但它鲜明地揭示了社会护栏（social guardrails）如何塑造我们的决策——即使是那些极其有害的护栏。理解这些护栏结构如何产生、如何运作、如何影响我们的决策，有助于我们识别——并最终确立——支持健全人类决策的护栏原则。

技术的决策陷阱

在前面三章中，我们审视了近年来数字技术带来的挑战，它们影响着可用信息的范围以及决策的制定方式。我们看到，这些技术如何使现有的护栏在很大程度上失去了效力。其结果是，社会护栏部分让位于技术护栏，表面上是为了进一步改善决策的目标。信息过滤器（information filters）被建立起来，以缩小可用信息的范围，防止"虚假"信息分散决策者的注意力。人工智能（artificial intelligence）在某些领域取代人类，以确保做出"正确"的决策。智能合约（smart contracts）被引入，试图保证新信息不会推翻已经做出的决策和已经许下的承诺。

这一切都是出于善意，但却有可能带来严重的长期后果。过滤器会排除非常规和非正统的信息——包括环境变化的早期预警信号，以及尚未被纳入公认决策体系的新颖见解。人工智能基于对过去和现在的推演来做出决策；它无法提出超出已知范围的决策选项，因为它不具备想象力。智能合约将人类束缚在既定决策上，即使转向另一种选择不仅对当事人有利，而且对整体也有利。

在每一种情况下，倡导技术护栏的人——我们不妨称他们为"技术解决主义者"（technological solutionists）——仔细审视了现有的社会护栏，提取了他们认为每种护栏的核心目标，并开发了技术工具来推进这些目标。他们认为，决策护栏的存在是为了缩小信息噪音、减少人类决策中的偏见、消除决策做出后的可变更性。毕竟，我们的社会护栏不正是试图强化决策焦点，以便我们做出"正确"的选择吗？坚守我们的选择，不正是信任的基石、将个体联结为共同体的粘合剂吗？

当我们更仔细地审视反映这些目标的技术工具时，发现它们存在不足。我们发现，信息的多样性拓宽了我们的视野，使我们为新见解做好了准备。我们认识到，偶尔做出错误决策是追求梦想和尝试的代价，而这恰恰是通向进步的道路。我们理解到，当新信息出现或我们的偏好发生变化时，有时需要修正决策。

当然，技术工具可以是有用的，包括那些体现刚性和不可变更性等目标的工具。当某个特定挑战的最佳解决方案已经确定时，选择不同的行动方案就是愚蠢的——而将解决方案嵌入技术制品中，是一种让我们坚持它的有效方式。正如于伯林根（Überlingen）上空的悲剧性撞机事件所表明的那样，避免迫在眉睫的空中相撞的最佳方式，就是让飞行员严格遵循自动防撞系统的指令。但当环境发生变化时——条件在演变或目标在转移——这一切就会失效。届时，常规方案可能不再适用，继续执行它们简直是不负责任的。

无论我们喜欢与否，我们将会越来越多地面临与以往根本不同的局面——从气候变化和多极世界中日益加剧的冲突，到经济技术转型造成的社会不平等。但随着世界的改变，我们对世界的理解也在改变。例如，医学知识据说每十年就会翻一番。2这意味着一些诊断和治疗框架可能很快就会过时。当我们脚下的基础在变动，同时我们对正在发生的事情理解得越来越多时，我们能依赖的现有答案就越来越少了。

我们对三种新兴治理挑战的分析，似乎把我们留给了两套截然不同的护栏：一套旨在缩小信息和决策的焦点，另一套旨在鼓励决策的多样性和试验。它们代表了改善决策的两种非常不同的策略：复制曾经奏效的决策，或者进行试验。它们看起来非黑即白，迫使我们做出二元选择。但简单地用一套护栏取代另一套，并不是一个可行的选项。

解决方案空间

人们可能很自然地把护栏想象成一个连贯一致、普遍适用的治理框架的组成部分。如果真是这样，我们所要做的就是选择并实施正确的框架：如果我们一直在使用的框架被证明不是最优的，那就换一个。但单个护栏并非在所有情况下都正确：什么护栏合适，取决于具体的情境。它们也不是单一框架的一部分——不存在一套普遍适用的规则。我们在社会中遇到的护栏的多样性，正反映了这一点。

有时护栏敦促我们像过去那样做决策；在另一些情况下，不同的护栏帮助我们认识各种替代选项的价值，即使其中一些从未被检验过。有时我们的决策应当维持不变，另一些时候，根据新信息修正决策才是更明智的做法。当环境恒定不变时，我们可能希望沿用过去成功的决策先例；但当情况发生变化时，想象更多选项并加以试验，可能是更好的选择。

护栏是针对特定治理挑战的具体规范性回应。它们存在于一个可能的治理解决方案的空间之中。例如，使决策可逆的护栏处于一个连续体的一端，代表决策治理的一个特定维度；确保决策不可变更的护栏则处于另一端。更多类似的连续体共同构成了一个多维的解决方案空间，护栏可以在其中定位。这不是在两套截然不同的护栏之间做非此即彼的黑白选择，而是在不同色调和色彩之间进行复杂的、多面向的、可搭配组合的选择。治理决策，在于理解情境、识别适当的护栏，并将其付诸实施。解决方案空间是宽广而多样的。

抽象地说，这听起来很简单：明确并审视我们的治理目标，辩论其适当性——尤其是在考虑具体情境的情况下——然后据此设计（或选择）护栏。但在实践中，这些任务令人望而生畏。我们所设立的护栏的有效性，将取决于模糊而抽象的评估标准——比如"适当性"——的含义。我们有可能迷失在浩瀚的可能性海洋中，缺乏如何选择的实际指引。如果我们缩小寻找护栏的解决方案空间，选择就会变得容易；但缩减过度，有用的护栏就可能被排除在外。

关键在于制定品质特征，并将其作为原则来勾勒具体的解决方案空间，进而在其中识别特定的护栏。如果这些原则设计得当，由此产生的解决方案空间将保留多种有价值的护栏，而不会让我们淹没在过多的选择之中。

有先例表明如何实现这一点，但或许不是以最显而易见的方式。

一致性神话

当我们思考治理解决方案空间的品质时，首先想到的可能是连贯性（coherence）和一致性（consistency）的重要性：护栏应当相互加强而非相互削弱。人类决策者应当能够轻松理解社会希望他们做出什么样的决策。事情往往没有这么简单，因为社会规范之间可能存在矛盾。但护栏的一个子集——法律，作为我们必须遵守否则将面临后果的正式规范——理应提供一个逻辑一致的框架。至少，外行人都这样假设：一套简洁明了的体系，首要提供的是连贯性，这样当你遵循它时，你就知道自己在做正确的事。

有事实证据支持这一观点。许多社会的法律都包含了旨在实现整体一致性和连贯性的各种机制。在许多国家，法律和判决的公开发布意味着对法律规范进行矛盾审查是受到欢迎的，因为它有助于内部稳定的发展。上诉程序体现了避免司法错误——包括危险的不一致——的目标。宪法法院审查法律是否与更高级别的法律规则充分一致的可能性，促进了整体的一致性。当不同法律被发现存在冲突时，长期存在的法律解释规则提供了一套看似逻辑自洽的启发式方法来解决这些冲突：从优先适用较新的规范而非较旧的规范，到接受更具体的规则而非更一般的规则。有抱负的法律人被告知，一致性是必要的，不仅是为了避免在决策中造成困惑，也是为了维护法律作为一个连贯逻辑体系的形象。

对法律的这种程式化理解，在学生法律教育的最初阶段或许有用，但它未能捕捉社会现实的本质。专家们早就指出，随着各种重叠的规则体制不断演变，个体发现自己必须遵守多套有时相互矛盾的规则。3这种情况不仅发生在国家法律管辖范围重叠的罕见案例中，更常见的是国家法律与社群规范之间的冲突——比如犹太教的哈拉卡（halakhah）或伊斯兰教的沙里亚（sharia）等宗教法律体制，或者仅被殖民法律部分取代的地方规则。世界各地许多个人和社群对这类情境以及如何应对它们非常熟悉。理论上，可能存在一种复杂的"正确"方式来解决他们的规范困境——但在实践中，许多人不会被寻找这种方式的压力所压倒，而是选择务实的解决方案。

不一致性，正如经济学家所指出的，会导致额外的交易成本：例如，我们不得不应对更耗时的程序，或者将意外执法的额外风险纳入考量。但至少直觉上，我们大多数人都理解，我们多样化的生活会导致意想不到的情况，反映在法律的不一致之中。这是社会治理不可避免的素材。想想替代方案：要么我们必须在越来越微观的层面上进行治理，以充分捕捉各种可能的情况，这将比今天更严重地限制个人意志；要么我们必须大幅减少治理，将社会护栏的作用范围限制在最常见、最显而易见的决策情境中。这对某些自由意志主义者来说可能很有吸引力，但与治理一个复杂多样的现代社会是不兼容的。

规则的全面一致性之所以难以实现，不仅因为常常会出现未预见的情况，还因为不同的机构制定的规范之间会产生冲突。因此，根本性的挑战不仅在于我们预见未来情况的能力有限，还在于人类组织自身的方式日益复杂。

法律多元主义（legal pluralism）——即相互竞争的法律规范并存的现象——的研究者指出，历史上不乏这样的例子。布赖恩·塔马纳哈（Brian Tamanaha）解释说，全面且一致的单一法律体制这一西方观念，即使在西方也是相对晚近才出现的。4在十八世纪之前，人们受制于将他们与某个群体或社群联系在一起的规范和规则。由于许多人同时属于多个群体——想想职业、宗教信仰和民族身份——这意味着他们需要遵守多套规则。民族国家的兴起极大地推动了在一国领土内对所有人适用统一规则的概念。本尼迪克特·安德森（Benedict Anderson）认为，反过来说也成立：拥有一部共同的法律，如同拥有一种共同的语言，有助于民族国家的兴起和存续。5然而有趣的是，法律多元主义在民族国家时代依然存在——有时甚至由那些意图扩大本国权力的国家代表所倡导，作为西方殖民主义的一部分。例如，他们希望本国侨居他国的商人免受当地法律约束；他们还设计了极其复杂的重叠和竞争性法律安排，以扩大自身影响力。6

今天，我们在许多地方看到相互竞争和冲突的规范，部分源于法律的国际化，部分源于商品、人员和信息流动的全球化。在欧盟，我们看到欧洲法院和各国高等法院公开持不同观点。在英国脱欧协议如何适用于北爱尔兰的问题上，我们看到英国、欧盟、爱尔兰和北爱尔兰当局各有不同的解释。在美国，我们看到地方、州、部落和国家规则之间存在微妙但重要的差异，而内部分裂的最高法院拒绝提供指导。7在国际仲裁案件中，我们看到关于何时何地适用何种规则的复杂角力。

法律多元主义是一个事实。社会护栏的整齐一致性和连贯性并不存在，即使在正式的法律世界中也是如此。当我们学会应对这些不一致和不连贯时，我们已发展出一套丰富而务实的心智工具和制度工具来处理这类情况，使问题得以解决，而无需迫使我们质疑或打破整个体系。8

但这引出了一个关键问题：如果一致性和连贯性不是社会护栏的核心设计原则，那什么才是？在本章的其余部分，我们提出三项这样的原则：赋能个人做出良好决策、社会根基性（socially anchored），以及鼓励学习。

决策赋能

有些人可能认为，护栏的目的是迫使人类按照期望行事——人类不过是其所处监管体制的代理人，是决策塑造机制的对象。这是一个根本性的错误。恰恰相反，社会护栏在每一步都承认人类的自由意志（human volition）。

社会旨在通过护栏影响人类的决策，因为人类通过其所做的决策与世界互动——因此，如果我们想改善人类的行为，就需要人类做出更好的决策。但在这样做的过程中，我们预设了人类自由意志的存在。是的，如果人类决定违反护栏的要求行事，他们可能面临后果，但选择权在他们手中。人类能够选择如何行事，这一理念是现代护栏存在的基础。贯穿世界许多司法管辖区私法的契约自由（freedom of contract）理念，其核心是赋予个体做出决策的权力，而非剥夺他们的决策权。如果人类没有能动性、不承担责任，护栏就毫无意义。

设想一个机器替人类做决策的世界。为了塑造决策，社会护栏将不再面向人类，而是面向机器。这将需要不同的内容、流程和制度——简言之，一个与我们今天不同的体系。所有现有的护栏都将变得无用，无论是非正式的社会规范、正式的法律，还是物理上的引导（想想住宅区的减速带）。它们将被指向了错误的对象。相反，决策规则必须以明确无误的形式传达给机器。在没有人类自由意志的情况下，机器可读的决策规则至少在原则上可以实现完美的合规。将几乎不需要裁决、上诉或执法。也不会有偏离的空间。

将近二十五年前，外形奇特的双座SMART汽车的面世，暗示了这种转变可能如何发生。为了避免在高速转弯和阵风中翻车，它的车载电脑不允许驾驶者超过130公里/小时（约80英里/小时）。一些驾驶者感到愤怒：如果在危险情况下他们需要加速，但车载电脑不允许怎么办？批评者甚至暗示，SMART是为那些不擅长驾驶、需要机器"保姆式"照看的人设计的。另一些人则认为，人类的自由意志受到限制的同时，人类的责任也会相应减轻："是机器干的，不是我。"批评的核心不在于限速本身，而在于它是内置的，凌驾于人类的决策之上。9

与这种对人类自由意志的根本性削弱形成对比的是，许多现有的社会护栏不仅接受和预设人类的能动性，而且积极营造一种让人类决策者感到被赋能的环境。以环境法规中的"总量管制与交易"（cap and trade）理念为例。它赋予企业每年排放一定量污染物的权利。这个排放量逐年递减，加大了减少污染的压力。已经采取了防污染措施、不再需要部分或全部排放配额的企业，可以将其出售给其他企业，由此形成了一个排污权市场，惠及那些投资清洁技术的企业。这种安排并没有告诉企业该如何决策和行动。经济激励可能会影响个体决策，但总体而言，决策自由是增强而非削弱了。每家企业都有多种策略和决策路径可以选择。

美国证券交易委员会（SEC）对上市公司的信息披露规则是另一个例子。企业必须告知投资者它们在做什么，以便投资者做出知情决策。但在转换战略或改变业务方向的决策上，高管基本上不受约束。只要他们保持充分的信息透明度，就保留着行动的特权。我们在医疗保健、社会保障甚至教育领域也看到了类似的做法（尽管成功程度不一）。不能保证出于善意的赋能决策措施就一定会带来成功的成果。有些实施方案可能不尽如人意。护栏可能提供了无效的激励或错误的激励，导致意想不到甚至是适得其反的结果。信息赋能可能不足以克服现实世界中的权力差异。

但不可否认的是，大多数社会所建立的治理空间的一个根本品质，就是赋能人类进行决策，帮助他们发展和提升决策能力，而非直接用集体或机器的事后判断来取代他们的意志。这一设计原则赋予个体以力量；但它也与社会紧密相连。

社会根基性

护栏或许面向的是个体决策者，但其本质上是深深植根于社会的。它们诞生于社会讨论之中，在民主社会中尤其如此。这包括正式法律。大多数立法程序都是对特定治理需求进行辩论的结果，以及用什么具体的法律护栏来应对这些需求——从地方上请求设置新的人行横道，到因公众对企业滥用信息权力的强烈批评而在整个大陆范围内收紧针对在线平台的竞争法。

一旦这些护栏被建立起来，它们的实施和执行同样发生在社会情境之中。这涉及相关机构，并依赖于既有的流程——这些流程都深深植根于社会之中——从法官的判决到公众参与环境影响评估。从历史角度看，这种社会联系的建立是一项重大成就。由自己的同侪来审判——无论是来自社区的法官还是担任陪审员的普通人——所产生的判决不仅比之前的神判法（trial by ordeal）更少反复无常，而且深深扎根于当事人的社区之中。它承认并拥抱了这样一种理念：人类不是被统治的客体，而是自身命运的主体——无论是在个体层面还是社会层面。10

这样做，也明确了人类责任所指向的对象。当一个人的决策伤害了另一个人，那个人并不是唯一的受害者。社会本身——个体之间的和平共处——也受到了伤害。修复这种状况所需要的不仅仅是当事人之间的和解。公开由同侪审判的核心理念在于：因为社会受到了冒犯，所以

社会进程可能是必要的。同样，一旦这一社会进程走完其历程，个人行为造成的伤害便已得到处理，至少在原则上，不再有进一步复仇或惩罚的余地。每一次护栏监管体制的运行，都是社会对其共同裁决与愈合进程的重申。

护栏的社会维度并不止于其运行。由于所有护栏都是社会进程的产物，它们必须对批评和修改——甚至废除——保持开放，以适应社会的变化。围绕现行护栏的争论不仅仅是民主参与中的自省性操练，更是关于治理轮廓是否需要改变的社会性讨论。我们在第二章提到的劳伦斯·莱斯格（Lawrence Lessig）曾回应过"知识产权保护不可更改"的论点，他指出，版权——一种限制智力创造物使用的法律护栏——实际上是社会的创造物，如果社会愿意，它就可以被修改。我们可能会倾向于认为这是民主的结果，但它不止于此。它是法律作为一种社会系统的结果——法律可以被分析、批判、修改和变革。所有这类护栏，包括法律护栏，都不过是社会共识的暂时性产物；它们可以也必将随着社会的演进而改变。

2022年，美国最高法院裁定堕胎并非宪法权利，推翻了延续半个世纪之久的一系列先例。[^11] 我们不同意这一裁决，但我们也要指出，最高法院并没有禁止堕胎。它只是说，社会可以通过法律来这样做。许多美国州已经制定了此类法律，附有一项条款：一旦堕胎不再受宪法保护，这些法律便自动生效。[^12] 如果社会不认同，这些法律就可以被改变。也许这一极具争议的裁决在概念层面的积极意义在于，它让我们认识到护栏是可塑的。它们反映的是社会中持续进行的进程。我们在制定或修改护栏方面永远不会"完成"。那些认为护栏本身是或应当是不可更改的人——包括最高法院的某些大法官——恰恰被他们自己参与的裁决证明是错误的。

一个多世纪以前，美国最高法院大法官奥利弗·温德尔·霍姆斯（Oliver Wendell Holmes）在吉特洛诉纽约州案（Gitlow v. New York）的异议意见中，雄辩地提醒我们法律的暂时性与偶然性。[^13] 争议焦点是：散发主张社会主义的传单能否被禁止。霍姆斯不仅强调了民主进程，还强调了法律作为一种深层社会建构的可塑性："如果从长远来看，无产阶级专政所表达的信念注定要被社会的主导力量所接受，[……]那么就应该给予它们机会，让它们得以实现。"

护栏的创制、执行、批判和修改，植根于社会及其机制、制度和进程之中。法律护栏以特定的、正式的方式建立，这使其区别于其他或许更为非正式的护栏。这意味着法律护栏可能比其他社会规范存续得更久——但也许令人意外的是，它们也可能远比某些反映根深蒂固信念的社会规则更为短暂。尽管法律具有独特的创制方式，但它们和其他护栏一样是社会产物，从根本上可塑，以适应新兴的社会需求和不断变化的偏好。

因此，社会护栏与社会之间存在双向联系。它们是社会学家安东尼·吉登斯（Anthony Giddens）所说的"结构"：它们约束行动者——个人和群体——并塑造其行为；但它们本身也是由行动者填充的，是行动者行为的产物。[^14]

信息技术同样是可塑的——这是图灵机[^15]这一概念本身的必然结果——但嵌入信息技术中的护栏并不具备社会锚定性。它们在从创制与实施到批判与修改的每一个层面上，都缺乏与社会的全面联结。它们可能很有效，但它们不是社会产物，不像法律护栏那样。这是技术护栏无法克服的缺陷。当然，信息技术本身也是社会进程的产物，并因人类的支持而存续——它们同样是社会偶然的。[^16] 但它们源于往往是间接的过程，受其约束的人参与有限，并且它们缺乏健全的制度和程序来保证自身的社会嵌入性。它们的社会锚定性浅薄，而社会护栏的锚定性则深厚。

综合来看，这两条设计原则——个人赋权与社会锚定——为护栏提供了一种机制，使其通过将个人决策嵌入更大的社会背景中来引导而非取代个人决策。它们还有利于引出第三条设计原则。

鼓励学习

好的护栏鼓励个体和集体的学习，以改善决策。这不仅有益于个人决策，也能在更广泛的意义上促进学习。

人类是令人印象深刻的学习系统。在最基本的层面上，我们通过回应重复刺激来学习，有点像巴甫洛夫的狗听到预示食物到来的铃声就会流口水。但重要的是，与大多数动物不同，我们还能够从此时此地的经验中进行概括，从而创造出抽象的知识，并将其应用于新的决策情境。因为我们能够构建关于世界运行方式的心理模板，所以我们不必亲身经历每一种情境才能从中学习。这使我们能够从他人的经验和见解中学习——而分享经验的激励机制进一步促进了这一捷径。这种学习极具通用性——它让我们能够超越特定情境和环境的边界。[^17] 但还不止于此：这种学习还要求我们积极反思自己做过的决策，对批评持开放态度，并准备好进行调整，以收获我们前面提到的文化学习的好处。

学习深深植根于我们对个人意志的感知。我们的心理模板从根本上是因果性的。我们到处"看到"因果关系，即使我们看错了。我们对因果性的偏好已被广泛探讨并受到合理批评。[^18] 但它为生存提供了显著优势，这就是为什么人类在进化过程中发展并保持了它。通过因果模板来理解世界，突出了人类拥有能动性——他们的行为以及之前所做的决策是重要的。我们的因果偏好可能让我们觉得自己的行为比实际更重要。但这也使我们赋予自己所做的决策以意义和分量，而这反过来又可能增强我们的影响力。

凭借因果心理模板，我们能够设想下一步并预测可能的结果。在我们的头脑中，我们可以提前几步玩人生这场游戏。这让我们能够超越当下，窥探一个我们倾向于相信自己能够主动塑造的未来。研究表明，相信自己拥有能动性的人更加投入、决策更果断、更专注于自己的行动。而且他们往往对自己的生活更为满意（我们忘记失败、记住成功的认知偏差在此肯定也有所帮助）。[^19]

由于能动性是我们学习方式的关键要素，能够促进学习的护栏就需要以人类意志和决策赋权为基础、并对其进行强化。这第三条设计原则与第一条直接相关。

正如我们在第三章中所描述的，如果每个人都必须自己学习——即便我们拥有概括并构建因果模板的认知王牌——人类的进步就不可能实现。生物进化也不会如此高效或迅速。跨越群体和时间的快速学习，其关键要素在于我们的社会性。近期研究指出了人类惊人学习之路背后更具体的推动力。心理学家迈克尔·托马塞洛（Michael Tomasello）对灵长类动物的研究表明，其中一种推动力是人类发展出了一种偏好：生活在具有鲜明身份特征、协调良好的社会群体中。[^20] 对于人类学家约瑟夫·亨里奇（Joseph Henrich）而言，社会群体之间的竞争促进了群体凝聚力。[^21] 认知心理学家史蒂文·平克（Steven Pinker）则补充了复杂语言的发展。[^22] 语言提供了区分过去、现在和未来的方式，而隐喻的使用则有助于一般性心理模板和概念的表达与吸收。

研究者们对这些推动力的确切构成和相互作用仍有争论。但对我们的讨论而言，显而易见的是社会群体与学习之间的根本联系——无论对个体、社区还是物种而言都是如此。我们所有的学习机构都涉及向他人学习和与他人共同学习，这绝非偶然——无论是在中小学和大学、作为学徒，还是在研讨会和工作坊中；这反映了学习与社会之间的联系，将第三条设计原则与第二条联系起来。[^23]

在决策情境中，学习所包含的内容远不止面对类似决策的个体能够随时间改善这一概念。每一次决策都为我们所有人提供了学习机会——而我们已经进化出了用于学习的生物学、认知和文化工具。如果我们使用这些工具，人类作为一个整体就能取得进步。

技术专家有时会谈到"生成性"（generativity），这是一种支持创造新的技术产品和服务的设计原则。其倡导者之一乔纳森·齐特雷恩（Jonathan Zittrain）解释说，生成性的目标是让许多可能创新的大门保持敞开。[^24] 生成性能够促进进步和学习，但它比我们在此讨论的更普遍的学习设计原则要狭隘。借助护栏的学习涵盖所有决策情境，而不仅仅是技术变革；而且，如果说生成性是关于保持许多大门敞开，那么学习更像是一个打开正确大门的迭代过程。

即便是看似刚性和正式的护栏，如法律，也在决策情境中以无数种方式强调学习。法律把焦点放在个人身上，给他们自主决策的机会——即使剥夺他们的决策权可能在短期内改善结果或更为经济。法律的程序透明性使我们能够在心理上回溯护栏的运行过程，从而提升个体和集体的决策能力。通过让我们重新审视大多数决策——从正式上诉和定期选举到我们在第五章提到的可逆性概念——法律不仅承认情况可能发生变化，还认可学习可能促使我们想要修改之前的一些选择。即使当个人被送进监狱时，其宣称的目的也不是复仇，而是学习和改造。法律有意为之，通过学习为我们提供第二次机会，至少在许多社会中、对大多数案件来说是如此。[^25]

在法律之外，无数其他社会护栏也将学习纳入其设计原则之中。但促进学习的原则还走得更远：当社会从其解题空间中挑选特定的护栏时，它们也在做决定——而与其他任何决定一样，一项护栏是否有效是可以观察和评估的。学习同样可以在护栏的层面上发生。

I CAN(N)

二十五年前，就在互联网开始成为大众现象之际，法学学者塔玛尔·弗兰克尔（Tamar Frankel）出人意料地成为了选择护栏以促进学习的英雄。可以说，没有她，互联网就不会是今天的样子——一个全球性的信息与通信资源。

弗兰克尔出生于英属巴勒斯坦。她学习了法律。后来，她的政府派她前往欧洲，为新生的以色列国家谈判经济援助。她干得从容出色。四十多岁时，她从执业律师转型为法律思考者，成为法律学者，并加入波士顿大学法学院担任教授。她的专长是信托法这一相当冷门的领域；弗兰克尔对人们何时、为何以及如何相互信任怀有浓厚的兴趣。她在自己的领域颇有建树，但与这个叫做互联网的新兴热门事物几乎毫无关联——直到她的一位前学生打来电话求助，这位学生当时已在美国政府工作。[^26]

要让互联网顺畅运行，所有连接到互联网的计算机必须能够互相理解。这意味着它们必须按照相同的规则进行通信。这些规则列载于由我们之前提到的一个团体——IETF，即互联网工程任务组——制定的技术协议中。但每台计算机还需要有一个唯一标识符，以便数据包能够找到通往预期接收者的路径。在互联网的早期，所有可用地址都由乔恩·波斯特尔（Jon Postel）管理，他是一位知识渊博但固执己见的技术极客，受雇于美国国家科学基金会。由于数字标识符对人类来说难以记忆，互联网还有一套所谓的域名系统，如"amazon.com"和"nih.gov"。所有这些都需要管理，而一家名为NSI的公司与美国政府签订了合同来管理其中的大部分事务。

所有参与者都知道，随着互联网发展为全球基础设施，这种安排将不可持续。其他国家的政府和互联网公司向美国施压，要求将互联网名称和地址空间的治理移交给某种形式的国际或全球监督机构。波斯特尔和他的同伴们抵制这一要求，因为他们希望确保互联网治理权留在工程师手中。白宫提议通过创建一个新机构——互联网名称与数字地址分配机构（ICANN）——来解决这个问题。ICANN应如何运作，由谁来治理和监督，都是悬而未决的问题。利益相关方提出了在全球各地召开会议以讨论和协商细节的想法。

塔玛尔·弗兰克尔被邀请来管理这一进程——在尽可能的范围内。她最初可能对互联网地址和名称空间的技术细节了解不多（尽管她学得很快），但她确实深谙如何建立人们可以信赖的治理机构。1997年期间，她熟练地主持了利益相关方磋商过程，推动各方凝聚共识。波斯特尔——以及在他突然去世后，他的同事们——希望ICANN的章程将所有权力和监督权交给一个由精心挑选的工程师组成的小型董事会。弗兰克尔知道这个想法远远不够。但到1998年底，极客们似乎赢了。ICANN作为加利福尼亚州的非营利组织成立，拥有波斯特尔及其同事所期望的首席执行官和董事会主席。但极客们高兴得太早了。

ICANN要运作，需要美国政府将原本属于商务部的权力下放。政府站在了弗兰克尔一边，要求ICANN与其批评者进行谈判。结果是对ICANN章程的修订：九名董事会成员将通过一个向所有互联网用户开放的全球选举程序产生，这将保证更广泛的国际和利益相关方代表性。在接下来的二十年里，ICANN经历了治理结构的多次迭代，放弃了董事会成员的直选制度，转而创建了两个全球咨询机构——一个面向各国政府，一个面向其他各类利益相关方。这些机构持续施加压力，推动ICANN沿着更透明、更具包容性的监督之路前进。这个过程常常混乱且充满挫折，但经过多次调整，ICANN逐渐成熟，发展成为一个具有功能性且包容性的机构。这在很大程度上得益于护栏对相关决策者学习能力的促进。在后来的采访中，弗兰克尔非常清楚地阐明了她心目中此类学习的正确要素——不仅适用于ICANN，也适用于任何此类机构：清晰的愿景和目标，配以允许"摸索前行"的结构和护栏——她用这个词来描述逐步学习的迭代过程。极客们过于关注初始制度结构，对愿景的关注则有所不足。弗兰克尔理解非正式护栏和正式护栏的重要性。非正式护栏确保外部压力能够持续推动更大的包容性、透明度和监督力度。正式护栏确保章程可以被修订，使批评者能够成为董事会成员。两者共同将ICANN的决策引向弗兰克尔所期望的方向——不是朝向特定的意识形态或政治倾向，而是朝向认识迭代改进、试错以及推动纠错的重要性。

重要的是，这种学习并不局限于ICANN管理层所做出的运营决策。它还延伸到了护栏本身；随着时间推移，ICANN修改了章程以及其制度设置和结构，以回应不足之处并解决关切。工程界最初强烈抵制扩大参与的呼声。但他们最终认识到，弗兰克尔的"摸索前行"——由护栏促成的迭代学习——与他们自身的务实精神并无根本区别，我们在前面的章节中提到过这种精神——"粗略共识与可运行代码"。

ICANN的治理历史凸显了正式护栏与非正式护栏之间联系的重要性——一方面是接近法律的章程，另一方面是来自外部的持续压力，例如持续的媒体关注。前者是文本性的、具体的，后者则更具社会性、更弥散。但两者都是社会护栏，都塑造决策并约束行为。在这一案例中，两者都聚焦于学习和迭代变革。而且，正如这个案例所表明的，它们可以相互强化，创造出更全面、更持久的护栏体系。

学习的内涵

当我们考虑应用这一设计原则时，重要的是要牢记学习所包含和不包含的内容。在决策情境中，学习是关于帮助个人改善决策的护栏。这意味着变化。但正如我们在前面章节中看到的，批评者指出监管体制往往稳定现状，限制变革并保护现有的权力分配。例如，社会心理学家肖莎娜·祖博夫（Shoshana Zuboff）认为，数字时代的一种资本主义变体反映在我们社会所制定的规则和法规中。[^27] 法律学者卡塔琳娜·皮斯托（Katharina Pistor）展示了法律如何将土地和知识等资产转化为资本，从而巩固特定的经济体系。[^28] 这呼应了早期批判学者的观点，他们强调了法律在维护和延续社会精英权力方面的作用。[^29] 如果法律如此僵化，那么它又如何与通过学习促进变革的正式护栏相协调呢？

我们很容易通过声称设计原则关注的是护栏机制——我们如何治理——而非我们试图通过它们实现的最终价值和目标来回避这个问题。但那未免过于简单化。在某种程度上，批评者的观点与我们的观点之间存在显著的共同点。我们和这些批评性观察者都将法律理解为一种具有独特性质的社会建构。在整本书中，我们讨论了社会护栏，并承认法律是其中的一部分。对我们而言，法律不是某种外生的规范体系，而是社会动力的产物，这种动力继续塑造着法律。我们将在最后一章回到这一思路。

即使我们将护栏视为社会建构，我们也承认这三条设计原则并非价值中立的。当我们说好的护栏植根于社会时，我们所暗示的不仅仅是它们是社会进程的产物。我们在规范性层面上认为，将护栏与社会进程和制度联系起来，对于一个在历史上通过合作与协作获益良多的物种来说是有价值的。同样，我们赋予个人意志的重要性反映了一种特定的世界观，这种世界观可能与更偏向集体主义的视角相冲突。而且，虽然学习意味着变化，但这种变化是在系统内部发生的——建立在过去的基础之上，而非与过去彻底决裂。

赋权个人决策、将这一过程植根于社会、在所有层面促进学习——这些是良好的监管解题空间以及由此产生的适当护栏的关键设计原则。这些原则旨在改善决策；但同样地，它们也强化了人类对决策的关注——决策是我们与世界互动并使自身角色有意义的手段。

在这些原则以法律形式表达的范围内，它们可以说解释了法律作为一种塑造人类决策的系统所取得的成功。但法律并不天然垄断这些原则。人类学和历史研究发现，社会规范和非正式的社区规则同样可以赋权个人决策、连接社会并促进学习。[^30] 从决策的角度来看，护栏和解题空间的类型不如它们在多大程度上反映这三条原则来得重要。这将我们带回到如何在决策情境中实现最佳治理的问题。

网络法再审视

在第二章中，我们描述了互联网早期的迅猛崛起如何挑战了现代法律的根基——一个为模拟但以文本为基础的世界而设计的治理系统。现代法律脱离了早期将法律视为个人护栏复杂拼图的概念，建立了一套更统一的规则，适用于特定地理范围内的大多数人。植根于空间和时间赋予了法律全面的覆盖范围和统一性的表象。但法律未能足够快地适应互联网迅速崛起所带来的需求。技术解决方案——表面上融合了法律的目标——被付诸实施，但因为它们优化的是代理目标而失败了。打个比方，技术治理更快地到达了目的地，但结果证明那是错误的终点。

这并不意味着技术在决策治理中没有一席之地。恰恰相反，正如我们将在第九章中看到的那样。但这确实表明，技术无法取代塑造人类决策空间的多样化社会护栏。其原因与想象解题空间而非依赖固定的具体护栏组合的必要性有关——也与我们在本章讨论的三条设计原则所提供的指导的重要性有关。

如果技术不是答案，我们应如何应对全球数字网络对传统护栏构成的挑战？社会护栏（包括法律）应如何演进？对我们而言，答案是概念性的（而且我们希望到现在已经很清楚了）。此前将社会护栏过渡到数字时代的尝试之所以失败，是因为我们通过优先考虑覆盖范围、有效性和一致性等原则，将我们为护栏设计的品质与我们最终希望通过护栏实现的目标割裂开来。补救之道不是让护栏表现得更像技术修复——快速、高效、全面——而是回归到源于我们期望护栏实现之目标的设计原则：个人赋权、社会锚定以及促进学习。

在接下来的章节中，我们将阐释这如何能够实现，许多必要元素已在实际运用中，以及护栏如何在总体上演化为有效的治理体系——既有效果，又维护我们所珍视的设计原则。但在此之前，我们需要理解另一个关键的设计要素。

07 第7章：自律

Self-Restraint

第七章：自我约束（Self-Restraint）

卡普伦（Kaprun）是阿尔卑斯山脉最著名的滑雪区域之一的入口，是运动爱好者的梦想目的地。但它也被人们铭记为一场人间悲剧的发生地。2000年11月11日，162名乘客登上一辆缆索列车，清晨出发，穿过山中隧道前往滑雪场。列车底部无人看守的车厢内，一台电暖风机起火，导致列车在进入隧道约两千英尺处紧急停车。刹车系统泄漏的易燃液压油助长了火势，火蔓延得极其迅速，将隧道变成了炼狱。被困在列车中的乘客发现出口门被堵，试图砸碎防碎窗逃生。列车尾部的一群十二人成功用一根滑雪杆砸破了一扇窗户。片刻之后，列车员设法手动打开了车门，为仍被困的一百五十名乘客提供了出口。不幸的是，这一大群中的一百五十人全部遇难。只有列车尾部的那十二名乘客幸存了下来。[1]是什么改变了这十二名乘客的命运？

一个决定。出乎直觉的是，那十二名幸存者沿着陡峭的坡道向下跑去。相反，人数多得多的那群人则向上跑，试图远离燃烧的缆索列车——结果全部遇难。有一个人对这十二名幸存者选择的方向起了决定性作用：一位拥有二十年经验的志愿消防员。凭借他的训练和知识，他立刻意识到了在这个生死攸关的时刻所有人都忽略的一点：陡峭的隧道就像一个巨大的烟囱，从底部吸入氧气，将致命的浓烟、高温和火焰向上推送。如果有一条生路，那就是向下跑，即使这意味着冒着燃烧的列车可能沿着轨道冲下来的危险。

这场灾难还有更多的层面，并导致了长达数年的诉讼。但就我们的目的而言，我们讲述这段简短的叙述，是为了有力地说明关于人类决策的一个根本要点：决策深受个人所掌握的信息的影响。对幸存者来说，万幸的是，那位志愿消防员将一条关键的背景信息内化于心并加以运用；事实证明，这救了所有人的命。

我们所做的决策不仅仅取决于特定时刻呈现在眼前的事物。在往往不那么显而易见的层面上，它们还受到此前积累的信息的塑造。正如卡普伦灾难中的那位英雄一样，我们迄今已知和经历的一切，渗透在我们对当下选项的理解以及我们可能据此采取的行动之中。从根本上说，人类决策与我们来自何处、我们成为了什么样的人有着内在的联系。它可能是个人的，但嵌入在更广泛的社会背景之中。

我们的生活经验中充满了证明这一观点的例子。当前的天气和交通状况影响着我们开车的快慢。我是否愿意接受一张不划算的跨大西洋航班票价，取决于旅行的目的。我在做出决定之前需要多少信息，取决于我有多少时间去做研究，等等。背景也影响着我们如何看待自己和他人的决策。当人们对过去做出的某个决定产生分歧时，根本原因可能不在于决策的结果，而在于对决策所处的相关背景——或者说理应所处的背景——有不同的理解。当人们至少无法认识到决策发生在不同的背景中，且他们自己的理解可能与他人不同时，这类争论会变得格外棘手。

简言之，背景问题充满挑战。幸运的是，护栏可以帮助我们应对背景问题——但这同样远比乍看起来复杂得多。第一组复杂情况出现在使用为特定背景量身定制的护栏时。

在最近的一个案例中，一位行使"被遗忘权"（RTBF，Right to Be Forgotten）的人要求谷歌删除指向一篇文章的链接，该文章包含一张经过修图处理的讽刺图片，图中有一名当地政客。[2]根据欧洲法律，如果相关链接"不恰当、不相关或已不再相关，或过于冗余"，搜索引擎必须遵从。[3]纸面上看起来直截了当的事情，在实践中却变得棘手。是否删除该链接的问题，取决于当地政客的隐私权和数据保护权与公众获取信息的权利之间的平衡。在具有里程碑意义的"谷歌西班牙"裁决中，欧洲法院就如何权衡这些相互竞争的利益提供了一些指导。[4]背景因素——例如相关信息的性质、对数据主体私生活的敏感度以及数据主体在公共生活中的角色——至关重要。背景只能逐案评估。

在法律或伦理护栏要求客户、委托人、患者等被充分告知以使他们能够做出良好决策的领域，类似的模式也在上演。需要共享多少信息、共享什么类型的信息，既取决于个人的信息需求，也取决于互动发生的背景。如果一位律师向另一位律师寻求建议以评估诉讼前景，他们所需要的信息将与为外行人提供的信息不同。如果一名患者在车祸后被送往急诊室且时间紧迫，医生可以不必像对待一个计划中的医疗程序那样，详细说明可能的治疗风险。

但背景挑战远不止于此。护栏不仅不可避免地会遇到可能妨碍其在特定情境中有效运作的背景因素。更为复杂的是，在某一特定背景中出现的护栏，可能会在此后完全不同的背景中塑造人们的决策。卡普伦的悲剧让我们得以一窥这一现象。那位志愿消防员在一次滑雪旅行中拥有一条关键信息，这一事实通过严格的训练程序、操作规程和演练——这些共同构成了旨在引导消防员执勤时决策的护栏——在时间和空间上相互关联。那些未曾经历过同样护栏训练的乘客则遇难了。

本章更深入地探讨了当护栏应对信息和决策的内在背景性特征所带来的多方面挑战时可用的主要策略——这些特征我们在前面的章节中已经遇到过。本章将更详细地审视，从护栏设计的角度来看，我们可以做些什么来应对背景问题。遗憾的是，我们无法提供一个简单的解决方案。恰恰相反，接下来的章节将揭示，我们可能采用的一些最直觉化的策略注定会失败。我们需要的是对问题进行更为根本的重新框定。作为一条替代性的未来路径，我们提出将自我约束（self-restraint）作为未来护栏制度的最终设计特征，它指的是护栏内置的、能够驯服自身权力以促成更好决策的能力。

油水不容

无论护栏采取何种形式——从仇恨言论的技术过滤器（如我们在第三章详述的）到诸如欧洲"被遗忘权"这样的法律规范——它们本质上都需要跨越背景和个人进行概括，才能发挥引导作用。人类的信息处理和决策对护栏构成了独特的挑战，与那些同样需要通过某种机制来"引导"的其他对象相比——无论是街道上的汽车、商店里的食品，还是生物医学研究领域中基因组编辑这样复杂的事物——情况都是如此。在某种程度上，这就像把油和水混在一起：所有护栏都需要概括化，而信息和决策本质上是背景性和个体性的。当需要管理大量信息并据此做出决策时，这种张力变得更加尖锐。

在为在线平台选择有效护栏时，当今最令人头疼的问题之一是：在发布时的背景中看似没有问题的信息，在另一个接收和处理的背景中可能就不合适了。这个问题由来已久。自从万维网诞生之初，全球的法院和立法者就一直在与之搏斗。早在1996年，《经济学人》（The Economist）在一篇题为《互联网上的性》的文章中就提出了一个经典的问题："当巴伐利亚皱起鼻子时，全世界都必须感冒吗？"[5]文章作者对一个广受报道的案件的影响表示担忧：CompuServe德国分公司的负责人费利克斯·佐姆（Felix Somm）因德国子公司帮助美国母公司向德国用户传播在德国法律下属于非法的新闻组内容而被起诉（后被定罪），判处两年缓刑。（佐姆最终在上诉中被无罪释放，原因是德国法律的修改限制了法律责任。）尽管很早就出现了背景性至关重要的警告，大型社交媒体公司仍然继续构建了数十亿美元的业务，将问题的规模扩大了数个量级，而由此产生的社会成本则基本上被外部化了。

诚然，设计信息和决策护栏时的"油水不容"问题并不仅限于数字世界。在背景挑战不涉及大型科技公司的领域，同样的模式也在小得多的规模上上演。例如，在医学研究和医疗领域，专业机构就如何满足有关风险披露的法律要求提出了日益详细的指导方针，倡导一种日益以患者为中心的方法。在消费者保护领域，法律规范变得更加细致，试图通过更详细地列出需要披露的数据类型和质量来将要求"背景化"。例如，德国近期关于数字产品的法规将需要提供的信息扩展到了影响商品功能或兼容性与互操作性的更新信息。[6]根据消费者保护法的一般原则，这些信息必须以"清晰易懂的方式"共享。而这意味着什么，再一次留给了卖方来判断，卖方必须考虑与消费者谈判所处背景的特征。

无论在何种环境中，为决策而管理信息都面临着在概括化与个体化之间、在抽象化与背景化之间取得平衡的挑战。然而，像脸书（Facebook）和谷歌（Google）这样的大型在线平台，已经将这个问题极度放大。通过为来自不同背景的数十亿人提供通过全球网络传播的信息获取渠道，它们不仅"拉平"了世界，还系统性地去除了部分信息的背景。在跨越国界和边界推送信息的过程中，社交媒体可以从特定的新闻报道、用户生成的视频或其他内容片段中剥离其本地背景。这些平台上对"友谊"和"群组"的推广，可以被看作是试图重建某种连接纽带、建立某种共享背景的努力，但这些只是粗糙的补救措施。毕竟，在注意力经济中，算法驱动新闻推送或搜索结果的方式是以利润最大化为导向的，而非以保存背景为导向的。

随之而来的挑战是令人望而生畏的：在线平台是大规模的去背景化引擎——然而，在本书核心关注的决策挑战面前，重建某种背景的压力也与日俱增。问题已经变得如此之大，仅凭人类已无法应对在网络上流通的决策相关信息的洪流：在数据时代管理这些张力，越来越需要使用先进的机器学习和其他人工智能技术。但即使是最好的人工智能，至少在其当前的发展阶段，也不够精密，无法在大量不那么明确的案例中对背景有足够的理解。尽管取得了种种进展，尽管存在资源限制，仍然需要人类的判断来理解信息和决策的背景维度和个体维度。

失败的策略（上）

如何大规模地构建背景感知能力，可以说是护栏领域最大的设计挑战之一。无论是部署技术、法律、社会规范还是任何其他工具来塑造人类行为，人类信息流和决策中渗透的背景性和个体性因素最终决定了护栏能够多么有效地引导行为。可以用来突破这一障碍、将护栏定制化以适应背景的两种主要策略都依赖于"更多"：添加更多更细粒度的规则以覆盖越来越多的背景；以及添加更多"智能"技术，试图在明确和不明确的内容之间进行分拣。

过去几十年来，我们见证了新法规和法律的惊人增长。无论是税收、合规、环境还是劳动法，新规则似乎以越来越快的节奏冲击着我们。这张日益细密的规范之网，试图以越来越精细的方式、针对越来越狭窄和特定的背景，来解决越来越多的护栏问题。

常识告诉我们，高度互联的社会与越来越复杂的法律规则相伴而生，科学也证实了这一点：基于对美国和德国联邦立法的网络分析，一个跨学科研究团队得以证明"法律复杂性随着立法的数量、互联性和层级结构而广泛增长……——这表明我们所研究的高度工业化国家试图通过构建日益复杂的法律规则体系来管理行为。"[7]

法律护栏体系的整体扩张，是由针对特定情境量身定制的规范这一趋势所驱动的。我们正在目睹一场新规则的洪流，这些规则试图以越来越精细的分辨率来应对人类决策的特定实例，并管理其中涉及的信息。食品安全和食品标签就是一个很好的例子。美国食品药品监督管理局（FDA）现行的《食品标签指南》——用于将FDA的法律和法规具体化——长达130页，涵盖了令人难以置信的丰富议题："草莓代基里混合饮料是否需要标注果汁百分比？""当一种食品本身由含有多种配料的其他食品制成时，如何标注其成分？"规范的种类、详细程度以及所涵盖的具体情况之范围令人惊叹。[8]

除了更具针对性和更细致的实体性规则外，在规范决策过程方面也越来越具体。以保护消费者的规范为例，例如防止消费者合同中的不公平条款。这些为模拟世界设计的规则在数十年间运行良好——直到在线业务创造了新的动态。欧盟最近颁布了一项全面的新消费者权利指令以增强消费者信任，其中包含规范在线合同的程序性保障——从管理信息流到规范退出此类合同的过程。[9]以类似的方式，过去几十年来，我们在药品开发、民事诉讼或国际商业交易等多样化的领域引入了越来越多的过程性规则。其目的是通过使规范和法规更加背景化，来推动结果朝向社会期望的方向。

有人认为，我们只是处于规范爆炸的起点。专家们预测一个"监管黄金时代"的到来，进一步的监管浪潮将聚焦于数字领域的信息和决策，涵盖从消费者保护、数据隐私和竞争法的升级到全新的AI立法。[10]引用微软总裁布拉德·史密斯（Brad Smith）的话："2020年代之于科技行业，将如同1930年代之于金融服务业。"[11]为了应对日益详细的监管要求，许多大型公司已经计划大举投资扩充其监管团队（在撰写本书时，微软法律和公司事务部门的员工人数仅在过去一个财年就增长了20%）。

颁布越来越细致的规范是应对信息和决策护栏"油水不容"问题的一种方法。另一种方法是在将一般性规范应用于具体案例时部署先进技术。

如第三章所述，Meta正在使用机器学习技术和人工智能方法使内容审核更加注重背景敏感性。同样的工具也被各行各业的公司所使用——从《纽约时报》（New York Times）、亚马逊（Amazon）到苏黎世保险（Zurich Insurance）——以解决在数字互联时代背景不断转换甚至有时崩塌时涌现出的一系列问题，从仇恨言论到资源优化。[12]人工智能正越来越多地被用于将一般性规范——如法律、公司政策、服务条款或保险条款——大规模地应用于个案。

不仅是企业，立法者也开始发现技术可以作为将日益增多的法律要求应用于信息和决策特定背景的手段。来自欧洲的三个例子说明了这一思路。最近全面修订的欧盟版权指令对YouTube或脸书等大型在线平台施加了义务，要求监控用户发布的内容是否存在版权侵权。[13]在实践中，这种预防性监控依赖于软件过滤工具的使用，从而事实上构成了对此类技术的强制使用。欧洲新出台的打击恐怖主义在线内容传播法规要求平台在收到当局的删除令后一小时内删除恐怖主义内容；许多民间社会组织认为这激励了在线平台使用自动化内容审核工具，包括上传过滤器。[14]而欧盟虚假信息行为准则——已被谷歌、Meta、微软和TikTok等平台所同意——包括各公司承诺投资技术工具，"在搜索、推送或其他自动排序的分发渠道中适当优先展示相关、真实和权威的信息"，并开发使人们更容易找到有关公共利益话题的不同观点的工具。[15]

不幸的是，这些由政府推动的技术方案与社交媒体公司在自行使用内容审核技术时已经面临的挑战如出一辙：评估信息流动和决策发生的背景，仍然是人类优于机器的一个领域。来自大西洋彼岸的一个故事很好地说明了这一点——那就是打击在线盗版的斗争。

《数字千年版权法》（DMCA，Digital Millennium Copyright Act）是美国一项重要的立法。[16]它于1990年代末制定，旨在将版权法从模拟世界"升级"到数字世界。它所解决的问题之一是用户通过YouTube等平台非法分享音乐片段、电影和其他受版权保护的内容。作为当时促进在线业务增长的一项创新举措，该法为平台提供了用户非法行为的免责保护，前提是平台满足某些条件，例如在收到版权所有者有效的删除通知后迅速删除受版权保护的材料，以及终止反复被指控侵权的用户账户。

对于大型平台而言，遵守这一法律要求绝非小事——例如，YouTube每分钟要处理500小时的视频上传量。[17]YouTube开发了一套名为Content ID的复杂系统，以确保大规模合规。[18]当一段视频上传到YouTube时，系统会将其与权利人提交的文件数据库进行比对扫描。如果匹配成功，整段视频将被阻止播放。或者，权利人可以选择通过在视频上投放广告或认领视频上已有广告的收入来对该视频进行"变现"。在某些情况下，他们会与视频创作者或其他拥有匹配内容的权利人分享收入。他们还可以要求获取该视频的观看统计数据。权利人可以选择自动应用上述任何一种处罚方式，无需进一步操作，除非视频创作者想要对匹配结果提出异议——此时将启动一个相当复杂的程序。

据YouTube称，98%的版权主张通过Content ID处理，相当于每年超过1.22亿件版权主张。[19]然而，该系统的局限之一在于理解内容被分享的背景。"合理使用"（Fair Use）就是一个典型的例子；它是美国的一项法律原则，表示在某些情况下，某人可以在未获得权利人许可的情况下重新使用受版权保护的材料。[20]这些情况具体是什么，才是棘手的部分。它需要分析和权衡四个因素，包括该使用是否为原作增添了新的意义，还是仅仅复制了原作。例如，在评论中分享一段音乐片段、在一篇历史文章中作为插图、或在一场关于版权法和合理使用的讲座中作为演示，可能构成"合理使用"。但Content ID无法判断是否存在这样的背景。

到目前为止的核心要点：人类信息交换和决策的背景性特征对每一组护栏体系都构成了挑战。试图通过越来越背景化、添加越来越细粒度的规则或在执行一般规则时使用更精密的技术来"最大化"护栏的覆盖范围，只能带我们走到一定程度。无论是通过法律手段还是技术手段，试图塑造人类行为的背景敏感性尝试都有其极限。

行动究竟能发挥多大的作用。归根结底，通过护栏来引导集体事务，必然需要某种程度的抽象和概括。

失败的策略（下）

应对语境挑战的另一种做法是完全忽略它。这种方法不去为日益增多的具体语境量身定制护栏系统，而是施加非常宽泛的"万能规则"来规范人类行为。如果我们关心人的全面发展，这条路径就格外令人担忧。中国记者和作家师涛的命运清楚地说明了这一点。21

2004年，师涛收到一份来自中国共产党的文件时，他大概不会意识到这将成为改变他和家人一生的事件，让他身陷囹圄。可以合理地假设，他也无法预料到此后的事件会成为一本关于决策护栏的书中的教训。这份发给师涛的文件要求记者不要报道即将到来的北京天安门广场亲民主抗议者遭屠杀十五周年纪念活动。虽然这完全符合共产党严格管控媒体的一贯做法，但在中国内外的民主活动人士看来，这封文件是一种重大挑衅。师涛不想让这道命令无人知晓。为了提高公众意识，他用自己的雅虎邮箱，在纽约一个中文民主网站上匿名发布了描述该命令的消息。

后果是灾难性的。一年半后，师涛以泄露国家机密罪被依据中国国家安全法逮捕，并因向境外泄露文件被判处十年有期徒刑。师涛辩称自己并不知道一份官方备忘录会被视为国家机密，但这一辩护无济于事。对他极为不利的是，中国《保守国家秘密法》包含极其宽泛且含糊不清的条款，允许政府将信息定性为国家机密——甚至可以追溯认定，且无需任何司法监督。

师涛的遭遇首先是一个人道层面的悲剧。但它也能让我们认识到"万能规则"式的护栏可能造成怎样的伤害。师涛被拘留是护栏危险地过于宽泛和模糊、完全忽略语境的一个典型案例。法律作为护栏工具箱中特别有力的工具，有可能反过来伤害人——这种风险在政治环境中尤为突出，在这些环境中政府被认为凌驾于法律之上，能够为了维护自身权力而制定和执行法律，全然不顾对人权的影响。不幸的是，这种情况已不再局限于非民主国家。

另一条路？

人类的信息处理和决策过程是难以驯服的野马。正如我们所看到的，引导人类行动的主流方法——越来越多的规则和越来越多的执行技术——并不能真正解决语境问题。相反，当护栏试图覆盖的语境越多，加速运转的护栏就越会削弱而非促进人的全面发展。而另一种极端做法——对语境采取"万能规则"式的漠视——则更加糟糕。正如师涛事件所戏剧性地表明的那样，它必然会侵犯人权，对人们造成毁灭性的影响。

这两种方法的问题在于它们不承认任何边界。当然，有人可能会说这又是一个平衡问题，就像生活中几乎所有事情一样。在设计护栏时，难道不能在"过于细化"和"过于笼统"之间找到一个中间位置吗——某种护栏最优解？

理论上听起来合理，实践中却行不通。不幸的是，优化问题很难。在本书中，我们描述了工具箱中大量可用的工具，在应对数据时代的问题时可以善加利用。但这些工具的"瑞士军刀"特性，加上数字时代值得关注的问题清单不断增长，又制造了另一个问题：它使得组合方式如此之多，以至于几乎不可能说清这些工具的最优使用方式是什么样的。

为了体会优化问题会如何迅速变得极其困难，可以考虑计算机可能遇到的最困难的计算问题之一。这个故事要追溯到1832年在德国出版的一本小书，那是商业自助书的早期版本；用书名的话说，就是"他应该如何行事以及应该做什么，才能……确保事业上的幸福成功"。22这本书面向旅行推销员，描述了一个后来在数学中广为人知的情境，即"旅行商问题"：对于一个拥有城市地图和连接道路的推销员来说，访问每个城市并返回家中的最短路径是什么？听起来像是一个相对简单的问题，但这种简单具有欺骗性——事实证明它是一个极其复杂的问题，因为没有快速的方法来计算众多替代路线并进行比较。随着城市数量的增加，解决这个难题所需的数学计算会迅速变得更加艰巨。目前，利用尖端的二十一世纪计算能力解决这一算法问题的记录仅限于计算二十二个城市的最短路线。

现在，让我们将此应用于护栏问题。与护栏所能规定的"路线"宇宙——问题、连接、技术等的组合——相比，旅行商问题几乎显得微不足道。无论是好是坏，没有任何机器能够用某种神奇公式计算出护栏的最优解。这个问题对于即使最强大的计算机来说也太大了。我们必须接受一个事实：在护栏和决策领域，我们无法确定什么是最佳方案。

相反，我们提出一条替代路径——可以说是对问题的重新框定。既然不存在可计算的、固定的最优规制，我们应当在护栏中内建这样的能力：既迫使我们又使我们能够持续地质疑和协商平衡点在哪里。我们在前一章中提到过这一理念的一个例证，当时我们解释了ICANN如何不仅能够在决策层面学习，还能在护栏调整层面学习。

自我克制

要建立一个拥抱学习而非追求最大化的系统来影响人类行动，一个必要的前提是自我克制（self-restraint）。借用约翰·弥尔顿（John Milton）史诗《失乐园》中的一句话，自我克制就是"不过度的法则"。23它是思想和行动中的节制。

自我克制植根于古希腊哲学，柏拉图和亚里士多德将其描述为雅典美德之一。罗马哲学家倡导类似的节制（temperance）美德，与享乐之爱相对立。一千年之后，托马斯·阿奎那（Thomas Aquinas）将节制列为核心美德。又过了五百年，德国哲学家伊曼努尔·康德（Immanuel Kant）论证节制是任何人潜能的核心要素，将节制观念与自我控制和冷静思考联系在一起。几个世纪以来，自我克制在哲学和宗教思想中备受推崇——最近又在积极心理学运动中得到颂扬。乍听之下高远的理念，在人类决策的语境中也具有巨大的现实意义。毫不夸张地说，自我克制能够决定和平与战争之间的天平倾向。

为什么自我克制至关重要

1983年9月26日，俄罗斯值班军官斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）通过一次自我控制和冷静判断的行动，独自将世界从核战争中拯救出来。当天凌晨，苏联的预警系统发出警报，显示美国已经发动了导弹袭击。彼得罗夫是当班的值班军官。他的职责是将这则由计算机生成的攻击通知上报给军事指挥层和政治领导层。他清楚如果他这样做可能会发生什么：苏联军方将立即对美国实施核打击作为报复。彼得罗夫从各种线索中怀疑，这则通知可能是系统故障导致的误报。在他后来形容为五五开的情况下，他决定不将报告上报指挥链——这一节制的行动拯救了世界，使其免于一场核灾难。24

自我克制在高风险决策中的实用价值，也在1994年6月16日国防部长威廉·佩里（William Perry）向美国总统比尔·克林顿（Bill Clinton）及其国家安全委员会所做的简报中得到了体现。当时认为朝鲜可能即将进攻韩国，佩里要求军事参谋制定保卫韩国的方案。其中一个选项涉及对朝鲜的一处核设施实施先发制人的精确打击。佩里选择了自我克制，没有将这一计划告知克林顿，因为——如他后来所述——他认为这极有可能引发一场对朝鲜半岛而言后果不堪设想的战争。25

彼得罗夫和佩里——两位具有深厚谦逊品质的杰出个人——通过不传递那些旨在作为可能决策依据的信息来践行自我克制，而这些决策可能带来灾难性的人道后果。他们以康德所阐述的精神践行了节制的美德。两个故事都说明了自我克制的行动如何影响未来的决策。从设计的角度来看，最重要的是，它们指出了人类决策护栏的一个关键可能特征。幸运的是，苏联军方的政策和程序并未明确规定值班军官必须在多长时间内报告系统警报。同样，制度惯例赋予了佩里作为国防部长一定程度的自由裁量权和责任。正是这些护栏特征使得两位主人公得以践行自我克制。

回顾往事，彼得罗夫和佩里觉得自己有余地践行自我克制，或许只是幸运。然而，当我们向前展望，在一个充满断裂的世界中想象未来人类决策的护栏时，我们应当认真对待这些故事所揭示的教训。除了在人们心中培养自我克制的美德之外，我们还应更加关注如何设计能够提供自我克制空间和机制的护栏，以支持更好的决策。坏消息是，尽管人类探索节制美德的历史已逾两千年，但至今没有出现能够全面展示如何设计此类系统的蓝图。好消息是，当我们将目光投向法律时，或许至少能找到一些灵感和出发点。

来自法律的启示

法律面临的最大设计挑战之一是如何长期维持合法性——而最大的风险之一是过度扩张自身权力。在漫长的演化过程中，法律体系发展出了各种机制——可以将其视为等同于保险丝的东西——来缓解权力过度扩张的风险。一个特别生动的例证，既说明了利害攸关之处，也展示了一种重要的自我克制形式，那就是美国民主早期的一段权力斗争故事。

1800年的美国总统大选在联邦党的在任总统约翰·亚当斯（John Adams）和主张将联邦政府权力下放各州的挑战者托马斯·杰斐逊（Thomas Jefferson）之间展开。杰斐逊赢得了大选，但在他就职之前，亚当斯仍将继续担任总统数周。在这段时间里，即将离任的联邦党国会做出了一项大胆举动，试图通过阻挠杰斐逊所属政党的立法议程来保住本党的政治遗产。国会通过了一项设立新巡回法官职位的法律，即将离任的总统亚当斯随即迅速填补了这些职位。到杰斐逊就职时，这些"午夜任命"的所有手续均已完成，只差最后一步——需要将总统签署的一些文件送达被任命者手中。

杰斐逊命令他的国务卿詹姆斯·麦迪逊（James Madison）扣留这些文件。来自马里兰州的联邦党领袖威廉·马伯里（William Marbury）是亚当斯总统试图任命的人员之一。当他没有收到文件时，他决定在美国最高法院对麦迪逊提起诉讼。

马伯里案给最高法院制造了一个严重的困境——最高法院本身就是联邦权力的体现，而这恰恰是杰斐逊与亚当斯之间的分歧所在。事实上，当时的最高法院被视为"联邦政府中最后一个联邦党的堡垒"。26一方面，即将离任的政府通过的法律是明确的——它规定了麦迪逊有义务将文件送达马伯里。如果法院不承认这一点，它将丧失公信力。另一方面，大法官们担心，如果他们指令麦迪逊送达马伯里的委任状，而麦迪逊不予理会，实际上他们将无能为力。联邦司法机构将显得完全无力。

首席大法官马歇尔（Marshall）找到了一条出人意料的出路：他巧妙地依靠了法律体系内建的自我克制能力。法院认定，马伯里的任命确实创设了一项受法律保护的权利，扣留他的委任状侵犯了这项权利。然而——自我克制就在这里发挥作用——首席大法官同时认定，最高法院无权指令麦迪逊送达委任状，因为一项表面上授权法院这样做的立法与美国宪法所规定的最高法院权限不一致。

在此背景下，首席大法官抓住机会回应了一个潜伏已久的根本问题：国会制定的法律如果与宪法不一致，是否有效？马歇尔的回答是双重的：他认定这样的法律无效，而且——对最高法院的权力而言更为重要的——法院是决定国会制定的法律是否与美国宪法相冲突的适当机构。

马伯里案是最高法院的标志性判例之一。27首席大法官巧妙运用自我克制作为化解棘手政治困境的权力策略，这一天才之举在法学界和其他领域都得到了广泛认可。28但这个故事还揭示了一个战略层面，阐明了自我克制作为未来人类决策护栏设计的前景。通过对护栏的覆盖范围进行自我限制，从体系内部缩小工具包中各项工具所适用的语境，护栏体系的合法性和有效性可以得到维持，有时甚至可以增强。反之，如果护栏伸得过远——例如涵盖了过多的语境和问题——就有可能丧失其"引导"权力所赖以存在的合法性。从这个角度看，自我克制本身就是一种权力形式。

尽管马歇尔首席大法官的举动令人惊讶，但自我克制是法律本质的一部分——它是使法律成为一种特殊类型护栏的核心所在。法治本身就是最基本防止越权的机制。作为核心原则，它至少可以追溯到古希腊。与大多数法律概念一样，法治有多重含义和多种功能——但其核心要求是"掌权者应当在一个由既定公共规范构成的约束性框架内行使权力"。29例如，法治要求法律通过一套作为公共知识的规范来运行，或禁止法律通过溯及既往的方式进行越权。

尽管有深厚的哲学根基，自我克制在实践中不应被视为理所当然：法律是一种极其强大的工具，可以被——也有人认为经常被——掌权者工具化。通过（滥用）法律来积累过多权力的诱惑，并不局限于师涛案中的非民主国家。美国法律学者目前发出警告，最高法院中的保守派多数已经开始抛弃自马伯里案以来一直制衡法院巨大权力的部分自我约束规范。缺乏自我克制的实践，导致权力从国会、行政部门、各州和下级法院向可能出现的"帝国最高法院"转移，严重危及核心民主原则。30

无论是当下的威胁还是法律的悠久历史都表明，自我克制是一个需要规范性承诺、持续改进和切实践行的护栏设计原则。在法律发展的四千年历程中，法律行动者一再认识到法律权力的巨大和越权的风险，由此产生了一套多样化的分布式机制来防止法律变得无所不包。当前针对保守派大法官夺权行为的提议——例如改变最高法院大法官的人数和任期、限制其事项管辖权——正处在这一悠久传统之中。31

丰富的机制

法律对限制自身权力的持续追求，凝结在法治原则之中，在设计护栏系统时可以作为指路明灯——这些系统的目标是在引导人类决策时达到可行的而非最优的控制水平。法律最引人注目的特征之一是，自我克制的机制分布在各个领域，包括实体规范和程序规范，也贯穿于规范层级体系的始终，从地方法规直至宪法。为了弥补确定精确最优规制的不可能性，法律体系对广泛自我约束技术的拥抱意味着，对恰当选择的追求始终是一项进行中的工程。

法律中蕴含的丰富自我克制机制，服务于支持更好人类决策的多种目的。当法院践行司法自我克制时，不仅是为了确保其长期的合法性并维护民主原则的完整：通过缩小其裁决所涉案件的方面，法院限制了未来法院受其创设先例约束的程度。这反映了一个来自控制论的良好决策原则：今天的决策方式应当为未来保留尽可能多的选择空间，因为情况可能会发生变化。32

法律中的其他自我克制机制旨在防止地域性的越权，管辖权（jurisdiction）概念就是其中之一。属人管辖权（personal jurisdiction）指的是帮助确定法院是否有权对案件中的被诉方作出裁决的规则。立法者自愿创设了限制其法院管辖权的规范——这种自我克制在全球化时代尤为重要。例如，欧盟通过了详细的法规，为在欧盟境内但跨越本国国界旅行或经商的欧洲人提供法律确定性。33互联网增加了另一层复杂性，因为它连接了如此之多的人、地点和空间。法律再次以一套精密的内置规范和实践来回应这些变化，持续"协商"其覆盖范围。在功能上，属人管辖权的概念也确保了具有当地知识的法院来审理案件——这是旨在促进良好决策的又一保障措施。

法律还接纳自我克制机制以从替代决策中学习。联邦制（federalism）——同一领土由多级政府控制的治理形式——就是一个典型例子。较高级别的政府践行自我克制，为较低级别的政府——如州或城市——留出空间来治理地方事务。通过限制自身权力，较高级别的政府接纳体系内的多样性，这些多样性反过来可以成为应对未来挑战的试验田。在公共政策作为决策形式的领域——如教育、卫生或治安——联邦制国家可以充当现实世界的实验室，用来开发和测试对共同问题的不同应对方案。34这些学习成果随后可能成为护栏创新的源泉，我们将在本书后面讨论这一点。

移动靶标作为一种特性

让我们做个总结。互联网使世界变小了，至少在某些方面是这样：数十亿人——甚至物品——跨越国界、语言和时区连接在一起。社交媒体让我们感受到联结，无论好坏。但这种作为共享地球村村民的感觉在其他方面是具有误导性的。在信息和决策方面，语境至关重要。信息在决策时是否有用取决于语境。卡普伦灾难中的消防员能够快速评估他受过训练的情境，做出正确的决定，跑向正确的方向——这一举动挽救了他和身后人的生命。无论是面对生死攸关的情境还是社交媒体监管的问题，语境性对任何试图影响信息和决策的系统都构成了根本性挑战，因为护栏必然需要某种程度的抽象和概括。

正如我们在本章中所讨论的，应对我们所称的"油水不相容"问题的主流策略容易失败。如果

随着护栏变得越来越注重语境，试图应对每一种可能的情形，它最终会在纷繁复杂的语境宇宙中彻底丧失引导力。反之，如果它走向另一个极端——过度泛化以吸收一切语境——它就会摧毁自由，而非守护自由。那么，关键问题就变成了：这两个极端之间的最优点在哪里？

先说坏消息。事实证明，这样一个最优点是不可能计算出来的——考虑到护栏工具箱的深度，议题的数量以及处理这些议题的方式实在太多，根本无法开发出一个算法来产出那个神奇的结果，告诉我们最优点究竟在哪里。

然而好消息是，我们可以绕开这个困境。

关键在于自我克制（self-restraint）。那个古老的护栏机制——"法律"——告诉我们，自我克制可以用来避免护栏的过度干预。它是防止"太多"或"太少"语境意识的一种方式。当我们寻找能够帮助我们应对日益不连续的世界之现实的下一代护栏方案时，法律——凭借其深厚的自我克制工具与技术储备——可以成为灵感的源泉。

但当我们试图根据不断变化的语境来设计有效的护栏时，能给我们启发的不仅仅是工具和技术的丰富性。还有这些机制在"法律"这一护栏体系内部的定位方式。归根结底，真正强大的是这种内置机制的多样性与分布性的结合。它们合力迫使并帮助我们在一切引导人类行动的尝试中不断趋向一种动态平衡。最优点始终是一个永远无法抵达的移动靶标，这不是缺陷，而是特性。它使我们能够以创新的方式应对决策语境中看似永无止境的艰难挑战。正如下一章将要展示的，正是这种在文明进程中积累起来的多样性，在应对数字时代即将到来的一些最为棘手的挑战时，为我们带来了希望。

08 第8章：范围

Range

第八章：范围（Range）

护栏是边界。它们划定了一个空间，让我们能够在这个空间里依据自己的决定生活，追求自己的希望和梦想。日常生活经验可能会让我们觉得护栏是一成不变的——在某些情况下确实如此，字面意义上的"石铸铁浇"。我们本能地会联想到高速公路两侧那种刚硬的钢制护栏，它们的作用是通过将车辆弹回路面并使其减速来减轻碰撞的严重程度。这些钢制护栏的设计标准是承受一万磅重物以四英里时速的冲击。

我们在本书中讨论的那些隐喻意义上的护栏——并非钢材所制，而是由软件开发者或律师在头脑中构建的——通常也被认为是不可变的。你有没有试过改变电脑的工作方式？除非你是程序员，否则几乎不可能。同样，当一个人因超速被警察拦下时，辩称限速只是一个灵活的数字——成功的概率也相当低。

但正如我们提到过的其他案例一样，现实远比这复杂。例如，不同类型的公路上使用的是不同类型的护栏系统；这些系统可以排列在一个从刚性（混凝土屏障）到半刚性（梁式护栏）再到相当灵活（缆索护栏）的光谱上。在计算机代码的整体设计中，适应性（adaptability）也是一个重要的设计特征。在软件开发领域，程序和界面越来越多地被设计为能够响应不同的场景和用户偏好。试着在笔记本电脑和手机上分别打开你最喜欢的新闻网站，就能体验到自适应设计（adaptive design）的魔力。

法律护栏也比人们通常认为的更加灵活——这不仅仅是指热门电视剧中那些可疑的律师如何在法庭上为客户"扭曲规则"。几十年来，法律理论家已经根据规范护栏的弹性程度对其进行了类型区分。规则（rules）、标准（standards）或原则（principles），这些标签所代表的边界，在引导人类行为方面具有不同的灵活程度。

摆在我们面前的机遇是：接受这样一个事实——我们可以主动塑造那些引导我们决策和生活的护栏的设计，无论是钢制的、编程实现的，还是像法律那样源于社会互动的。在前面的章节中，我们已经论证了为什么聚焦于未来护栏系统的设计原则如此重要和紧迫。如果我们关于以下判断是准确的——作为个体和群体，我们必须在一个日益复杂且充满不连续性的世界中做出决策——那么我们就应该认真思考，在未来数十年里，是什么为决策设定了边界。

我们已经论证，护栏的设计原则可以超越狭隘性、刚性和可预测性。我们主张，护栏可以被配置为在人类决策中开辟多元路径，途径是丰富激发人类决策的信息多样性。我们提出，随着我们的决策场景开始在数字空间中发生转变，社会将从拥抱和支持决策变异性（decisional variability）的护栏中获益——决策变异性是一种固有的人类能力，它提醒我们不要为了效率而过快地将决策权委托给机器。我们主张，护栏可以使决策默认可逆，而不是一成不变——或者说，不是铸在区块链上。我们这个时代面临的重大挑战——从气候变化到公共卫生再到社会正义——所带来的不连续性，将要求我们更频繁地修正方向，而护栏的设计就需要允许这种可塑性（plasticity）。多样性、变异性和可塑性并不是对狭隘性、刚性和不可变性的替代。它们以简洁而有力的方式，捕捉了一个广阔的光谱——在我们时代挑战的背景下，适配目的的护栏所拥有的解决方案空间。

从解决方案空间中选择合适的护栏是一项挑战，但我们确定了三条设计原则可以提供帮助：个体赋能（individual empowerment）、社会锚定（anchorage in the social）和促进学习（facilitation of learning）。接着，在上一章中，我们提出，任何旨在改善不连续性时代人类决策的护栏体系，都需要意识到自身的局限性，并纳入约束自身影响力的机制。只有既灵活又内置了约束自身权力机制的护栏，才能够在长期内保障人类的繁荣发展。

我们的提议旨在作为更广泛讨论的起点。人类决策的现实是多面的、往往也是混乱的，塑造和引导决策的机制、流程和制度也是如此。面对不断增长的挑战清单和持续演变的决策环境，不存在一种万能的护栏能够神奇地将我们期望的所有品质集于一身。我们不应寄望于一根魔杖——也许是某种技术魔杖——来解决一切。相反，我们需要接受——不，是拥抱——多种多样的护栏模式和系统：用比喻来说，更像是热带雨林，而非英式草坪。

好消息是，我们不需要从零开始——可以在过去的经验和现有基础上构建。我们对护栏特征的讨论已经为我们指明了一个深厚的文化资源库，其中蕴含着可用于构建下一代决策框架的各种机制和技术。前面章节中的故事既突出了那些内在具有社会性的元素，也突出了那些高度技术性的元素，它们可以被组合、混搭和融合，以承载个体赋能、社会联结、学习与演进的能力以及自我约束等品质。今天引导我们个人和集体决策的某些护栏，已经包含了我们为未来世界所提出的部分品质。我们的任务是在设计面向未来的护栏以及使其得以运行的流程和制度时，识别并放大这些品质。

本章聚焦于灵活护栏及其运行化（operationalization）这一主题，重点展示一系列模型和实验，以揭示现有机制的广度和深度。本章呈现了来自不同领域和地区的四个案例研究，揭示了设计、实施和运行创新型护栏的一些实践面向。在此过程中，我们将讨论护栏构建这门"艺术与科学"的成败得失。这些经验有助于我们充实迭代式、自适应和灵活的护栏构建理念，并展示它们如何在人类决策的情境中付诸实践。

如前所述，没有任何护栏是完美的——能够以理想的方式兼具所有可取品质。与前面章节中的故事一样，本章的每个案例研究都体现了我们所关注的品质的特定组合。从设计的角度来看，我们认为护栏系统的这种混合特性是一种优势。它让我们得以感知护栏在落地运行时的灵活程度。同时，它也揭示了在回应不同场景和人类决策引导需求方面，存在着丰富多样的方法。总体而言，以下案例研究提供了一个从过去经验中学习的机会，同时也邀请我们运用想象力，在面对未来不断变化的决策问题时，找到可行的应对方案。

进阶式安全

2022年俄罗斯入侵乌克兰，其序幕在网络空间拉开——比第一批武装力量越过边境、坦克和平民伤亡的画面开始充斥全球社交媒体动态早了数周。二月中旬，美国负责网络和新兴技术的副国家安全顾问安妮·纽伯格（Anne Neuberger）在白宫新闻发布会上登台发言。她警告说，针对乌克兰主要银行和政府的大规模、广泛网络攻击，可能为伴随入侵乌克兰主权领土而来的更具破坏性的网络攻击铺平道路。

事后看来，纽伯格的发言引人注目之处不仅在于她的预测是正确的，更在于一位美国高级安全官员几乎在实时向公众通报了网络攻击的细节及其俄罗斯来源。纽伯格此前曾在以高度保密著称的国家安全局（NSA）担任高级官员。她的新闻发布会代表了乌克兰战争前夕一个引人注目的转变：各情报机构收集的信息开始比以往更加公开地被分享——在开放的麦克风前，有据可查。

同样不寻常的是，美国官员及其英国和乌克兰同行公开归因（attribute）这些网络攻击的速度。尽管有关情报收集过程的许多细节仍然保密，但围绕新闻发布会的事件清楚地表明，多个国家安全机构、私营网络安全公司以及地方和国际网络都参与了对攻击的记录和分析。信息流动网络中的一个重要节点是一个敏捷的组织——乌克兰计算机应急响应团队（CERT，Computer Emergency Response Team）。在纽伯格举行新闻发布会时——距事件发生仅几十个小时——乌克兰CERT就发布了基于多种来源收集信息的详细技术分析。得益于不同行为者之间在幕后和台前的快速协调，得以部署有效的网络防御措施，保护了国家关键基础设施免受严重损害。

这些事件表明，信息共享和协调行动对于实现快速、理性且有效的威胁应对决策至关重要——而且不仅仅是在战争时期。网络安全要求持续识别已知和未知威胁，并能够迅速动员响应以遏制和消除威胁。

不幸的是，网络安全是一个棘手的"邪恶问题"（wicked problem），短期内无法解决。这一挑战是根本性的，与互联网的一种"先天缺陷"有关。简而言之，互联网的发明者没有预见到它会成为全球互联社会的技术骨干，被用来存储从个人信息到企业机密再到国家资产的一切数据。这意味着他们没有预见到在设计互联网时需要将网络安全需求纳入考量。底层系统在结构上就存在技术安全漏洞——尽管人类往往是最薄弱的环节（信不信由你，"password"这个词至今仍是最常见的十个密码之一！）。

鉴于互联网的安全性并没有被写入其基因，想要使其坚不可摧地抵御俄罗斯对乌克兰发动的那种攻击——以及其他许多攻击，虽然俄罗斯黑客既臭名昭著又极为高超——一直是一项不可能完成的任务。随着网络安全从一个小众议题演变为世界上最强大国家的首要安全优先事项之一，各国社会一直在试图找到通往更安全互联网的路径。寄望于市场力量来解决这一挑战的希望始终未能实现，正如许多公共物品挑战（如清洁空气或水）一样。网络安全政策也没有太大帮助，因为它主要依赖以刑法形式出现的威慑性护栏——而当攻击者极难识别且往往身处另一个国家时，这种威慑几乎无法执行。

这一挑战因我们称之为互联网的社会技术系统的复杂性而进一步放大。互联网具有分布式特征和全球覆盖范围，将数十亿个人、组织甚至婴儿监视器和汽车等物品连接在一起——每一个都可能产生影响整个系统安全的脆弱性。这构成了一个几乎无法逾越的集体行动问题，尤其是在需要快速响应的情况下。对于网络安全挑战，不存在简单的答案——也许除了拔掉互联网的插头，但这当然是行不通的。

一些最有效的网络安全努力并没有试图创建一个统一的国内或国际法律框架，或一套普遍接受的护栏。相反，它们采用了乌克兰事件中所展示的那种网络化信息共享和协调机制，以促进通过信息、实验和相互学习来演化出合适的护栏。乌克兰的CERT——这个旨在通过公共和私营部门之间的信息共享和协调来应对网络安全事件、威胁和漏洞的机构——就是一个典型案例。

这类协调中心的第一个工作原型于1988年在美国启动，当时莫里斯蠕虫（Morris worm）瘫痪了百分之十的互联网。CERT的最初版本由美国国防部资助的卡内基梅隆大学软件工程研究所托管，并得到了国防高级研究计划局（DARPA）的支持。它的设计目标是在安全事件发生时，充当所有互联网用户计算机安全关切的汇集点。在实践中，任何遇到安全问题的人都可以拨打CERT热线，了解发生了什么并弄清楚如何处理。

莫里斯蠕虫只是一个开始。网络安全事件——从简单的密码破解到更复杂的攻击，如分布式拒绝服务攻击（DDoS）——变得越来越普遍。CERT最初采取的是被动响应的方式，帮助用户在事后处理问题。但还需要其他手段来在风险变成现实之前更好地管理它们。通过与来自产业界、政府和学术界的合作伙伴在响应管理和协调方面的合作，CERT决定扩展其使命，将主动预防措施纳入其活动范围。它开始传播有关威胁和漏洞的信息，帮助用户做出更好的自我保护决策。它还开始以推荐实践的形式发布自己的护栏，以降低遭受攻击的可能性。

这一创新模式被证明既取得了即时的成功，也产生了持久的影响。虽然美国国家CERT现在是国土安全部的一个分支机构，但全球协调中心仍然是卡内基梅隆大学（CMU）的一部分，两者密切合作。在国际上，它启发并推动了世界各地类似协调中心的建立，目前包括乌克兰在内的五十多个国家都在运行各自版本的国家CERT。卡内基梅隆中心还作为国际枢纽，在这些组织和类似项目之间分享最佳实践，在不断变化的威胁环境中制定标准和起草政策。用本书的术语来说，CERT网络的职责就是促进和推动适应性护栏，以增强网络安全领域的决策能力。

这种网络化的能力建设方法——以应对日益复杂的网络攻击——激励了国内外大型企业建立内部网络安全团队，其中一些也使用CERT的缩写。公司级团队通常与国家CERT相连接，经常被用作收集事件信息的来源以及在遭受攻击时分享警报和最佳防御实践的联络点。

日益密集和相互关联的网络安全单元网络还包括行业主导的信息共享平台，如迈克菲（McAfee）的网络威胁联盟（Cyber Threat Alliance）或Meta的威胁交换平台（ThreatExchange），以及为应对新出现的威胁而临时组建的技术小组。这些小组汇集了来自企业、反病毒厂商、域名注册机构和学术界的专家，以应对蠕虫和僵尸网络等威胁。例如，在2000年代末，一种名为"Conficker"的恶意软件控制了数百万台计算机并威胁到关键基础设施时，来自这些松散连接网络的一群非正式的网络安全专家——后来被称为Conficker工作组——走到了一起，以一种被描述为史无前例的协调与协作行动，促使各方迅速做出决定，阻止受感染的计算机连接其他设备并造成更大损害。

尽管有这些成功案例，分布式CERT模式——连接着许多缩写各异的地方和国际机构——并不完美。学者们批评了数据共享标准的缺失，这导致了跨地域和跨时间的数据一致性和可靠性问题。还有人指出，这些实体在共享数据时缺乏对隐私风险的关注。这些批评表明，在实施层面还有大量工作需要完成。

然而，从护栏的概念视角出发，我们认为CERT模式在全球治理方面有很多值得借鉴之处。它不是一个自上而下强加的外部制度，而是深深嵌入社会现实和实践之中。并不存在一个试图谈判全球网络安全条约的世界网络安全机构。相反，这一护栏模式结合了第六章讨论的解决方案空间中的多条设计原则，包括以分布式方式汇集公共和私营部门的多元社会行为者，从而使护栏植根于社会。

由CERT引导的这些协作动态所产生的指导、最佳实践和其他资源，旨在赋能个体做出更好的网络安全决策——无论是预防还是应对特定的威胁或事件。虽然大多数决策和行动最终由网络的分布式节点来执行，但护栏将这些干预措施编织在一起，使网络韧性（cyber resilience）成为一项共享的社会目标，以协调一致的方式推进。CERT模式也是学习精神的体现。从莫里斯蠕虫到乌克兰战争，CERT不断从新威胁中学习，最重要的是相互学习。正如纽伯格的新闻发布会所展示的那样，所学到的信息被广泛而迅速地共享。

总而言之，驱动CERT模式的设计原则提供了灵感的来源。它们展示了自适应和学习型方法如何能够在全球范围内多元行为者之间建立大致一致，并实现快速信息共享，以支持分布式但协调一致的决策来应对我们时代的全球性挑战。遵循这些原则不仅在在线世界中可以成功，正如下面的案例所展示的。

管控流动

"西非：加纳和布基纳法索讨论能源危机"——1998年3月发表在AllAfrica新闻门户网站上的一篇文章如此标题。该文对两个邻国高级政府官员之间的会议进行了简要报道。从各方面来看，这个不起眼的标题低估了问题的严重程度。沃尔特河（Volta River）的水位已降至历史新低，影响了水力发电，引发了加纳的电力短缺。这导致了加纳与布基纳法索之间的严重争端，引起了主要国际组织的关注。

世世代代以来，沃尔特河流域一直是生活在加纳、布基纳法索和其他四个国家的数百万人的生命线，其中包括世界上一些最贫困的人群。自远古时代起，该地区的居民就从河流及其淡水生态系统中获益，包括鱼类、饮用水、农业灌溉用水，以及用作燃料和建筑木材的木材。20世纪90年代，情况开始急剧变化，多年来的人口增长和经济活动增加导致了河流资源的过度开发。除此之外，气候变化使沃尔特河流域因气温升高和降雨模式的巨大变化而处于危急状态。

沃尔特河流域面临的巨大发展挑战已经为人所知数十年，协同应对气候变化带来的严峻威胁的必要性也是如此。但由于地方政治、国家间竞争以及一些最贫穷国家能力不足的混合因素，结果恰恰相反。邻国之间非但没有合作管理共享的自然资源，反而陷入了一场最大化利用这些资源的竞赛。对两千多万人造成的生态和社会经济后果是灾难性的。

但1998年导致加纳和布基纳法索政府官员举行紧急外交会议的这场自然灾害，至少有一个积极面。它清楚地表明，必须有所改变，而且要快。正如加纳总统J. J. 罗林斯（J. J. Rawlings）在会议上所说："分而治之的老路必须停止。冷战的遗产必须让位于真正的合作。"合作当然好，但怎么合作？

通向加强合作的道路远非一帆风顺。除了多年河流资源竞争造成的愤怒和沮丧之外，两国还背负着殖民历史的包袱——法国和英国的治理体制遗留问题打乱了本土结构，导致两国在水资源管理规则上存在分歧。两国都没有一个统一的水资源管理机构。相反，多个政府机构在使用水资源时，彼此之间没有明确的角色、责任或协调流程——更不用说与其他国家的机构了。一片混乱。在缺乏统一国家框架的情况下，制定一个协调一致的跨国方案无异于一项艰巨的工程。

一个国际非政府组织联盟为克服这种碎片化状况提供了重要的推动力。它们倡导在沃尔特河流域推行一套基于"水资源综合管理"（IWRM，Integrated Water Resources Management）方法的护栏体系。这不是一个统一的概念：它允许不同的解读——从社会和学习的角度来看，这恰恰是一个优势。一种特别有影响力的IWRM方法由全球水伙伴关系组织（Global Water Partnership）开发，围绕四个目标展开：一种整体性、参与性、包容性和价值导向的水资源管理方法。这一框架有助于解决1998年灾害之后两个最紧迫的挑战：对更多协调的迫切需求和对更好决策的迫切需求。

IWRM方法提供了一个合作模型，以流程模板的形式给出了具体的实施指导，强调利益相关方参与，并提供了一套管理工具"工具箱"。这是文献中所谓的"多利益相关方模型"（multistakeholder model）的一个体现（事实上，它经常被作为该领域的案例研究）。这一框架不仅停留在理论层面，它在实践中发挥了作用。它使得加纳和布基纳法索国内此前各自为政的行为者得以协调行动。更重要的是，它为跨境水资源合作奠定了基础。秉承这一框架的精神，并在国际组织和捐助组织的支持下，加纳和布基纳法索签署了一份联合声明，两国在声明中承认了共同的环境和水资源问题，并表示愿意在共享水资源的综合管理方面开展合作。

改善合作努力中的一个重要里程碑是一个名为PAGEV（沃尔特河流域水资源治理改善项目，Projet d'Amélioration de la Gouvernance de l'Eau dans le bassin de la Volta）的联合项目，在加纳能源危机数年之后启动，得到了国际自然保护联盟（International Union for

自然保护区与水资源治理项目。PAGEV旨在为水资源治理中的协商与协调建立制度能力。通过将广泛的利益相关方——从基层委员会和村庄到国家机构和委员会——纳入其中，它帮助将综合水资源管理方法中的多层级、参与式决策过程付诸实践。16

由此，它改变了数以万计的人的命运。通过将来自不同背景的多元行动者汇聚在一起，它打通了多方向的信息流，帮助决策者做出更好、更充分知情的选择。17它将数十年来在应对资源匮乏方面积累了丰富经验的社区联合起来。通过增强信息多样性，它强化了决策可变性，使得在快速变化的环境条件下能够进行更加迭代和灵活的决策。

综合水资源管理方法为加纳、布基纳法索以及其他沃尔特河流域国家提供了一个高层次的蓝图，指导它们以公平的方式管理水资源、增进经济和社会福利，同时不损害生态系统的可持续性。18随着合作和信息交流日益深入，加纳和布基纳法索达成了越来越多、越来越精细的护栏规则。

《沃尔特河流域水资源可持续与公平管理行为准则》勾勒了一个涵盖环境流量、综合战略、法律与政策协调、良好环境实践以及迈向多边公约等领域的决策与行动框架。它还规定了国际援助和冲突解决机制，以应对可能出现的争端，包括外交谈判。19

这些护栏为多元利益相关方群体提供了基础，使他们能够汇聚一堂、分享信息和知识，并在追求共同目标的过程中通过迭代方式做出艰难的决策。尽管并非没有缺陷，综合水资源管理方法已成为当今世界水资源管理的主导模式。多年来，国际组织和独立研究者对沃尔特河流域复杂的多方利益相关参与方式进行了评估，总结出关于情境感知型护栏体系的关键作用的深刻教训——它如何以协作方式跨越边界、组织和个体利益相关方，和平地管理复杂挑战。

从护栏解决方案空间的角度来看，这些努力再次说明了决策赋权、社会锚定和相互学习在应对复杂而紧迫的治理挑战时如何相辅相成。对多方利益相关参与过程的重视有助于将倡议嵌入社会，将受治理挑战影响的各类行动者连接起来。这反过来又促进了学习，尤其是从各地方社区数十年经验中的学习。它提供了又一个现实世界的例证，展示了前几章所提出的护栏设计如何帮助应对那种生死攸关的治理挑战——不幸的是，随着气候危机的加深，这些挑战预计只会愈演愈烈。

化圆为方

当美国科技公司雅虎（Yahoo!）在2021年为其中国业务钉上最后一颗棺材钉时，没有人感到意外。由于其核心服务被封禁多年，北京办事处自2015年就已关闭，这一决定在很大程度上是象征性的。20雅虎于1999年进入中国市场，当时该公司正主导着早期互联网，提供包括电子邮件和即时通讯在内的一系列服务。从一开始，其业务就在与快速增长的本土竞争者的较量中举步维艰。雅虎的美国高管认识到需要一支本地管理团队来驾驭棘手的中国水域，并开始建立本地合作伙伴关系。与当时一些其他美国科技公司不同，雅虎很早就决定对中国政府采取妥协姿态，并承诺在中国对其服务进行自我审查。

虽然这在商业层面取得了一些进展，但当该公司被曝向中国政府交出了本地作家、记者和人权活动人士师涛的身份信息后，形势急转直下。如前所述，师涛使用雅虎邮箱向海外一个民主网站发送了一封邮件，泄露了一份官方文件——该文件要求记者不得报道即将到来的天安门事件周年纪念。

一家美国公司直接参与逮捕中国民主活动人士的事件，在美国引发了强烈反弹。雅虎美国总部的高管在国会委员会的听证会上受到了严厉质询。21人们感到愤怒的是，雅虎为了在中国赚钱，违反了美国核心的公平与正义价值观。雅虎面临着两套截然不同的护栏的碰撞：一个是全球最大、增长最快经济体之一的当地法律，另一个是美国和国际人权法所保护的基本权利。在没有明显中间地带的情况下，公司不得不选择遵循哪一套规则。

对雅虎和其他西方公司"解决"这一道德困境的方式深感不安的一些美国政治家认为，回归正轨的最佳方式是叠加新的护栏。《全球网络自由法案》（Global Online Freedom Act，简称GOFA）于2006年被提交国会。22该法案威胁要禁止任何美国企业与互联网管制国家的官员合作以实施潜在的网络内容审查。这将使雅虎、谷歌或脸书等科技公司无法在中国运营。该法案汇集了一个看似不太可能的联盟，在国会获得了势头，但在业界和学术界引发了质疑，后者认为这是一种极其缺乏灵活性的护栏。该法案与其说是健全的政策制定，不如说更像是一种政治行为——而作为政治行为，它发挥了很好的作用：它给全球科技公司的董事会施加了压力，促使他们采取行动。

面对公关灾难和立法威胁，一小群公司在2006年初会面，讨论以替代性的、更灵活的方式来处理中美法律冲突以及两套护栏各自代表的价值观这一棘手问题。其中一个想法是创建一套行业行为准则——一种比拟议中的新法律更加灵活和自下而上的护栏类型。公司们同意值得一试，他们的高管决定与学术界和公民社会中一直参与类似讨论的人士合作，寻求帮助。

创建一套行业范围的护栏远非易事。激烈竞争的公司的代表们——彼此指责对方造成了公关噩梦——突然发现自己坐在旧金山的一张会议桌旁。他们的任务是在涉及与世界上最强大的一些压制性政权打交道的难题上找到共识。公司应该在何时以及如何挑战当地护栏的适用？在什么情况下，通过不提供某些产品和服务来避免冲突更为妥当？透明度和问责机制又该如何设计？随后，这个群体还需要与长期的批评者和人权活动人士建立信任，使他们认同对这些问题的解答。

在重重困难之下，经过两年多的激烈商议，多元利益相关方群体就一条前进道路达成共识，由此诞生了如今被称为"全球网络倡议"（Global Network Initiative，简称GNI）的组织。23在某个层面上，GNI是一套精巧的护栏体系，帮助公司在面对政府要求交出用户数据、删除内容或限制信息流的压力时，就网络隐私和言论自由做出艰难的选择。GNI框架由一组核心原则、实施指南和独立评估框架组成。例如，隐私方面的护栏要求参与公司保护用户免受不符合国际公认法律和标准的政府要求的侵害——这本可以阻止雅虎将师涛送进监狱。在力求为任何特定时刻提供决策指导的同时，GNI框架的起草者也认识到护栏需要随时间而调整适应：因此，实施指南会定期进行审查和修订，其明确目标是从实际经验中学习、适应不断变化的形势，并纳入多元利益相关方的反馈。

在实践中，GNI关于负责任企业决策的规范要求公司董事会、高级管理人员和其他关键决策者充分了解GNI框架所规定的护栏及推进这些护栏的最佳方式。换言之，这些护栏旨在增强通往高管决策的信息多样性。它们要求高管在进入人权受到损害的市场之前，思考对用户、员工和其他利益相关方的风险和潜在危害——而不仅仅是财务和商业考量。在某些情况下，这可能意味着不进入一个利润丰厚的市场。在另一些情况下，这可能意味着退出——正如雅虎在中国所做的那样。该框架承认，在具有挑战性的商业环境中开展业务没有"一刀切"的方法，这体现了一种自我克制。

引发这一倡议的困境在今天依然至关重要，因为世界各地的政府继续制定与国际人权相冲突的法律。尽管GNI在引导企业行为方面的成效仍有争议——考虑到许多科技公司的参差表现——但熟悉参与公司内部运作的业内人士证实，GNI护栏在过去十年中确实影响了企业高管的决策。GNI也已成为公司、政府和国际组织之间相互学习的可信赖平台，这些参与者共同致力于支持表达自由和隐私权。24

通过连接多元行动者群体以分享经验、应对道德困境和讨论开放性问题——往往近乎实时——GNI影响着可能波及数十亿人生活的决策。在数字化网络世界中连接人们，也是本章最后一个案例研究的主题。

有一个页面专门讲这个

披头士乐队（Beatles）词条约有23000个单词和470条脚注，被公认为维基百科社区创建的最优秀文章之一。维基百科社区是一支充满活力的、对外人来说有些难以描述的队伍，约有127000名志愿者定期编辑这一热门在线百科全书的页面。25这篇关于有史以来最畅销音乐组合的文章的编写过程甚至登上了《华尔街日报》的头条，尽管原因看起来几乎算不上什么新闻。《华尔街日报》文章的标题是："编辑们在'the'还是'The'上不肯放手。"26文章讲述了维基百科编辑们围绕在句子中间提到该乐队时"the"一词应该大写还是小写展开的长达八年的激烈辩论。换句话说，应该是"the Beatles"还是"The Beatles"？

这个问题无法客观回答。披头士乐队的唱片公司、传记作者甚至乐队本身在名称拼写上都不一致。无论是现有证据还是编辑政策，都没有指明对错之分。商标方面的论据略微倾向于大写拼法，而小写则更具可读性。也许正是因为缺乏明确答案，编辑们在文章讨论页上关于"t"与"T"的争论变得如此激烈，以至于一些维基百科用户被禁止参与讨论。此事最终被提交调解程序处理，而调解程序又参考了一项社区投票。根据该程序的历史记录，九十三位在讨论过程中发表意见的编辑支持"the Beatles"，而四十七位编辑倾向于"The Beatles"。这是一个出乎意料的明确裁决，65%的人支持小写的"t"。经过一些小的澄清和附加说明，此案就此了结。27

在一个在线百科全书中如何在句子中间拼写一个词（即使是像——嗯——THE Beatles这样的乐队）这个问题，坦率地说在大局中听起来微不足道。但在这个看似愚蠢的争议背后，隐藏着一个根本性的结构性问题。维基百科是世界上最大的参考网站，拥有超过三百万种语言的五千八百多万篇文章，也是网络上最受欢迎的信息资源之一，每月有超过十七亿独立设备访问。28尤其是年轻人——尽管有老师、家长和其他成年人的警告——将其作为日常首选的虚拟场所来搜集作业信息、了解重大事件、形成政治观点以及为大大小小的人生决策做准备。29

维基百科之所以如此成功——最重要的是，与大英百科全书等优秀但已停印的传统百科全书截然不同——在于它是由业余爱好者协作编写的。30基本上任何能上网的人都可以通过添加文字、参考文献或图片来为维基百科做贡献——除非他们因试图破坏维基百科而被封禁，或者某篇文章的编辑被限制以防止破坏或恶意编辑。正因如此，维基百科的广度无可匹敌。文章通常在事件发生后数分钟内就被添加或更新，而不是等到下一版印刷时才更新。

维基百科最大的优势也是其最大挑战的根源。因为几乎每个人都可以编辑文章，不论其资质如何，所以与由拥有正式资历的学科专家撰写的传统百科全书相比，它更容易受到错误信息、错误和有争议内容的影响。但这一挑战本身就包含了解决方案的种子：有如此多的人一直在使用维基百科，而且参与和修正的门槛如此之低，以至于错误信息和错误能够比大英百科全书式的自上而下的编辑模式更快地得到纠正。维基百科利用众多人的知识来逐步解决质量问题。

这看起来像是一种魔法——但从一开始就很清楚，如果没有指导和监督，这种魔法可能不会发生。在2001年维基百科运营的最初几个月里，如何构建一个任何人都可以贡献的可靠百科全书，就成为一个需要某种护栏的主要治理挑战。维基百科联合创始人吉米·威尔士（Jimbo Wales）在网站上线时就已经提出了几条大胆的原则。"这个社区只有在我们参与者继续做正确的事情时，才能继续生存、呼吸和成长，"威尔士写道。"做正确的事情有很多形式，但也许最核心的是维护我们对中立观点政策的共同愿景，以及一种深思熟虑的、圆通的诚实文化。"31

在威尔士理念的基础上自下而上地发展，维基百科社区此后制定了更为详细的指南——用解决方案空间的术语来说，这是一个真正的社会锚定型护栏体系的体现。目前，其护栏体系包含总计超过两百个页面，按"行为准则"、"内容准则"、"删除准则"、"编辑准则"等类别分组。秉承维基百科的理念，这些政策和指南并非一成不变，而是持续演进并在问题出现时进行调整。对维基百科政策和流程的拟议变更往往会在有限范围内以临时性的实验方式进行试运行——尤其是在共识尚未完全形成的变革方面。32持续的社区参与、实验和以共识为导向的学习相结合，使维基百科成为从我们在第六章讨论的护栏设计角度来看尤为丰富的案例。

过去二十年来，大量研究评估了维基百科文章的可靠性，结论不一。也许不足为奇，考虑到项目的复杂性和广度，结果常常不一致。虽然维基百科可靠性的提升总体上得到了认可，但批评者指出其编辑模式助长了系统性偏见；例如，维基百科的大多数编辑是男性。在世人物传记中的非中立编辑被标记为维基百科尽管已设置了各种护栏、但在信息质量方面仍在挣扎的另一个领域。

维基百科的质量是否真的能与昔日的大英百科全书相提并论，这个问题在某些方面是苹果与橘子的比较。这两类百科全书受到截然不同的愿景、使命和原则的激励和引导。无论我们对维基百科的优点持何种看法（坦率地说：我们是其粉丝和经常使用者），与传统的商业类百科全书不同，维基百科为全球数十亿人提供了令人难以置信的知识财富，进入门槛极低，除上网费用外完全免费。

维基百科是护栏制定理论与实践的一个启发性案例研究。它赋能每一个能上网的人，使其贡献的信息有可能支持数百万用户的决策。在创建、测试和采纳各类指南方面，我们已经强调了社会锚定是其关键设计品质之一。维基百科的护栏诞生于其社区并由社区管理，基于相互学习而演进，并始终考虑共同的使命和基本承诺。

维基百科也是一个自我克制的宝库。其编辑流程包含不少于十种相互重叠的保障机制，从社区层面的管控——通过数以万计的志愿编辑——到精细的编辑小组和争议解决、调解、第三方意见以及面向更广泛社区的意见征求和咨询程序（例如关于"the Beatles"拼写的投票）。这种制衡体系非常清晰地传递了一个信号：没有任何单一个人掌控着这个已成为互联网上最受欢迎的信息来源之一的平台。即使是作为联合创始人有权推翻这套精心设计的编辑监督流程结果的吉米·威尔士，也公开放弃了这一权利，并承诺在仲裁委员会做出裁决时约束自己。33

即使没有其他意义，维基百科也是一个令人敬畏的复杂护栏体系，它拥抱并付诸实践了本书提出的多项原则和设计品质。

从原则到实践

本章的四个故事分别展示了非凡的治理组织，它们在不同的运营模式下将不同的社区汇聚在一起。它们以各自不同的方式开发和部署了各种灵活的护栏，以应对我们时代艰难的治理挑战。综合来看，我们希望它们说明了：将看似抽象的设计原则付诸实践的挑战，可以从多样化的护栏实践中获得灵感。

这些案例研究还展示了我们在第六章中阐述的关键设计原则如何被用来搜索解决方案空间。面对多样化的真实世界治理问题——使互联网更安全、和平分配稀缺资源、在压制性政权国家开展业务或迭代编写可靠的百科全书——人们创建了能够赋能个体和社区做出更好决策的护栏。它们以不同的形式和形态出现，包括协议和运营原则（沃尔特河）、行业标准和框架（GNI）、运营手册、建议和最佳实践（CERT），以及社区驱动的政策和指南（维基百科）。

我们观察到了多种方式，将护栏在社会层面锚定：通过在异质的、有时看似不太可能的合作伙伴群体之间协作开发——政府官员、原住民社区、商业利益相关方和国际非营利组织（沃尔特河）；行业竞争对手、人权活动人士和投资者（GNI）；安全专家、供应商、IT专业人员和政府官员（CERT）；以及专家和业余爱好者（维基百科）。在每一个案例中，这些"规范企业家"都致力于共同开发护栏，以支持良好决策为共同目标。34

最后，在所有案例中，护栏的设计方式都使其能够促进信息交流，并保持相互学习的机会。通过在提供具体决策指导和留出足够调整空间之间取得精心平衡，它们既允许跨时间和跨情境的具体"微调"和修改，也允许根据变化的环境、实践经验和更优知识进行长期演进。沿着类似的思路，自我克制机制不仅能防范权力滥用，还可以被理解为一种对护栏并非绝对、而是向变化开放的承认。

综合来看，仅仅这四个故事中蕴含的丰富的模式、机制和技术——当然还可以补充更多案例——表明，将本书提出的护栏设计原则（以及信息多样性和决策可逆性等常被忽视的护栏品质所提供的灵感）付诸实践不仅是可能的，而且已经以创造力和奉献精神得以实现。在我们寻求创建能够帮助应对未来挑战的新型治理方案时，想象力的匮乏可能是我们需要克服的主要障碍。毕竟，护栏是人造的，而非天然存在的。

本章展示了组织及其社区在设计、实施和运营灵活护栏方面所能发挥的各种作用。下一章的核心问题是：在我们为未来创建护栏的过程中，技术能够且应当扮演什么角色。

09 第9章：机器

Machines

第九章：机器（Machines）

克里斯托·玛丽（Crystal Marie）和埃斯基亚斯·麦克丹尼尔斯（Eskias McDaniels）从未想过，他们决定从洛杉矶搬到北卡罗来纳州夏洛特市的举动会上新闻。他们的计划很简单：申请一笔抵押贷款，在一个好社区以合理的价格买一栋不错的房子，附近还要有供小儿子玩耍的游乐场。

麦克丹尼尔斯一家是好人；他们信守承诺，重视诚实。更重要的是——考虑到如今决定能否获得贷款的不再是主观的人际信任，而是硬数据——他们俩都有体面的工作，各自拿着六位数的薪水，信用评分也非常优秀。果然，当他们申请抵押贷款时，预审资格通过得轻而易举。¹ 他们具备所有应当让购房交易尽可能顺利的资质。

但就在搬家公司预定几天后上门打包洛杉矶家当的时候，麻烦来了。克里斯托·玛丽和埃斯基亚斯接到了一个完全出乎意料的电话，打来的是他们加州抵押贷款公司指派的贷款专员。坏消息。当专员将申请转交给公司内部的承保部门时，申请被拒了。公司用来最终决定是否发放贷款的算法判定麦克丹尼尔斯一家风险过高。是不是出了什么技术故障？专员核查了细节，把申请再次提交——一次又一次——前后提交了十多次，每一次电脑都说不。

问题出在哪里？正如我们在第四章所看到的，要弄清一个算法做出某个决定的确切原因并不总是那么容易。但最可能的解释归结为一个简单的事实：麦克丹尼尔斯一家是黑人。²

麦克丹尼尔斯一家的遭遇是一起抵押贷款歧视案例。他们并不孤单。一项近期针对抵押贷款审批算法的研究发现，贷款机构拒绝黑人申请者的可能性比拒绝具有相似财务特征的白人申请者高出80%。数据还显示，拉丁裔、原住民和亚太裔申请者同样比白人更容易被拒绝。

这种评估抵押贷款中的偏见有着深远的影响。房屋所有权与孩子更好的教育轨迹、更高的公民参与率、更好的医疗健康结果以及社区更低的犯罪率密切相关。数据再清楚不过了：少数族裔家庭的住房拥有率长期偏低，加剧了美国令人震惊的种族贫富差距。

在这个案例以及许多类似案例中，媒体很快将所有责任归咎于机器。他们说，我们交给机器做主的算法做出了糟糕的决定。如果恢复人类决策就好了。但正如现在已经显而易见的，事情没那么简单。此前我们已经论证过，我们部署何种类型的护栏机制——传统型还是技术型——不如这些护栏具备何种品质重要。我们必须抵制这样一种诱惑，即把技术视为可以回避在设计良好护栏时直面棘手问题的捷径。但这又引出了另一个问题：假设我们把设计原则搞对了，技术在社会的护栏工具箱中应当占据什么位置？

这就引出了第二种诱惑。如果良好的护栏本质上是社会性的，而非纯粹技术性的，我们可能会倾向于把技术降格为一个实施层面的问题——一个概念上的事后补充，仅在社会动态运行完毕后扮演辅助角色。但这同样也是错误的。技术并非发生在社会过程之外的东西——它不会突然从天而降；它的设计是社会互动的结果。在创建护栏时，我们必须将技术工具的设计和使用纳入考量因素之中。目标当然是开发出接受并拥抱护栏所占据的社会根基地位的技术工具，并发挥作用促进这一目标的实现。

为了理解将技术融入护栏结构时所涉及的微妙之处，我们首先来看一个大约二十年前建立的引人入胜的护栏实践，然后再回到当今的抵押贷款问题。通过考察两个看似毫不相关的应用领域，我们希望提炼出一些关于技术在创建未来护栏中所扮演角色的跨领域洞见。

创建公地（Commons）

版权法赋予艺术、文学和音乐的创作者对其作品的使用方式和使用者的排他性控制权。但如果创作者不想要这种控制权呢？如果相反，他们希望每个人都能使用他们的作品呢？为此，作品需要成为"公共领域"（public domain）的一部分。当版权保护期到期时，作品会自动进入公共领域，不同司法管辖区和不同类型作品的保护期限各不相同。但有意提前将自己的作品投入公共领域，其难度出人意料地大。

已故歌手兼词曲作者伍迪·格思里（Woody Guthrie）就是一个很好的例子。格思里成为美国民谣音乐的巨人，创作了一千多首歌曲和民谣，在二战前后表达了美国最重大的问题、希望和恐惧。他激励了一代又一代的音乐人和政治活动家，其大部分作品聚焦于美国社会主义和反法西斯主义。格思里相信音乐影响政治的力量，经常弹着一把贴有"这台机器杀死法西斯"标签的吉他进行表演。他希望其他人能尽可能广泛地演唱他的歌曲，传播他的思想。

当洛杉矶广播节目的听众开始索取他录制歌曲的歌词时，格思里清楚地表达了自己的态度。他给粉丝们邮寄了一本小歌本，上面印着这样一段话："这首歌在美国享有版权保护，版权号 #154085，保护期28年。任何未经我们许可就被抓到唱这首歌的人，都会成为我们的好朋友，因为我们根本不在乎。发表它。写它。唱它。随它摇摆。用约德尔唱法唱它。我们写了它，这就是我们想做的全部。"³

然而，尽管格思里竭尽全力，他却无法轻易地将自己的音乐从版权的法律束缚中解放出来。他最著名的歌曲《这片土地是你的土地》（This Land Is Your Land）——写于1940年，至今仍是美国最著名的民谣之一——在他去世数十年后仍不断卷入版权纠纷。例如，在2004年总统竞选期间，一家名为JibJab的公司在一段恶搞视频中使用了这首歌来嘲讽候选人乔治·布什（George Bush）和约翰·克里（John Kerry）。视频在网上疯传，该公司被一家声称拥有该歌曲版权的商业组织告上法庭。为了避免类似的命运，一支摇滚乐队于2016年向法院提起诉讼，请求法院宣告该歌曲不受版权保护，已进入公共领域。⁴

从理论上讲，版权法赋予每位创作者控制其创作作品的权利。这意味着，例如，复制原创作品通常是被禁止的，除非版权持有人授予我们这样做的许可。版权在行使方式上允许一定的灵活性。正如伍迪·格思里所尝试的那样，版权持有人可以决定给予他人广泛使用其作品的许可。他们可以选择保留默认获得的部分权利，同时放弃其他权利。问题在于，历史上一直缺乏一种简便高效的方式来做到这一点并向公众传达。

版权法是一套历经数百年形成的错综复杂的护栏网络。其中几乎没有多少内容是直观的。在前互联网时代，想要更广泛地分享自己作品的艺术家往往不得不花钱请专业律师来应对这一棘手的领域。确定版权保护的范围、界定允许的使用方式，以及拟定能够体现创作者选择的法律语言，在金钱、时间和精力方面都可能代价不菲。这些成本不仅累积在愿意分享作品的创作者身上，也累积在希望使用这些作品的其他人身上。版权法要求——除了一些例外情况，如合理使用（fair use）——任何想要使用作品的人都需要征得版权持有人的同意。提出和批准此类请求所涉及的交易成本，即使双方在理论上完全一致，也对内容共享造成了重大障碍。这些动态的最终结果不仅在个人层面上令人失望，对整个社会也是不利的。阻碍创作者按照自己的偏好管理自己的作品，限制了其他人可以汲取的创意内容的集体储备——而这一储备正是人类繁荣、集体学习和社会发展的核心。

然后互联网和万维网出现了，它们提供了以接近于零的成本在线共享材料的前所未有的机会。在人类历史上，艺术家、教育工作者、研究人员和其他人分享自己的作品从未如此便捷，且具有全球影响力。当今许多最强大的平台——从YouTube到Meta再到TikTok——在很大程度上依赖于像你我这样的用户创造的内容。但这个全球网络的出现也放大了版权法的一些困境。互联网上的几乎一切活动——甚至阅读一段文字——都涉及制作副本，而这很可能以某种方式触发版权法。随着数字技术使人们更容易非法分享受版权保护的作品，威胁到基于内容排他性权利的商业模式，大型企业成功游说加强了版权保护。数字工具促成了新的、类似合同的协议，对信息流动建立了额外的控制——想想服务条款或点击许可协议——以及新的技术措施来阻止人们访问和复制内容。

其结果是，更强大的公共领域的愿景与更多的法律和技术护栏来控制内容之间展开了一场权力斗争。在这场斗争中——我们在第七章关于《数字千年版权法》（DMCA）的讨论中已经简要预览过——一个新的空间向创作者和用户敞开了大门，让他们重新构想如何利用数字技术使现有的版权制度更加灵活。如果能构建一种新型平台，通过大幅降低许可交易成本来强化公共领域，会怎样？回答这个问题的主角是网络法学教授劳伦斯·莱斯格（Lawrence Lessig），我们在本书前面已经认识了他。

莱斯格希望降低将作品投入公共领域所需的努力。⁵ 因此，他与合作者开发了一个网络应用程序，帮助人们做出知情的许可决策，并以最低成本将其选择告知全世界。从技术上看，该应用程序不仅提供了一组标准许可供选择，还自动将所选许可转换为机器可读的形式，帮助搜索引擎和其他应用程序根据使用条款识别作品。使用机器可以理解的语言，使其他互联网用户能够轻松地在线搜索到这些获得许可的材料。⁶ 例如，在谷歌图片搜索栏中点击"工具"，就可以按照不同的使用权对搜索结果进行排序。同样，机器可读的许可使得YouTube用户可以找到那些被授权便于再使用的视频。

最终呈现的是一个巧妙的技术解决方案，它为灵活但笨拙的版权法配备了一个简单易用的界面。而且它奏效了。它降低了创作者将作品贡献给公共领域以及用户使用这些作品所需的努力。因为这项技术做得如此出色，又因为它是系统中外部可见的界面，人们很容易将这个网络应用程序误认为是创意本身——从而将其视为从社会护栏转向技术护栏的一个例证。但这就好比听了一首为新乐器创作的曲子，却认为乐器才是音乐的来源——忽视了作曲家的贡献。

真正的创新不是技术性的。第一步是降低许可的复杂性。回想一下，版权法非常灵活：它给予创作者在拟定许可条款时广泛的自由度。但过多的灵活性会使精确反映创作者意愿的许可条款起草成本变得很高。关键在于提出一套恰当的可选方案，然后将其体现在标准化的许可协议中。莱斯格和他的团队只关注几个突出的维度：作品是否可以被改编和修改；是否可以用于衍生作品，以及是否可以用于商业目的；创作者是否希望被署名。通过这种方式，他们将可想象的许可协议范围最初缩减到仅仅八个选项。他们知道这不会让所有人满意。但他们认为，这足以覆盖大多数创作者希望其作品被自由获取的标准情况。借鉴史蒂夫·乔布斯（Steve Jobs）的做法，他们不想满足所有人，而是为核心受众完善这套方案。

没有这种对大多数人真正重要之事的概念性聚焦，技术应用就不可能实现。解决方案的基础是精心塑造体现在标准许可条款中的护栏。技术工具只是在此基础上，使从许可选项中进行选择变得快速便捷。

但这还不够。莱斯格意识到，要让这个理念起飞，还需要进一步的社会根基。于是他与哈佛大学的学生和研究员合作，成立了一个名为"知识共享"（Creative Commons）的非营利组织。其任务是创建并维护一个由新许可选项的用户和支持者组成的全球社区，将知识共享从一个法律和技术方案转变为一场社会运动。效果非常好。当知识共享于2002年底宣布其服务时，各种组织和意见领袖迅速表示支持。⁷ 不到一年，该组织就拥有了指向新许可的一百万个反向链接；两年后达到了五百万。每个反向链接可能包含许多不同的创作作品，比如维基百科等使用知识共享许可的网站就是如此。⁸

知识共享不仅利用了护栏的理念和网络技术的力量，还为来自不同背景和意识形态的人们创造了一个社会空间，让他们在自由文化、开放教育资源、开放数据和版权改革等问题上形成共同事业。知识共享发展成为一个全球现象——一个由创作者、活动家、学者、图书馆员、学术界人士和兴趣各异的用户组成的充满活力的社区，他们团结一致，共同努力建设一个更强大的公共领域。⁹ 它在全球拥有一百多个附属组织，2019年的一项估计显示，在线使用知识共享许可的作品数量接近二十亿件。¹⁰

知识共享许可在过去二十多年中不断演进，从1.0版发展到当前的4.0版。较新的版本源于与利益相关者——包括来自全球南方（Majority World）的利益相关者——的广泛讨论，倾听各种各样的反馈，以及分析哪些类型的许可对用户最有吸引力的数据。因此，知识共享提供了额外的许可选项，并对一些现有条款进行了调整。例如，在发现超过90%的知识共享用户希望其作品被署名后，署名在2.0版中成为了一个标准功能。¹¹ 同时，4.0版增加了一个新选项，允许在作品的改编版本中省略署名，反映了作者担心自己会被与他们无法控制的改编作品联系在一起的关切。¹²

此外，一些知识共享许可条款根据用户反馈进行了澄清，因为用户认为这些条款过于模糊。随着知识共享发展成为一场全球运动，许可条款也进行了修改，以更明确地处理精神权利（moral rights）的问题——这在欧洲是一个特别强烈的关切。但所有这些体现在许可演进中的迭代学习，并没有稀释或分散知识共享对其最初目标的关注——包括保持简洁。一个恰当的例子是：4.0版旨在仅用六种不同的许可类型覆盖大多数情况，进一步缩小了最初的聚焦范围，而不是让许可选项随着时间的推移而激增。

在发布任何新版本之前，草案都会被传阅和讨论。4.0版是在对四份草案进行公开讨论后产生的，每份草案都吸收了反馈并回应了对前一版草案的批评。知识共享利用技术工具来促进利益相关者之间的社会互动：会议在线举行，博客和讨论存储在知识共享的维基中，同时还有许可演进历程的完整资料库，包括各种要素的对比。维基还包含一个不断增长的案例研究库，展示了知识共享许可在全球各种情境和环境中的使用情况，突显了这一数字工具如何帮助个体创作者做出与更广泛的公共领域社会讨论相关联的许可决策。实际上，知识共享已经成为一个治理系统——一套包含流程、制度以及技术工具在内的护栏。

尽管取得了诸多成功，知识共享仍未能解决建设公共领域的所有更广泛挑战。¹³ 例如，它对版权法的依赖受到了信息自由倡导者的批评，这些人希望限制对创意作品的法律圈占和不断扩大的商品化。虽然它对商业利益压倒性的游说力量提供了一些制衡，但仍未能阻止知识产权在时间推移中的扩张，也没有推动可能在版权所有者和作品使用者之间带来新社会妥协的根本性版权法改革项目。¹⁴

然而，从另一个角度来看，这些批评可以被视为知识共享采取了一种务实的路径，展现了显著的自我克制——刻意避免试图改革整个版权制度，尽管一些批评者恳求他们这样做。正如我们所看到的，它也体现了我们前面列举的设计原则：通过使创作者更容易做出许可选择来赋权个人；将他们的努力扎根于社会过程之中；并确保在各个层面的学习——从创作者（他们可以查阅案例研究和常见问题解答等材料来辅助决策）到知识共享社区（他们积极寻求并利用反馈来指导标准许可的修订）。

就本章的目的而言，我们尤其感兴趣的是知识共享如何对待技术工具。它并没有将这些工具视为对传统护栏形式的否定。但它也没有把技术工具降格为概念上的事后补充——恰恰相反。在每一个方向和每一个层面上，知识共享积极运用技术工具，不仅是为了促进其使命，也是为了强化其护栏的设计原则。他们使用在线协作工具共同创建重要文件和准备修订草案，使用在线沟通工具运营讨论论坛并让广泛的利益相关者社区参与其中。他们运营网络资料库、博客和社交媒体来接触其支持者群体并向他们提供合适的信息。他们还开发了互联网基础设施，从网络应用程序到标准许可标记代码，将人类可读的许可转化为机器可读的许可，使其能够被搜索引擎轻松发现。技术在我们称为知识共享的社会护栏体系中发挥了不可或缺的促进作用。

毫无疑问，伍迪·格思里会成为知识共享的粉丝——无论是作为一个平台还是一场运动。它展示了一种可能性空间：当技术赋能被战略性地嵌入制度和人文语境中，为支持人类自主性而开辟探索与协作的新路径时，这种空间便得以形成。从对技术的规范性视角来看，知识共享不仅仅是一个例证；它完全可以作为一个概念模板，用于指导如何将技术嵌入护栏过程之中。带着这个思路，让我们回到本章开头提出的那个棘手的贷款歧视问题。

是机器的错吗——真是这样吗？

人们向他人放贷的历史由来已久。对借款人和贷款人来说，这始终既是权力的来源，也是风险的暴露。正如莎士比亚告诉我们的那样，不仅仅是威尼斯的商人才要求个人担保人在违约时代为偿还。银行则通过将风险分散到多个当事人来管理风险。但直到二十世纪相当后期，是否批准贷款的决定在很大程度上仍然基于人脉关系和主观标准。

结果自然是充满偏见的。银行经理把贷款发给他们信任的人，而这些人——事实证明——在社会经济背景上与他们自己非常相似。抵押贷款和信贷行业一直在延续社会中既有的等级制度和不平等，固化了广泛存在的歧视。

第二次世界大战后，尤其是在美国和欧洲，对信贷的更大需求要求比人类贷款专员所能提供的更快、更准确、更公平的决策。解决方案是通过更加科学和标准化的"评分卡系统"来加速和客观化贷款决策。与贷款专员对申请人过去行为和未来表现参差不齐且常常带有偏见的评估不同，新系统承诺以一种快速、客观、不看肤色、无歧视的方式来指导贷款决策。它基于对八到十二个具有一定预测价值的变量的分析，为每位申请人生成一个总分。¹⁵ 在十年之内，多种此类评分卡模型进入大众市场并成为

更加通用化。至关重要的是，决策算法开始接入来自全国性信用局的稳定数据流，这使得贷款机构能够在更细粒度的层面上评估信用风险，而无需依赖与特定客户的既往交往经验。

看到这种方式似乎能够——令人鼓舞地——扩大少数族裔和弱势社区获得抵押贷款的机会，美国政府在1960年代和1970年代通过了禁止歧视性贷款评估的法律。《公平住房法》（1968年）和《平等信贷机会法》（1974年）就是此类反歧视法律的典型代表。这些法律旨在禁止的，恰恰是本章开头故事中克里斯特尔·玛丽（Crystal Marie）和埃斯基亚斯·麦克丹尼尔斯（Eskias McDaniels）所经历的那种偏见。^16

与此同时，信用评分也在不断演进。第一个通用信用局风险评分于1989年推出，被广泛称为FICO评分——至今仍是美国消费者风险的标准衡量指标。FICO评分最初是为信用营销和账户审批开发的，五年后才进入抵押贷款领域——当时房利美（Freddie Mac）和房地美（Fannie Mae）这两家由联邦政府设立、旨在促进美国住房所有权的强大抵押贷款公司，建立了要求使用FICO体系的护栏。^17

FICO评分改善了金融行业决策过程的许多方面。^18 遵照法律，它们也没有将种族或性别作为输入变量。但遗憾的是，这并未消除歧视。事实上，对FICO评分的依赖放大了这类信用评分固有的问题。^19 例如，几十年来，它一直偏袒住在"正确"邮编区域的人，进一步固化了美国城市的地理隔离。在目前大多数贷款机构使用的版本中，FICO评分奖励传统信贷——而有色人种获得传统信贷的机会远少于白人。它忽略了房租、手机账单和水电费的按时支付等因素，但会惩罚那些拖欠这些费用的人。即使医疗债务已经偿清，它也会降低评分。它无法捕捉在资源匮乏社区中被视为负责任的财务行为。这样的例子不胜枚举。^20

简而言之，虽然算法本身不能也不会将种族或其他被禁止的分类作为输入，但该模型被认为对少数族裔和弱势借款人是不公平和带有偏见的。毫不意外，一项对住房与抵押贷款歧视研究的元分析显示，1976年至2016年间，贷款拒绝率的种族差距仅有小幅缩小，而抵押贷款成本的差距在大约四十年间完全没有变化。^21

仿佛整个贷款行业建立在它无法摆脱的歧视性决策基础之上——即便它试图改变。研究人员分析了该方法论中潜在的缺陷，并提出了改革建议。^22 FICO背后的公司发布了更新版本的算法，至少解决了部分问题。技术企业家们也推出了据称更不容易产生歧视的替代信用评分系统。^23 但尽管这些努力很有价值，它们并没有触及根本问题：一种天真地相信技术工具——计算出的评分卡——能够作为约束单个贷款机构决策的护栏，从而解决一个深层社会问题的信念。

简单的信用评分系统使用有限数量的变量，其中一些实际上是族裔的代理变量。以反映数百年歧视和边缘化的方式，有色人种的族裔往往体现在他们居住的地方、就读的学校和大学，甚至他们购买的产品上。信用评分可以完全不直接使用族裔作为输入变量，却仍然具有令人震惊的歧视性。罪魁祸首不仅仅是技术。无论我们是否愿意承认，种族歧视是系统性的，深深嵌入美国的社会现实之中。与知识共享组织（Creative Commons）非常相似，信用评分是一个由社会过程、制度和技术工具相互作用构成的护栏体系——而这种相互作用有时会以具有挑战性和出乎意料的方式发生。

选择若干社会人口变量来评估信用状况，你最终会把种族偏见吸纳进来并使其延续下去。要有效对抗此类歧视，需要一套比任何单一技术所能提供的都更为全面的护栏体系。

由于技术已被证明无法"修复"货币借贷中的歧视性决策，要求对现有法律规则进行更强有力、更有针对性执行的呼声日益高涨——包括来自相关机构高级政府官员的呼声。^24 乔·拜登（Joe Biden）总统在任期初期采取了行政措施以加强反歧视住房政策。^25 美国国会议员也在寻找消除金融服务获取障碍的途径，这些障碍已知与种族和族裔相关。^26 这种向社会护栏的回归是很有道理的。我们关于种族、族裔和性别歧视的一切认知都告诉我们，这是一个社会问题，需要一套更全面的护栏体系来解决，而非一块技术创可贴。知识共享组织理解了这一点——这就是为什么他们专注于概念清晰性，并将技术实施与学习性制度框架相结合，而这一切都得益于深深植根于社会结构中的技术。

这并非否定技术的重要角色——恰恰相反。将技术工具视为支持社会护栏的有力方式，而非取代社会护栏的万能药，我们并非在设定不切实际的期望。相反，我们是在将技术定位为全面解决方案这幅拼图中的一个组成部分——尽管是重要的组成部分。

将知识共享组织的模板规范性地应用于货币借贷领域，意味着只有当我们理解了问题在社会机制和结构中的深层根源，才有可能设计出一套社会护栏框架来解决歧视性贷款决策问题。知识共享组织运用技术来促进和增强的，恰恰是其创建者认定为必要的社会护栏体系。对算法偏见的深入审视揭示了如何做到这一点，以改善货币借贷决策——乃至更多领域。

重新审视算法偏见

算法偏见（algorithmic bias）描述的是这样一种情形：系统性和可重复的错误导致输出结果在没有正当理由的情况下，使某些个人或群体比其他个人或群体获益更多或受损更多。偏见本质上源于人类，当然在数字技术兴起之前就早已存在于社会之中——但无处不在的个人数据和前所未有的处理能力使这一问题急剧恶化。在传统算法中，偏见是硬编码的——因此往往是刻意为之的，而且至少在原则上是透明的。然而，正如我们在第四章中所解释的，现代算法通常是机器学习从海量训练数据中得出的结果。这种算法偏见要么反映了训练数据中已有的偏见，要么源于机器学习工具的错误配置或误用，或者两者兼有。其隐蔽性使得极难被检测到。

算法偏见的潜在危险影响深远。新闻头条关注的是容易理解的案例，从学校招生到求职招聘再到抵押贷款申请——正如麦克丹尼尔斯的遭遇。但越来越多的实证研究发现，在搜索引擎结果、社交媒体、选举结果、自然语言处理、人脸识别软件、刑事司法系统中的风险评估工具以及医疗保健工具等众多领域中，基于性别、种族、族裔和宗教等因素的显著偏见广泛存在。由于这些技术系统深刻影响着数百万人的生活，克服算法偏见至关重要。

这从根本上也极具挑战性——无论是在任何特定算法环境中识别偏见的具体性质，还是选择适当的措施加以纠正。虽然学习方法的选择也受到审查，但最初的焦点集中在训练数据的选择上。数据可能存在采集不当、过滤和约束错误，或者建立在错误的人为决策之上，但在某种程度上它代表了对现实——尤其是社会现实——的反映。识别数据中的问题与其说是一项纯技术任务，不如说是一项认知性、概念性和社会性的任务。它需要人类的思考和社会的审议。

一旦偏见的成因被识别出来，纠正算法偏见同样如此。训练数据可以通过注入来自不同来源的数据，或通过刻意修改使其变得"无偏见"来加以修正。在某种程度上，这是一项数据处理和操控的技术任务。但它涉及对目标和约束条件的选择，并且要求我们认识到这些选择在概念层面的后果。重要的决策在于看清数据反映了什么，以及理解它们之间是如何相互关联的。

我们发现自己需要一套健全的社会护栏来指导如何设计和实施从数据中学习的算法：从收集什么样的数据、数据与我们想要捕捉的现象之间的关系，以及我们想要避免的特征，到数据如何被理解、清洗、约束（哪些数据点被省略）并为机器学习做准备，再到我们如何测试最终算法的有效性。正如知识共享组织选择解决的根源问题——共享创意作品的智力空间的萎缩——偏见的算法反映了一个更大、更深层、更系统性的问题，需要更广泛的社会回应来解决。运用知识共享组织的模板，如果运用得当，技术可以成为全面解决方案中不可或缺的组成部分。以下是具体做法。

纠正的技术手段

由于数据训练的AI系统是一个黑箱，一开始无法确定其决策是否带有偏见。要了解真相，我们需要窥探内部。但我们无法轻易直接做到这一点。这正是技术工具发挥作用的地方。它们可以帮助我们解释AI系统的行为，即使我们无法完全揭开对系统确切内部运作机制的无知面纱。即使这些系统仍然是"黑箱"，我们仍然可以获得足够的洞察来判断它们是否可能存在偏见。

这些技术工具使我们能够评估和测试数据训练的算法。它是算法时代的显微镜或望远镜——让我们"看到"原本看不到的东西。事实证明，我们不仅可以利用这些工具来诊断问题，还可以通过减少或消除我们识别出的部分偏见来帮助解决问题。

过去几年里，计算机科学家开发了实现这些目标的技术策略。一些策略聚焦于训练数据中的"公平表征"（fair representation）。另一些则利用机器学习工具，通过对不理想的模型属性施加惩罚来"正则化"模型构建过程。^27 更进一步，牛津大学的一个研究团队提出了使用"反事实"（counterfactuals）来帮助解释黑箱的内部运作。^28 通过探索输入数据的哪些变化会导致不同的结果，我们可以开始理解应当采取的行动路径，在无需了解系统内部运作的情况下获得能动性和控制权。这与我们关于个人赋权和学习的设计原则高度一致。微软、谷歌和AWS（亚马逊的云计算子公司）等几家大型软件和云计算提供商已经引入了整合这种方法的工具。

然而重要的是，这些工具只能在我们选定期望结果之后才能使用，这就把我们带回了关于目标和宗旨的问题，以及辩论和社会锚定的需要。它迫使我们选择自己关心的政策维度。我们可能希望消除所有偏见——即综合训练集中分析结果与事实现实之间的所有差异——但在实践中这不可能实现。可行的是专注于消除特定维度的偏见，比如族裔或性别。选择哪些维度是一个先于技术工具使用的规范性问题。

一种方法是生成合成数据（synthetic data），这些数据准确捕捉实际训练数据中某些选定的维度，但仔细地重新加权其他维度以消除特定偏见——或者可能引入一种期望的偏见。^29 AI系统随后在合成数据上进行训练，永远不会接触到可能敏感的实际训练数据。一些行业消息来源预测，到2020年代末，超过一半的训练数据集将基于此类合成数据生成。^30

还有其他技术工具正在不断涌现，提供帮助识别或减少特定偏见的新方式。但它们都需要支持——而非试图取代——一套社会护栏体系，该体系规范性地定义了我们认为哪些决策偏差是不可接受的。借鉴知识共享组织的示例，我们需要确定适当的护栏来减轻某些偏见，并开发技术工具来实现这一目标——然后频繁评估这些工具是否需要调整以避免意外后果。通过这一策略，技术工具深深嵌入社会过程之中，成为我们所需要的全面护栏体系中不可或缺的组成部分。

知识共享组织和算法偏见的案例共同表明，定义技术角色的关键，与其说是选择某个特定的技术工具或其具体应用方式，不如说是技术工具如何嵌入整体的护栏过程和结构之中。这项任务正在——理所当然地——引起越来越广泛的关注。

定位技术

将技术工具的使用与社会结构和机制联系起来，需要对工具能够和不能实现什么有清醒的认识。它要求对技术与社会结构之间的接口有清晰的定义，包括解决能动性和控制权的问题。它还需要技术工具有足够明确的聚焦点，以交付人们对其的期望。这意味着工具必须被充分理解并被评估为适合其目的。我们同样必须对构成护栏体系的社会结构提出设计和流程的清晰性要求，以及一个运作良好的接口。更具挑战性但也可能更有价值的，是能够进行迭代、适应和学习的社会技术配置——使护栏体系不仅帮助个体决策者改进，还能使体系本身随着经验的积累和情境的明晰而不断演进和发展。

这些必要性使得过程和系统方法渗透到了计算机科学以及实际的软硬件设计之中，促使关注焦点从纯技术问题转向更多处于社会与技术交界处的问题。其中一些方法相对传统，利用流程标准化；另一些则更具创新性，甚至主动寻求科学和技术领域专家的参与。但无论其雄心和原创性如何，各种方法都有一个共同的公开认知：需要理解并在更大的社会系统及其特定品质和需求中精心塑造技术的角色。

我们在识别和对抗AI歧视性偏见的背景下已经看到了这种更具社会技术特征的方法的实例。例如，具有影响力的美国国家标准与技术研究院（NIST）发布了一份路线图，旨在建立一套识别、理解、管理和减少偏见的标准。它全面概述了偏见的不同来源——从系统性和人为偏见到统计性和计算性偏见——并就如何在AI的整个生命周期中（从设计开发到部署）处理这一问题提供了程序性和实践性的指导。NIST的报告强调了人为因素，包括组织内部的社会和历史偏见，以及实施"人在回路"（human-in-the-loop）方法所面临的挑战。NIST不仅提供了一个有助于识别偏见的框架，还列出了可用于应对不同类型偏见的工具和技术，强调一种整体性的、社会技术的方法。^31

领先的科技公司同样创建了测试和减少AI系统偏见的指导方针、清单和框架。一些公司与其他利益相关方建立了合作关系，开发协作平台以帮助客户识别和减轻AI系统中的不公平性。一个例子是由一家专业服务公司与一家大型科技供应商合作开发的交互式网络评估工具，该工具为AI系统创建风险档案和风险评分，以在系统的整个生命周期中捕捉机器学习模型可能存在的公平性问题。^22 初始应用案例包括使用抵押贷款裁决数据进行测试，通过减少困扰麦克丹尼尔斯的那种偏见来改善贷款决策的公平性。^33

工程师们与伦理学家和社会科学家联手建立了帮助他人应对此类问题的组织——即如何将技术嵌入一套可行而有效的护栏体系中的社会维度问题。例如，算法正义联盟（Algorithmic Justice League）由加纳裔美国籍加拿大计算机科学家和数字活动家乔伊·博拉姆维尼（Joy Buolamwini）创立，她在麻省理工学院媒体实验室的研究揭示了流行AI系统中的种族和性别偏见。该组织通过研究、艺术创作、故事讲述和倡导等活动，挑战决策软件中的偏见，强调AI的社会影响——包括其对公民权利和民主构成的威胁——以提高公众意识、塑造政策，并为受影响的个人和社区发声。^34 AI4ALL是另一个广受尊敬的非营利组织，它致力于通过在代表性不足的社区中开展教育和指导来培养多元化和包容性的人才梯队，从而解决AI中的偏见问题。^35 这些努力以及相关的行动表明了我们面前的解决方案——或者更准确地说，机遇——空间。

随着工程师对社会结构的了解日益加深，而社会一方——组织者、政策制定者、社会科学专家、媒体甚至广大公众——对技术工具的角色、运作方式和局限性的理解不断加深，这个机遇空间也在不断扩大和完善。在这个过程中，我们（重新）发现，我们所有人始终都在充当护栏的设计者和守护者。了解更多往往能赋予我们力量，无论是在概念层面还是在实践层面。

当然，我们目前仍处于向更加深思熟虑、更有意识地将技术工具嵌入社会护栏体系转变的早期阶段。还需要更多研究：对依赖关系和因果关系的理解、更优流程的开发、适当制度的建立，以及将适当实践融入组织和社会文化之中。但我们毫不怀疑，只要我们愿意，进步是可能的——而且这正是我们所需要的。在数字前沿如此剧烈推进的当下，前方最大的挑战在概念上和实践中依然并存。当我们寻求接纳和整合AI等日益强大的技术工具，以使未来的护栏更高效、更健全时，至关重要的是清晰界定我们能从这些工具中期望什么——以及不能期望什么。就像设计护栏本身一样，我们需要在整合技术工具时始终牢记自我约束。正如本章中的故事所展示的，技术可以在塑造和运行护栏方面以无数方式提供帮助，只要我们避免用它来"煮沸海洋"，并且对我们要解决的具体问题保持极其清晰和明确的认知。

总结

多年前，在加里曼丹岛（Kalimantan），政府提出了一项忽视当地社区传统权利和惯例的土地使用方案。政府与这些当地社区之间随之展开了谈判。但由于当地社区依据其传统知识来界定地理边界，他们无法在西方笛卡尔坐标地图上用经纬度来划定自己的领土，谈判因此陷入僵局。

随后，非政府组织介入以促进对话，引入了GPS和地理信息系统，将社区对边界的传统知识转化为政府能够理解的信息，反之亦然。通过创建共同的信息基础，这一社会技术干预最终促成了更好的土地使用决策。^36 这再次证明，技术工具不一定非得高度精密复杂才能发挥作用——关键在于要将其巧妙地定位在社会系统之中。

在前面的章节中，我们详细阐述了当技术护栏反映出错误的品质、忽视我们所确定的基本设计原则时，如何产生令人不安的结果。正如我们希望本章阐明的那样，这并不意味着技术工具在护栏的语境中毫无用处——恰恰相反。但技术护栏必须被理解为社会护栏体系中有价值的组成部分，而非替代品。归根结底，所有护栏都是社会建构的，其中一些从嵌入其中的技术工具中获益匪浅。正如最后一章将论述的，我们的任务是确保利用技术工具所提供的能力，并在重新构想未来数十年支持人类决策的护栏时，组织好它们与其他工具的协同作用。

10 第10章：未来

Futures

第十章：未来（Futures）

三十多年前，作家尼尔·斯蒂芬森（Neal Stephenson）在其科幻小说《雪崩》（Snow Crash）中构想了一个完全沉浸式的虚拟世界。他称之为"元宇宙"（Metaverse）。1 如今，数字产业的大半江山都在押注它将成为下一个风口。2022年前五个月，大型科技公司和风险资本向元宇宙投入了超过1200亿美元。有人预测，到2030年它将创造5万亿美元的价值——这相当于全球第三大经济体日本的经济规模。2 目前，元宇宙正处于从快速创新和技术热情向大规模商业化的转折点。如果以往科技创新周期的规律依然成立，接下来将进入一段"无政府"状态，元宇宙的治理结构将悬而未决。3 斯蒂芬森早有预见。在《雪崩》中，他借一位媒体大亨之口说道："看着政府监管者试图跟上世界的步伐，是我最爱的消遣。"4

我们未必买元宇宙的账。但"元宇宙"这个概念作为一个隐喻，指向了一个更具普遍意义的前沿议题：社会仍在以既可预见又具颠覆性的方式持续演进，技术将在这些动态中扮演决定性角色，而新的护栏需求和机遇也将不断涌现。从这个角度看，元宇宙是一个占位符，它迫使我们去回答那些根本性问题——我们对社会未来运行体系的共同愿景是什么？我们希望设置怎样的护栏来引导个体和集体的决策？正如三十年前"赛博空间"（cyberspace）迫使我们思考如何在全球互联空间中实现自我治理一样，元宇宙给了我们又一次机会，去重新构想下一代社会契约中护栏的样貌。5

圣徒的规则

关于如何为元宇宙这类新兴虚拟空间制定护栏，我们能从近代历史和跨领域实践中汲取不少经验——前面各章引用的大量护栏案例便是明证。但若要为想象未来寻求指引，我们不妨回溯得更远。来看看人类历史上最成功的护栏设计者之一：努尔西亚的圣本笃（Saint Benedict of Nursia），他生于公元480年，被后世铭记为西方修道主义的创始人。

用今天的话来说，圣本笃是一位连续创业者——他创建了十几座修道院，并亲自担任院长。对我们的讨论更有意义的是，他起草了一套核心准则，此后一直治理着西方世界修道团体的生活。他凭借多年作为修士和院长的丰富经验，结合对修道生活之美好与风险的深刻洞察，在早期规则的基础上，起草了一套强有力的决策与治理护栏，后世称之为《圣本笃会规》（Rule of St. Benedict）。这套规则在1500多年间持续引导着修道生活——直到今天仍在发挥作用。6 全规由一篇序言和七十三章组成，涵盖了谦卑、沉默、服从等核心修道美德，以及日常生活的种种指引。它对病患照护、宾客接待、新成员招募、外出旅行等事项都有具体规定。但会规成功的秘诀在于：圣本笃拥抱了不确定性。虽然许多规范相当具体，但通过引入大量例外条款、赋予院长充分的裁量权，以及预见到情境变迁的可能，整套规则保持了灵活性。

《圣本笃会规》只是古代众多护栏中的一个——虽然令人印象深刻——它在制定上足够厚实，在应用上足够灵活。在第一章中，我们解释了"薄规则"与"厚规则"的区别：前者缺乏灵活性和解释空间，必须原样接受并按字面执行；后者具有适应性，可以根据具体情境加以调整。7 圣本笃的会规属于后者，而智能合约和算法往往属于前者。我们对世界的模型约束着我们的决策，但它们往往是厚规则，需要情境化和诠释。法律则可以横跨很广的光谱，取决于其表述的抽象或具体程度。但正因为法律需要解释，所有法律都内置了一定的灵活性。正如历史学家所指出的，近几个世纪以来，护栏呈现出趋向薄的、刚性的、具体化的规则的趋势，这与我们在本书中提出的原则背道而驰。8

如前所述，技术可能加剧了这种转向。过去几十年间，信息流动和决策治理问题发生了深刻变异。无论是表层还是更深层的结构性变化，都挑战着互联网时代之前主导我们决策的那些以社会手段为主的护栏的有效性。面对这一真空——再加上包括人工智能（AI）进步在内的一波又一波令人兴奋的技术创新的推动——许多社会开始倾向于从"数字原生工具"中寻找应对新决策挑战的方案。诚然，技术能够在护栏语境中发挥重要作用，也应该如此，正如第九章所讨论的。但在表面之下，从以社会手段为主向日益以技术为中心的护栏的转变，伴随着一个更深层、更令人不安的发展趋势：这些力量把我们拉向一种护栏，它有缩小信息流和决策多样性、加深决策过程中路径依赖的风险。

面对当今最复杂的治理挑战，我们并不主张开历史倒车。但我们认为，有必要抵制那种日益依赖狭隘、刚性和不可更改之护栏的冲动。我们为元宇宙时代所建议的护栏品质，与《圣本笃会规》在过去1500年间成功运行所具备的关键特质一脉相承：多样性、可变性和可塑性。而我们更广泛、更重要的信息是：我们不应只盯着针对某一具体治理问题的狭窄干预手段，尤其是在我们需要构想不同未来、思考如何在其中治理决策的时候。正因如此，我们提出了诸如学习和自我克制这样的整体性设计原则。

诚然，为我们的时代设计护栏是一项艰巨的挑战。但也有好消息。虽然我们面临的治理挑战自圣本笃时代以来已变得更加棘手，但护栏设计的工具箱也随之扩大了。当年为修道院修士的日常生活设置护栏，手段仅限于有限的组织和沟通措施。相比之下，今天我们手边拥有大量精密的社会性、组织性和技术性方法与工具。我们在第六章中将这些资源称为"解决方案空间"（solution spaces），并在第八章和第九章中提供了一系列说明性用例，展示护栏如何涵盖社会性、组织性和技术性等多种手段，通过决策赋能（decisional empowerment）、社会锚定（social anchoring）和学习来解决治理问题。

这些工具可以被使用、定制、调整——更重要的是——在设计和实施以决策为导向的护栏时，它们可以被以新颖的方式排列和组合。例如，在健康等领域处理AI偏见问题时，护栏必须同时回应社会背景和组织实践，并在AI系统全生命周期中考虑最佳可用技术。又如，要应对新兴经济体中的生态可持续性问题，我们需要开发能够利用当地社区知识、释放绿色技术潜力的护栏。再如，处理元宇宙中的互操作性（interoperability）问题时，护栏不应只关注技术和数据层面，还应考虑商业模式、企业政策和知识产权法律。在一种又一种情境中，解决方案空间提供了一个由潜在护栏和工具构成的宇宙，可以用它们来构建和实施护栏——赋能个人和集体，促进学习。

断裂时刻——经验和专业知识突然失效的时刻9——可能对曾经运转良好的护栏构成真正的挑战。近年来的疫情就是一个发人深省的案例。尽管关注全球风险的智库和专家团体多年来一直在警告，大流行病是最大的社会威胁之一，但世界在面对新冠疫情（COVID-19）时仍然措手不及。面对一种前所未知的病毒，决策者几乎没有现成的行动方案可循。那些本应提供决策指引的现有护栏，在当今混乱的全球化现实面前已显得过时，或者建立在被证明站不住脚的假设之上。结果就是：一套不断变化、有时自相矛盾的社交距离、隔离、检疫、疫苗接种、旅行限制等规则的迷宫。

即便是具备我们前述品质的护栏，在面对标志着人类历史重大转折点的决策问题——如新冠疫情或乌克兰战争——时，也可能触及其功能极限。审视当前的全球风险格局——包括气候、全球卫生和地缘政治——我们有理由预期，未来可能经历更多这样剧烈的拐点，而且频率可能加快。虽然一些精心设计的护栏可以在危机时刻发挥作用，并且——正如《圣本笃会规》所示——具有很长的保质期，但在地壳运动般的巨变时刻，另一些护栏则需要彻底检修。在护栏需要大修时，投资于创建系统性的学习和适应能力，与设计具有灵活性、能适应变化环境并纳入新数据和新知识的护栏同等重要。无论是在渐进演化的时刻还是在剧烈变革的时刻，护栏都必须以学习为核心来设计。10

权力问题

既然护栏试图影响他人的决策，它就始终是权力的表达。国王和皇帝、宗教精英和国家，都曾利用护栏来建立和合法化权力——从《圣本笃会规》到新冠疫情中的公共卫生措施。正式法律和社区规范在试图塑造人们行为的同时，也在传递权力。为元宇宙或同等的未来愿景构想游戏规则也是如此。关于标准制定组织角色的讨论——它们不仅制定技术护栏，还制造和摧毁商业模式——充分说明了护栏与权力问题之间的深度交织。

护栏不仅象征权力，它们还重新分配权力。从杂货店的食品标签到住房市场中的反偏见规则，护栏在赋权某些决策者的同时，也在约束另一些人，以实现更大的公共利益。跨越不同文化、大陆和法律传统的丰富法律史中，充满了这样的故事：专横的统治者或许能通过法律行使权力，但他们也会发现，自己制定的法律最终可能反过来制约自身。11 从批判法学（critical legal studies）到后殖民主义（postcolonialism），现代美国法律思想史对法律及其制度和行动者中内嵌和行使的不同权力结构与动态，提供了深入的分析和批判。12 当代网络法（cyberlaw）和平台监管领域的学术研究，则对涉及大型科技公司及其战略性地运用融合了法律与算法控制手段的护栏体系所带来的权力转移，提供了独到的视角。13

简而言之：护栏如何被用作权力工具的叙事，占据了人类历史的一个重要侧面。然而在本书中，我们并未分析这些权力转移。正如我们在第一章所说，我们一直把护栏视为实现目标的手段。我们提出了护栏的品质和设计原则，以使护栏作为手段更加有效，但我们没有深究目的本身，除了强调人类繁荣（human flourishing）的总体重要性。话虽如此，我们对护栏的规范性视角也对护栏所反映的权力问题产生了影响。其中两点尤为值得注意。

第一，我们主张，无论什么权力通过护栏得以表达和重新配置，都必须是有限的、受情境约束的。这内嵌于学习和自我克制的设计原则之中。当护栏试图事无巨细地覆盖一切、缺乏灵活性时，它们就有随着现实演进而丧失价值的风险。相反，通过自我克制和学习，护栏为多元化的决策保留了社会所期望的空间，同时也提供了在不断变化的环境中批判和质疑权力机制的可能性。

第二，由于我们倡导厚护栏，我们看到权力被赋予过程、制度、实践和文化，而非仅仅赋予实体规则本身。我们认为这能在变化的世界中产生更好的决策——但更根本的是，这也反映了我们的信念：缺乏社会锚定的护栏会因正当性的缺失而最终损害其有效性。我们当然理解，转向越来越详细、毫无灵活性的护栏，其初衷是限制权力落入可能腐化的人手中的程度。但正如我们希望在本书中已经阐明的，我们认为这种策略从长远来看行不通。护栏是社会建构物——把人的因素从等式中去掉，它们就会失效。14 没有捷径可以绕过面对和应对人类参与所带来的复杂与混乱，也不应该有这样的捷径。

我们未来的行动者

当我们撰写最后这几段时，世界正深陷危机模式。创纪录高温、严重水资源和能源短缺、下一场大流行病可能正在酝酿、欧洲和亚洲军事对抗升级的威胁——这些头条新闻以令人窒息的节奏冲击着我们。人类的核心挑战以前所未有的紧迫性再次浮现：我们如何为孩子想象和建设一个更好的世界、一个更好的未来？

这在很大程度上取决于一个人心中持有什么样的变革理论。虽然远非万能药，甚至算不上一个全面的蓝图，但我们已经说明，设计得当的护栏可以引导人类做出更好的决策。

在思考护栏的角色时，我们确认了个人选择和人类意志的重要性。护栏可以引导我们，但它们不该也不能替我们做决定。这既是祝福，也是诅咒。说是诅咒，因为我们无法逃避人类前行轨迹上的责任。说是祝福，因为没有意志就没有能动性（agency）。这就是人的处境：作为个体做决定，同时锚定于社会之中。我们在本书中讨论的护栏，连接着这两端——好的护栏拥抱并深化这种连接，同时理解所有人类决策的局限性，以及其中蕴含的学习、进步和进化的潜力。

然而，如果我们的护栏不能反映人类梦想的能力，我们就将失败。护栏能够——正如费尔南达·皮里（Fernanda Pirie）论法律时所说——"使一种社会愿景变得具体而明确，将其呈现出来供他人审视。"15 正是本着这种精神，我们以元宇宙作为隐喻，指向社会演进的下一个前沿。尽管它充满模糊性，但它提供了一个急需的修辞空间，用于重新想象和创造。我们希望我们的读者——以及政府、企业和社区中所有肩负应对人类重大挑战使命的人——能够把握这个恰逢其时的机会，去思考和试验更聪明的护栏，朝着更美好、更公平、更可持续的未来努力。正如我们所有人可能都会认同的，事关重大，无以复加。

谢 致谢：致谢

Acknowledgments

致谢（Acknowledgments）

我们感谢普林斯顿大学出版社（Princeton University Press）的各位编辑：查克·迈尔斯（Chuck Myers），他最初对这个项目充满热情；埃里克·克拉汉（Eric Crahan），他接过了接力棒；最后是布里奇特·弗兰纳里-麦科伊（Bridget Flannery-McCoy）和阿莲娜·切卡诺夫（Alena Chekanov）——她们富有感染力的热情鼓励我们冲刺到了终点线。我们衷心感谢普林斯顿大学出版社的文字编辑卡伦·维尔德（Karen Verde）。我们同样感谢三位匿名评审人提供的深思熟虑的反馈意见。在我们这边，我们要特别感谢安德鲁·赖特（Andrew Wright），他以出色的细腻感知和对细节的把控，精心编辑了我们的初稿；还要感谢菲尔·凯恩（Phil Cain），他确保了事实的准确核查。所有遗留的错误当然由我们自己承担。

我们还要衷心感谢多年来我们有幸参与服务的各类信息治理问题咨询委员会、团体和论坛。这包括德国数字委员会（German Digital Council）及其领导人、独具魅力的卡特琳·苏德尔（Katrin Suder），以及由无与伦比的桑德拉·科尔特斯（Sandra Cortesi）领导的哥伦比亚共和国人工智能专家使团（Republic of Colombia's AI Expert Mission）。

乌尔斯（Urs）感谢：他在哈佛法学院（Harvard Law School）以及如今在慕尼黑工业大学（Technical University of Munich）的学生们；哈佛大学伯克曼·克莱因互联网与社会研究中心（Berkman Klein Center for Internet & Society）的工作人员、研究员和教职同仁，在过去二十年里，我们在技术与社会的交汇处充满了对话与研究合作；玛莎·米诺（Martha Minow），她是指引方向的北极星；全球互联网与社会研究中心网络（Network of Internet & Society Research Centers）的创始成员们，他们引领了国际探索并帮助拓宽了研究框架；慕尼黑工业大学社会科学与技术学院（TUM School of Social Sciences and Technology）的新团队，特别是康斯坦茨·阿尔布雷希特（Constanze Albrecht），感谢她在研究支持、学术交流以及教授"为老问题寻找新答案"这门艺术方面所做的一切；还有约翰·帕尔弗里（John Palfrey），感谢他在充满不确定性的世界里多年来坚定不移的跨大西洋伙伴关系。

注 注释

Notes