AI和技术统治论
本文选自《AI的批判理论》
[瑞典] 西蒙·林德格伦（Simon Lindgren）著；
周亦张 译.
南京：南京大学出版社，2026.
技术统治论（technocracy）的概念在一定程度上与专家统治（expert rule）的概念同义，有着悠久的政治历史。它呼应了柏拉图关于哲人王的观点（Takala, 1998），哲人王拥有统治普通人的“真正知识”；它还体现在圣西门关于应将生产效率最大化作为最高社会目标的观点中（Mason, 1931）；它也反映在这一情况中——在工程专业知识的推动下，泰勒主义（Taylorism）渗透进管理、政治和人们的日常生活（Taylor, 1911）。在技术统治论的社会体系中，技术和技术专长被赋予了治理权，因此看似客观的技术过程正在指导和决定着整个社会。
AI等领域的技术进步有时显得势不可挡、难以理解，并超出了人类的控制和选择。好像只要有技术上的机会去完成某些事情，我们就应该始终尝试这样做。这种思维源于启蒙时代对进步的看法，认为信息和技术具有普遍的解放作用。人们认为，更多的数据获取方式和更好的分析能力将使社会受益。
在《单向度的人》（One-Dimensional Man, 1964）一书中，批判理论家赫伯特·马尔库塞警示了一种基于纯粹的技术理性的社会。这就是当技术的可能性被用来决定我们应该拥有哪些社会和政治目标时，我们所建立的那种社会。马尔库塞警告说，他那个时代的先进工业社会可能会产生“虚假需求”。同样，目前也存在一种风险，即快速发展的AI技术提供的所有可能性，都让我们相信我们“需要”某些“解决方案”，而这仅仅是因为它们在技术上是可以实现的。换言之，AI自由意志主义和技术统治论之间存在明显的联系，前者是后者的“当代更新版本”（Sadowski, 2020, 67）。
赫伯特·马尔库塞（Herbert Marcuse）
关于技术统治论的详尽分析，我们可以回到马尔库塞的文章《现代技术的一些社会影响》（“Some Social Implications of Modern Technology”， 1941），他在文中写到了人与技术之间的关系。他的推理借鉴了早期理论，即技术理性作为工业资本主义发展的一部分，如何促成了一个基于冷酷的、计算的逻辑的社会。众所周知，经典社会学家马克斯·韦伯（1930, 123）论述了现代社会中的人是如何被迫进入理性、可计算性和官僚主义的隐喻性“铁笼”的，在这个铁笼里，任何自发行为都被消除了。韦伯解释说，之所以会如此发展，是因为“它比任何其他形式的组织都更具有纯粹的技术优势”。事实上，就像韦伯时代的工业机器一样，今天的AI驱动的决策和自动化装置也提供了类似的东西：“精确性、速度、明确性、对档案的了解、连续性、谨慎性、统一性、严格的从属关系、较少的摩擦。”（Weber, 1978, 973）我们可以阅读当前提供AI自动化的企业的营销材料，例如：
你是否同时使用多个产品、供应商和用户界面（UI）来进行决策？如果你能有一个单一的用户界面来管理所有的技术解决方案，并使你摆脱对信用风险周期的碎片化且不完整的看法，那会怎么样？（Provenir, 2022）
通过智能流程自动化服务改变你的员工队伍，为你节省资金，提高准确性并提高生产率。（TietoEVRY, 2021）
（我们的）自动化招聘软件通过提供以下服务来赋能招聘人员，使其做到最好：每次都提供符合你标准的精选候选人；通过分析，快速了解你如何跟踪招聘目标。……我们不是一般的AI招聘软件。（我们将）机器学习与人类洞察力相结合，使顶级团队能够快速建构多样化、合格的候选人渠道，而无须花费所有时间来寻找人才。（fetcher, 2022）
这种推论表明，这项技术有潜力提供——用韦伯的话来说——精确性、速度、知识、谨慎性，以及较少的摩擦。然而与此同时，与韦伯的分析相呼应，这也以“严格的从属关系”为代价。正如马克思所写，在工业资本主义中，工人“作为商品在市场上出卖”。这与AI招聘提供“批量”候选人和候选人“渠道”的想法非常相似。
AI系统在助长不健康的合理化和商品化方面具有强大而危险的潜力。在这个意义上，AI资本主义与工业资本主义没有什么不同。手段和机器是新的，但目的和后果是趋同的。与加州意识形态的特征类似，社会理论经典所描述的早期工业资本主义以一种自然化的、不可阻挡的意识形态为特征。社会学家托斯丹·凡勃伦（1914, 241）写道，这项技术是“盲目和不负责任的”：
因此，这项技术的逻辑就是机器过程的逻辑，一种关乎质量、速度、张力和推力的逻辑，而不是个人的灵巧、机敏、训练和惯例的逻辑……
回到马尔库塞，他想批判的正是这种精确的技术理性。他概述了将技术视为一种社会过程的观点。“技术本身”，即AI系统、算法、机器学习模型这些技术物本身，只是“技术”整体的一部分，而整体还包括社会元素。技术是在社会语境下创造的，AI也不例外。马尔库塞强调，技术是社会不可或缺的一部分，反之亦然，这不仅体现在“发明或照看机器”的人（AI开发人员、部署人员、人机回圈中的人）身上，而且体现在它所针对的社会群体以及使用它的人身上（Marcuse, 1941, 41）。换句话说，马尔库塞认为，技术不仅与小工具有关，还与它们塑造社会组织并进入社会关系的方式有关。再次强调，这是一种装配。技术可以体现社会中普遍存在的思维和行为模式，进而可能成为统治和控制的工具。
马尔库塞认为，正是在这个框架内，随着历史上技术的发展，社会中建立起了一种新的理性和新的社会规范。他所描述的技术理性既不是“机器”对人的直接影响，也不是衍生影响。相反，关于技术理性的思想本身也是“机器发展的决定性因素”（Marcuse, 1941, 42）。在AI装配的语境下，这种观点意味着AI既在塑造社会，也在被社会塑造。
正是通过物质－技术维度与意识形态维度之间相互增强的交互作用，技术理性在工业资本主义中被确立为“普遍的思维模式”，它“建立了判断标准，培养了态度”（Marcuse, 1941, 44）。因此，除了就特定AI应用提出那些虽然重要但或许相对短视的伦理与公平问题，我们还必须探讨这些技术如何能够更广泛地成为社会生活的指南。马尔库塞通过一件逸事解释了技术理性的概念：
让我们举一个简单的例子。一个开车去远方的人在公路地图上选择他的路线。城镇、湖泊和山脉似乎是需要绕过的障碍。乡村是由高速公路塑造和组织的：人们在路上发现的是高速公路的副产品或附属设施。许多标志与海报告诉旅行者该做什么和想什么，它们甚至要求他注意大自然的美丽或历史的印记。其他人已为他做了考虑，这或许是为了更好的体验。人们在视野最开阔、最令人惊叹的地方建造了方便的停车场。巨大的广告牌告诉他什么时候停下来，休息片刻，消除疲劳。这一切确实是为了他的利益、安全和舒适；他得到了他想要的东西。商业、技术、人类需求和自然融合在一起，形成了一个合理而便利的机制。谁遵循它的指示，让自己的自发性服从为他安排一切的匿名智慧（anonymous wisdom），谁就会旅行得最舒适。（Marcuse, 1941, 46）
马尔库塞在这里说的是，在一个由技术理性统治的社会中，（太多）事物被标准化和控制。即使我们与环境中的更多非结构化的部分（“湖泊”和“山脉”）产生关联，它们也很容易被视为障碍。当AI模型过度简化现实时，它们会这样做吗：告诉我们什么是重要的，告诉我们该为哪些景色着迷，告诉我们在哪里“停车”，在哪里“停下来”？
计算机科学家杰森·S. 梅特卡夫及其同事（2021）在撰写AI和相关技术为何没能发挥其潜力时，强调了这个问题，主要原因是人们普遍倾向于过度简化人与技术之间的相互作用。“所有模型都是错误的”是统计学中的一句常见格言，并且现在许多机器学习的应用程序里有一种趋势，即通过使用过于简化的衡量标准来判断预测的价值。正如生物学家（Sung Yang Ho et al., 2020, 2）所解释的那样，这可能会导致对“分类器在现实世界场景中的适用性”的“天真”假设。AI所面临的一个伦理问题与“将复杂问题过度简化为单一算法输出的担忧”有关（Zytek et al., 2022）。
马尔库塞关于旅行者的逸事提出的另一个问题是，在受技术理性支配的社会中，人们被“匿名智慧”告知“该做什么和想什么”。AI是近年来定向广告发展的一个关键组成部分，通过定向广告，在线的主体被算法识别出来，并被引导向特定的消费理念或形式（Li, 2019）。正如肖莎娜·祖博夫（2019）所描述的那样，这种算法广告象征着她称为“监控资本主义”的“新兴积累逻辑”。同样，克里斯蒂安·福克斯（2022, 174）认为，在数字资本主义中，定向广告是一种常见的做法，Meta等公司借此隐藏其“对用户活动的剥削”；而这会产生“用于销售定向广告和赚取巨额利润”的数据。这非常契合讲求效率、合理化和利润的意识形态。IBM 沃森在这一领域的工作广告如下：
广告中的AI是指在机器中模拟人类智能，这些机器被编程得像人类一样思考，并根据投喂给它们的信息模仿人的行为。它们利用历史数据从过去的经验中学习，并在未来做出更明智的决策。广告商可以使用AI创造更个性化的体验，精准定位目标受众，更快地做出决策。（IBM, 2022）
AI驱动的广告倾向于为我们做出选择，就像电视、电影和音乐流媒体服务中的算法一样，指引我们接下来看什么或听什么，这与科技哲学家刘易斯·芒福德在《技术与文明》（Technics and Civilization, 1934, 359）一书中关于人类的观点相呼应。他在书中将工业资本主义中的人描述为“客观人格”（objective personalities）而不是“主观人格”（subjective personalities）。前者的倾向和行为是通过“机器过程”的“事实性”来协调与标准化的（Marcuse, 1941, 45）。显然，在AI行业中，人们担心其系统中潜在的偏见问题。但IBM写道：“尽管在处理AI时，偏见可能对广告商来说是一个挑战，但如果部署得当，机器学习技术也可以帮助减轻广告活动中的偏见。”（IBM, 2022）他们的论点说白了就是，更多、更好或其他的AI将解决AI的问题。但正如芒福德近一百年前所说：
认为机器造成的社会困境可以仅仅通过发明更多的机器来解决，这在今天是一种不成熟的思维的标志，近乎江湖骗术。（Mumford, 1934, 367）
萨多斯基解释说，那些遵守技术理性意识形态的人，即技术统治论者，相信他们有一套可以用于解决任何问题的工具。随之而来的是“深深的傲慢”“对自身局限性的极度无知”和“对其他方法的极度漠视”（Sadowski, 2020, 68）。马尔库塞认为，这种思维导致人类适应了没有真正自主性的“装置”。重要的是，通过这种方式，装置的逻辑超越了技术领域，延伸到社会、文化，甚至个人的思想中：
人类行为被配备了机器过程的理性。（Marcuse, 1941, 47）
作为补充例证，科幻作家和未来主义者斯坦尼斯瓦夫·莱姆在他的《技术大全》（Summa Technologiae, 1964, 152）一书中写了技术如何“在自身进化的过程中缓慢地控制着几乎整个社会运行机制”。马尔库塞进一步认为，随着“顺从机制”（mechanics of conformity）从技术领域传播到社会秩序中，这些机制不仅将成为机器的管理者，还将成为学校、工作场所、社会组织以及人们私人生活的管理者。就AI驱动的推荐系统和AI助推（nudging）而言（Wagner, 2021），存在一种潜在风险，即我们正走向马尔库塞所言的情景：批判性思维被视为“社会性的无能”，因为人们的思想在“技术理性的影响下”变得标准化（Marcuse, 1941, 50）。
这里的危险之处在于，我们的生活和思想越受到技术理性的影响，质疑或反对现状的批判理性的空间就越小。因此，技术统治论声称自己是充分优化的、客观的和高效的，从而将其“解决社会问题的方案当作低效政治程序的实用替代品”（Sadowski, 2020, 67）。应用一种不完美的算法肯定比深入研究性别歧视、种族主义等问题更具诱惑力，也更有利可图。正如萨多斯基所说，技术统治论和加州意识形态的自由意志主义之间也有明显的联系：
只要听过在硅谷大受欢迎的企业家、工程师和高管的主题演讲，就会觉得技术统治论的思维模式——所谓的非意识形态的意识形态——很耳熟。这包括埃隆·马斯克对乘坐公共交通的厌恶（解决方案是地下隧道），以及投资者马克·安德森对印度阻止脸书向新市场扩张的愤怒（解决方案是拥抱殖民主义）。（Sadowski, 2020, 68）
正如萨多斯基所指出的那样，技术统治论的一个明显危险在于，尽管它看起来是“非意识形态的”，但它肯定是意识形态的。随着技术被视为一种自然力量，技术天才和巨头被视为拯救世界的好撒玛利亚人（Samaritan），问题永远是如何做，而从来不是为何做。在这个意义上，技术统治论是一种威权主义形式，它规避了民主决策，混淆了道德复杂性，有利于“设计通往乌托邦之路”的专家，而“所有人类价值观都可以被忽视、弱化或重新定义为技术参数”（Sadowski, 2020, 67）。
