算法暴政：定制人如何终结民主

【2018年3月3日存档】

多年前，某大牌华文媒体主编曾在私下兴致勃勃地赞赏社交媒体的“内容定制”，称其为“精准投放、精彩和便捷”。我只记得当时自己的不寒而栗。其程度完全不亚于2016年开始的不断听到 Facebook 关注者称看不到我的消息更新。

Facebook 的问题不仅仅是你的隐私损失、以及它可以用作数字极权主义全景图的事实。更令人担忧的问题是，它将数字信息消费当作了对大众心理控制的媒介。

当下世界主要受到两个长期趋势的影响：首先生活越来越非物质化，其次AI越来越聪明。这两种趋势在影响数字内容消费的算法层面发生重叠。不透明的社交媒体算法正在逐渐取代人类自己，而决定人们阅读的文章、保持联系的人、观点和意见，以及获得的反馈。

多年来曝光的信息显示，对我们日常消费的信息的算法管理，使得该系统几乎完全掌管了人们生活的方方面面，以及你我成为什么样的人的能力。

独立媒体 iYouPort 在响应 #deletefacebook 运动搬迁至 Google＋后的第三天，惊讶地发现，Google 自动屏蔽了 Edward Snowden 的一篇报道。这就是“不作恶”的表现？

这不是全部，Facebook 甚至可以让内容“自由”发布，而你的关注者却大多看不到，这叫“限流”。中国局域网内的社交平台都很擅长这种操作。

如果产品是免费的，那么你就是产品。这种经济模式通过为人们创造一个诱人的服务收集人们没有意识到的信息、将你定制成为他们理想的人（Facebook，Gmail，Android，Twitter等都是这样工作的），被学界称为监控资本主义。

当你的 TL 上被算法呈现出某些信息、并被隐藏掉另一些信息的时候，你就变成了被算法定制的人。这可不一定就是你真正想成为的人，它在引诱你，让你出现“这是我应得”的错觉。它就是心理操控。

我们分析过《什么样的人最容易接受心理操纵》，中国人应该尤其当心；关于心理操纵关键的一种条件就是：社交媒体状态——《社交媒体的隧道生态和心理操控》。

如果你允许 Facebook 决定你应该看什么、被什么样的信息所包围，显然你的政治立场和觉悟就会被更新，社交媒体正在控制你的政治信仰和你的世界观。

并且，完全意料之中的是，你的政治信仰和世界观将建立在被社交媒体公司CEO所满意的政治信仰和世界观的基础之上。否则你将被审查，其手段包括并不限于屏蔽、注销、限流。其性质和威权政府根据自己的意识形态偏好对互联网内容的管控和封锁，并无任何区别。

这些早已不是什么新闻，Facebook至少从2013年起就已经开始了一系列的实验，他们可以通过调整新闻提要的内容、以及预测用户未来的决定，在你不知情的状态下成功地控制你的情绪和决策。

由于人类的思想非常容易受到简单的社会操纵，结果就是这一切变得更加容易。曾经有一份具有破坏性的心理攻击模式清单，其中一些已经使用了很长一段时间（例如积极/消极的社交强化），但它们是以非常弱的、没有针对性的形式出现的。从信息安全的角度来看，可称之为“漏洞”：可以用来接管系统的已知漏洞。就人类头脑而言，这些漏洞永远不会被修补，它们就是人类的心理弱点。在个人层面上，没有切实可行的方法来防御它们。

人类的思维是一个静态的、易受攻击的系统，它将越来越多地受到智能AI算法的攻击，这些算法将同时完整地查看我们所做的和所相信的所有事情，并完全控制我们所消费的信息。尤其是对政治的控制，非常明显。

这就是“社交媒体危害民主”这个一度成为热点的结论的来源 —— 民主意味着公民监督权力、公民具有独立的且清醒的认知，不被任何权威所操纵，当这些基本条件在AI算法、互联网心理操控的覆盖下，它将不复存在。

若任由其持续，“民主”将变成由政治宣传技术的博弈、算法的竞赛、变异的民粹所决定。

不过至少目前为止这些算法还不够成熟，这就是为什么你在网上看到的部分广告会感觉与自己不大相关。同样，敌对国家行为体用来影响舆论的社交媒体机器人几乎没有使用 AI，它们都非常原始（我不确定这是否与成本相关，还是单纯的技术不成熟）。但它说明，我们还有机会。

紧迫感在于，这一趋势是绝对可见的。

人工智能近年来一直在快速发展，而且这一进展才刚刚开始被部署在针对性算法和社交媒体机器人中。2016年左右“深度学习”才刚刚进入新闻传播和广告网络，Facebook在其中有大量投入。

社交媒体心理操控只是该技术的所有使用方式中的一种，要知道，监控社会是以“O2O”模式运作的，用来训练AI的数据很多就来自线上，就来自于那些沉迷于虚拟空间自恋文化的“日常晒”。

今年元旦时，中国局域网里不知道什么人搞了一个“18岁”的话题热点，的确是热点，直接导致了大量中国网民上传自己的照片。当时我提醒了很多人，但基本没人在乎 —— 这些数据正在收集，用来训练能在现实生活中随时随地监控你我的AI系统。

数字极权正在研究一个强大的实体，它可以建立超过20亿人类的细微心理特征模型，进行大规模的行为操纵实验，旨在开发世界上前所未有的“最好的”人工智能技术。它快速进展的方向令人恐惧。

从去年底开始，中国宣传机构就在吹嘘：中国正在构建世界最大人脸识别系统，声称能在“3秒内识别13亿人口中的任何一人”。该系统可连接到监控摄像头网络，并将通过云设备与全国的各个数据存储处理中心连接，数据集涵盖了每个中国公民的肖像信息，约 13 TB。

媒体在某种程度上可以说是不负责任，它们“基于表层事实”的原则往往造成了协助侥幸心理和恶意愚蠢的作用：当监视社会软件（Surveillance society）的报道强调“新疆／少数民族”时，它是那篇报道本身的事实，而不是社会事实，作为读者你不应该就此认为自己住在大城市、身为汉人就能摆脱监控的威胁；同样，当政治宣传将老大哥描述为“为了你的安全”的时候，你应该明白：安全不等于安检，打着“安全”旗号的安检，为的只是权力的“安全”，而不是你我的；当新闻描述那些互联网巨头收集数据的目的是为 “精准发送广告” 时，你不应该认为自己容忍广告的存在就能对此无所谓，因为你完全不可能知道这些数据最终会在什么样的中间商手中周转，他们其中就包括情报部门和政府。

2012年，Assange 曾经和一群荷兰的首席信息官对话，谈到人脸识别技术的进步。当时在场的有一个专门从事这项工作的人。Assange 说，那个人完全没有清楚地意识到他所讨论的技术的政治层面：系统管理员和首席信息官需要仔细考虑他们在所在组织中角色的政治含义，否则他们就有可能像“希特勒的刽子手”一样冒险。

然而六年过去了，AI 技术的飞跃已经让1984渐次成型，对这一领域的大举金钱投入吸引了庞大的高技术人才队伍，在这些“刽子手”的推动下，老大哥正兴高采烈地“展望未来”。

这里并没有“你国、我国”的区别。前日美国国会刚刚通过了颇具争议 CLOUD 法案，该法案允许外国警方在未获美国搜查令的情况下收集和监听美国企业的用户通信，允许外国在未经法官审查前要求储存在美国的用户数据，允许外国警方在不通知用户的情况下收集用户数据，允许美国警方收集储存在任何地方的数据，允许隐私保护更薄弱的外国无视美国的隐私保护法律扣押储存在美国的数据。

多年前，纽约大学新媒体学教授 Clay Shirky 曾经提到过一个“UKUSA 英美协议”，英美协议成员组织从法律上禁止截取本国公民的通信，于是他们通常使用私下交换的方式，例如加拿大对澳大利亚公民进行间谍活动，并与澳大利亚秘密情报机构共享资料；而澳大利亚曾对加拿大公民进行窃听，并将资料交给加拿大通信安全机构……

立法者最擅长违法，法律和国界线对他们的目的来说完全可以形同虚设。然而那些硅谷巨头都是跨国公司，一个社交媒体平台囊括了全球大多数公民。

谷歌的业务能够在整个网络上收集数据，而不仅仅是通过自然搜索。 Google 需要实时数据来优化整个网络广告的定位，好吧，那结果就是，任何人都可以知道你多年来浏览过的内容是什么，你的联系人是谁、他们的联系人是谁、你喜欢和不喜欢什么，以及你生活中每一个亲密细节……国界在哪儿？

互联网提供了创建国际社区的机制，跨国公司由于其资源和组织程度，已经能够在自己的公司内部建立成熟的国际通信机制，实现跨越国界的连贯结构。这就赋予了这些组织以全新的方式在国际上采取行动，从而赋予它们更多的权力。

A real threat to democracies is the erosion of civil liberties that is brought about by mass surveillance.

对民主制的真正威胁是大规模监视造成的对公民自由的侵蚀。大量出版内容+强大组织对出版物的控制=审查制度。我们必须争取创造新的自由网络。

作为普通人，加密是你当下唯一能做的事。强调匿名性及其相关知识的必需。

作为高科技从业人员，你应该反思一下，你的技术技能究竟是在为全人类争取自由和人权，还是“在像刽子手一样冒险”？

“不作恶”不是一句简单的口号，更不应该是油头粉面的宣传，它是道德感和正义感的实时鞭策，人类的未来就在那些当下掌握技术的人手里。

这是一个呼吁：请 AI 开发者停止助纣为虐，必须知道受害人中将包括你自己、你的亲人、你的朋友，别让你最爱的人淹没在无处可逃的天罗地网中。