秘密的信用评分算法如何让你陷入贫困：这场反击战即将开启

【 2021年4月23日存档】算法暴政正在危害所有人，但底层平民遭受的挫折更多

【按】中国社会在反监视方面的意识正在显著提升，这是非常可喜的迹象；我们推荐过很多其他国家反监视活动家的行动技巧和思考方式，希望能为中国的活动家带来灵感。

本文是对算法暴政的反击，准确说是通过自动化算法的信用评分不公正地侵害底层平民的基本利益。中国是数据大国，中国也有信用评分系统，中国的很多社会系统正在越来越受到算法驱动，于是我们认为中国的反抗者值得对这个问题加以关注。

我们的 列表-1 中有 “算法暴政” 板块，您可以在其中看到更多相关内容。

米里亚姆遇到尼克的时候只有21岁。她是一名摄影师，刚从大学毕业，当时在做服务员。他比她大16岁，是当地一个从事金融工作的企业主。他很迷人，很有魅力；他带她出去参加高级约会，并为所有事买单。她很快就陷入了他的轨道。

这是从一张信用卡开始的。当时，那是她唯一的一张信用卡。尼克会用价值5000美元的商业消费把卡刷爆，然后在第二天迅速还清。米丽亚姆要求我不要使用他们的真名，因为她怕影响他们正在进行的离婚诉讼，她发现这样做可以提高她的 “信用评分”。

她在低收入家庭中与单亲父亲一起长大，她更相信尼克的诀窍而不是她自己的。尼克欣然鼓励这种心态，告诉米里亚姆她不懂金融。结果是，米里亚姆以自己的名义为尼克开了更多的信用卡。

麻烦从三年前就开始了。尼克让她辞掉工作，帮他做生意。她照做了。他让她去读研究生，不要担心她现有的学生债务。她也照做了。他承诺会处理好一切，她相信了他。不久之后，他就停止了对她的信用卡余额的结算。她的信用分数开始下降。

但米里亚姆还是和尼克在一起了，他们结婚了，他们有了三个孩子，然后有一天，FBI来到他们家逮捕了尼克。

在联邦法庭上，法官判定他犯有近25万美元的电汇诈骗罪。米里亚姆发现了他以她的名义欠下的数万美元债务的全部情况。“他入狱的那天，我只有250美元现金，一栋被取消抵押品赎回权的房子，一辆待收回的汽车，三个孩子”，她说。“我在一个月前还有一个保姆，住在一个漂亮的房子里，而现在一切都变成了真正的赤贫。”

米里亚姆是所谓 “强迫债务” 的幸存者，这种形式的虐待通常由亲密伴侣或家庭成员实施。德州 RioGrande 法律援助公司的律师卡拉·桑切斯·亚当斯（Carla Sanchez-Adams）说，虽然经济虐待是一个长期存在的问题，但数字银行使得以受害者的名义开设账户和贷款变得更加容易。在自动信用评分算法的时代，其影响也可能更具破坏性。

几十年来，信用评分一直被用来评估消费者的信用度，但现在它们的范围要大得多，因为它们是由算法驱动的：它们不仅在数量和类型上考虑更多的数据，而且，它们越来越多地影响到你是否可以买车、租房或获得一份全职工作。

信用评分的全面影响意味着，如果你的分数被毁，几乎不可能恢复。更糟糕的是，这些算法是由私人公司所拥有的，它们不会透露他们是如何做出决定的。受害者可能会被送入下行的漩涡，有时会以无家可归或回到施虐者身边结束。

信用评分算法并不是唯一影响人们经济福祉和获得基本服务的算法。现在，算法决定了哪些儿童能进入寄养家庭，哪些病人能得到医疗服务，哪些家庭能够获得稳定的住房 …… 我们这些有能力的人可以在不知不觉中度过一生，但是，对于低收入者来说，自动决策系统的快速增长和采用，却形成了一张隐秘的网络，其中有很多环环相扣的陷阱。

幸运的是，越来越多的民事律师开始围绕这个问题组织起来。他们借鉴了刑事辩护界对风险评估算法的抵制模式，寻求在这些系统上进行自我教育，建立社区并制定诉讼策略。

“基本上每个民事律师都开始处理这个东西了，因为我们所有的客户都在某种程度上被这些自动化系统所触动”，巴尔的摩大学的法学院教授 Michele Gilman 说，“我们需要行动起来，接受培训。如果我们想成为真正优秀的整体性律师，我们就需要意识到这一点。”

“我是不是要盘问一个算法？”

吉尔曼在巴尔的摩从事法律工作已经20年了。在她作为民事律师和贫困律师的工作中，她的案件总是归结为同样的事：代表那些失去基本需求的人，比如住房、食物、教育、工作或医疗保健。有时，这意味着要与政府机构对峙。其他时候则是与信用报告机构，或者房东对峙。而越来越多的状况是，对客户资格的争夺现在涉及某种算法。

“这种情况正在全面发生在我们的客户身上”，她说。“他们陷入了如此多不同的算法中，使他们无法获得基本服务。而客户可能没有意识到这一点，因为很多这些自动化算法系统都是看不见的。”

对于低收入个人而言，暂时的经济困难会导致恶性循环，有时最终以破产或无家可归而告终。

她不记得自己到底是什么时候意识到有些资格决定是由算法做出的。但当这种转变第一次开始发生时，它很少是明显的。有一次，她代表一位年老、残疾的客户，这位客户莫名其妙地被切断了由医疗补助资助的家庭医疗护理援助。”我们找不到原因”，吉尔曼记得，“她的病越来越重，通常情况下，如果你生病了，你会得到更多的时间，而不是更少，现在却相反。”

直到他们站在法庭上进行听证会时，代表州政府的证人才透露，政府刚刚采用了一种新的算法。证人是一名护士，对此无法解释。“当然不是他们从货架上买来的”，吉尔曼说，“她是个护士，不是计算机科学家。她无法回答算法的因素是什么？它是如何加权的？你要找的结果是什么？所以我和我的学生律师一起思考，关于，‘哦，我要去盘问一个算法吗？”

对于阿肯色州法律援助机构的律师凯文·德利班（Kevin De Liban）来说，这种变化同样隐蔽。2014年，他所在的州建立了一套新的医疗补助资助的上门援助分配制度，切断了一大批原本有资格获得援助的人。当时，他和他的同事们无法找出问题的根源。他们只知道有些事情前所未有。“我们可以认识到，评估系统发生了变化，从20个问题的纸质问卷到283个问题的电子问卷”，他说。

两年后，当算法中的一个错误再次使其受到法律审查时，德利班终于找到了问题的根源。他意识到，护士们在告诉病人：“嗯，那是电脑做的 — — 不是我。”

“这就是给我们的提示”，他说。“如果我能早两年知道这些，我可能会在2014年做得更好”，他补充道。

“每个人每天都不得不遭遇那么多的系统”

吉尔曼从此变得更加精明了。从她代表客户处理各种问题的有利位置，她观察到了两种算法网络的兴起和碰撞。第一个网络是由信用报告算法组成，就像抢夺米里亚姆的那些算法一样，它影响到汽车、房屋、和就业等私人商品和服务的获取。第二个网络包括政府机构采用的算法，它影响到公共福利的获取，比如医疗、失业和子女抚养服务等等。

在信用报告方面，算法的增长是由数据的扩散所推动的，当下数据的收集和共享比以往任何时候都要容易。信用报告并不新鲜，但如今它们的足迹却远比以前更广。消费者报告机构，包括信用局、租户筛选公司或检查验证服务，都在从广泛的来源收集这些数据：公共记录，社交媒体，网络浏览，银行活动，应用程序使用等 …… 然后，算法会给人们分配 “价值” 分数，这些分数在贷款人、雇主、房东甚至学校进行的背景调查中都占有很大比重。

另一方面，政府机构在想要实现系统现代化的时候，会被驱使采用算法。采用基于网络的应用程序和数字工具的推动力始于2000年代初，并一直在向更多数据驱动的自动化系统和人工智能发展。寻求这些变化有充分的理由。在大流行期间，许多失业救济系统难以处理大量的新请求，导致严重延误。对这些遗留系统进行现代化改造，有望获得更快的工作效率。

但是，软件采购过程很少透明，因此缺乏问责。公共机构往往直接从私人供应商那里购买自动化决策工具。结果是，当系统出现问题时，受影响的个人 — — 以及他们的律师 — — 都被蒙在鼓里。“他们（官员们）没有在任何地方发布通知”，费城法律援助的律师朱莉娅·西蒙·米歇尔（Julia Simon-MishelJulia Simon-Mishel）说，“算法通常没有写在任何种类的政策指南或政策手册中。我们都处于劣势。”

缺乏公开审核也使得系统更容易出错。2013年，密歇根州发生了一起最恶劣的故障。在大举实现该州失业救济系统自动化后，算法错误地标记了超过3.4万人的欺诈行为。“它造成了大量的福利损失”，西蒙·米歇尔说，“有人被破产；有人不幸的自杀。这是一个整体的混乱。”

吉尔曼担心冠状病毒相关的债务和驱逐将被纳入信用评分，这使人们永久难以获得工作、公寓和贷款

在向算法转变的过程中第一个受害的是低收入人群。他们是最容易受到暂时性经济困难影响的人，也是最需要和寻求公共福利的人。多年来，吉尔曼看到越来越多的此类案例，客户有可能进入一个恶性循环。“每个人每天都会经历这么多系统”，她说，“我的意思是，我们都是如此。但对于穷人和少数族裔来说，其后果更为严重。”

她举了她手头的一个案件为例。一个家庭成员因为冠状病毒疫情而失去了工作，并因为自动化系统故障而被剥夺了失业救济金。随后，这个家庭不得不拖欠房租，导致他们的房东起诉他们，要求驱逐他们。虽然由于疾控中心的暂停令，驱逐不会合法，但是这一诉讼仍然会被记录在公共记录中。这些记录会被输入到租客筛选算法中，这可能会让这个家庭今后更难找到稳定的住房。他们不支付房租和水电费的状况也可能成为他们信用评分的一个污点，这又一次产生影响。

“如果他们试图开通手机服务或贷款、买车或申请工作，就会产生这些层层叠叠的连锁反应”，吉尔曼说。

“每个案件都会变成算法案件”

去年9月，目前在数据与社会研究所任教的吉尔曼发布了一份报告，记录了贫困律师可能遇到的各种算法困境。该报告名为《贫困法算法》，旨在为她在该领域的同事提供指导。它分为消费者法、家庭法、住房和公共福利等具体实践领域，解释了如何在现有法律范围内处理算法和其他数据驱动的技术提出的问题。

例如，如果客户因为信用评分不佳而被拒绝入住公寓，报告建议律师首先检查输入评分系统的数据是否准确。根据公平信用报告法，报告机构必须确保其信息的有效性，但这并不总是发生。对任何有问题的说法提出异议，有助于恢复客户的信用，从而获得住房。然而，报告承认，现有的法律只能走到这一步。吉尔曼说，仍有监管空白需要填补。

吉尔曼希望这份报告能给大家敲响警钟。她的许多同事仍然没有意识到这一切正在发生，他们也无法对算法提出正确的问题。那些意识到这个问题的人分散在全国各地，孤立地了解、驾驭和对抗这些系统。她认为有机会将人们联系起来，建立一个更广泛的社区，让他们互相帮助。

“我们都需要更多的培训，更多的知识  — — 不仅仅是在法律方面，更有在这些系统方面”，她说。“因为最终每个案件都会变成一个算法案件。”

从长远来看，她从刑事法律界寻找灵感。她说，刑事律师已经 “走在了前面”，他们作为一个社区组织起来，对决定量刑的风险评估算法进行了反击。她希望看到民事律师做同样的事：创建一个社会运动，让公众对他们所面临的算法的隐藏网络进行更多的监督和监管。”在某些情况下，它可能应该只是被关闭，因为没有办法让算法变得公平”，她说。

至于米里亚姆，在尼克被定罪后，她就永远地离开了。她带着三个孩子搬到了一个新的州，并与一个支持胁迫债务受害人和家庭暴力幸存者的非营利组织建立了联系。通过他们，她参加了一系列课程，学习如何管理自己的财务。该组织帮助她免除了许多胁迫性债务，并更多地了解了信用算法。当她去买车时，在她父亲作为共同签字人的情况下，她的信用分数才勉强达到最低标准。此后，她对汽车和学生债的持续还款，让她的信用分数慢慢得到了补充。

米里亚姆还是要保持警惕。尼克有她的社会安全号码，他们还没有离婚。她不断地担心，他可能会以她的名义开更多的账户，借更多的贷款。有一段时间，她每天都会检查自己的信用报告，以防止欺诈活动。但这些天，她也有了一些期待。她爸爸60多岁了，想退休后搬进来住。他们俩现在正专注于准备买房。“我挺期待的。我的目标是到今年年底，让信用评分达到700分，然后我就应该可以买房了。”

“我从来没有住过自己的房子，从来没有”，她补充道。“父亲和我正在一起努力，为一个永远的家存钱。” ⚪️

The coming war on the hidden algorithms that trap people in poverty