返回上一页 文章阅读 登录

郑智航 徐昭曦:大数据时代算法歧视的法律规制与司法审查——以美国法律实践为例

更新时间:2020-08-21 08:56:39
作者: 郑智航   徐昭曦  
这主要涉及算法设计、训练数据和算法目标等信息。(2)数据最小化使用。按照此要求,算法决策者应尽可能少地获取个人信息并且缩短信息与决策结果存储的时间。(3)算法决策相对人对该决策享有获取信息权和修改权。

   (二)预防性控制与结果性责任规制

   从算法歧视可规制的阶段来看,它主要包括算法歧视的孕育阶段和实害阶段。当下算法的法律规制特别注重在算法歧视的孕育阶段对算法进行规制。这种预防性控制强调我们必须加强事前风险的预防和控制,及时有效地控制算法歧视的后果。因此,必须管控好算法决策程序设计的前端,并通过对算法基础数据(主要针对杀熟型歧视)和敏感因素(主要针对特征选择型歧视)等变量的限制,达到控制歧视性算法的目的。除此之外,注重算法歧视的结果责任也是一种重要的规制手段。它强调一项算法决策产生了实害结果时会启动相应的救济措施,并由法院来进行司法审查。这种结果性规制模式是一种事后性的处理,往往不会延伸到算法决策程序的前端。

   1.预防性控制

   预防性控制特别重视对算法的前端进行规制。这种事前行为控制,主要包括算法审查与评估和民主化数据收集与退出机制两个方面。

   (1)算法审查与评估。算法审查与评估强调算法应该得到专家、决策者和公民的验证,使其尽可能不受偏见和无意识歧视作用的影响。因此,算法应当经过审查和评估以后,才能在特定数据存储库中的给定数据集上运行。(22)在审查与评估过程中,算法通过专家、公共机构和受算法决策影响的社区的代表等以数字签名方式成为待发行的版本,该版本算法才可以在一组实体之间共享或在公共站点上发布。(23)美国学者考尔德等人(Calders、Zliobaite)认为,为了使计算机系统以规范的方式运作,算法审查必须从一开始就成为系统设计的一部分。无论这种计算机系统是涉及公民利益的重要程序还是仅仅参与日常商务活动的。因此,这些系统的设计者以及经常监督或控制系统设计的非技术利益相关者必须首先考虑到算法的监督和审查机制。(24)从审查与评估的方法上看,它主要采取的是排除敏感属性的做法。(25)例如,为了防止决策过程中出现种族歧视或性别歧视,我们就会检验决策中是否隐含了种族或性别等这些属性信息。需要强调的是,我们不能将敏感属性仅仅理解为明确包含类似种族、性别这样的字眼,而是要审查是否隐含这类歧视的敏感信息。例如,在审查发放贷款的资格时,个人邮政编码可能会与种族信息联系在一起。(26)从审查与评估的主体上看,网络服务平台无疑应承担算法审查的义务。

   (2)民主化数据收集与选择退出机制。有学者对算法和数据的关系作了形象的比喻:如果把数据比作食材,那么算法就是食谱;只有遵循食谱所设立的步骤和指令,按照要求筛选和搭配食材,才能做出指定口味的菜肴。(27)因此,算法的公正性既取决于数据,也取决于算法自身,加强基础数据端的规制对于消除算法歧视具有重要意义。从具体操作上讲,基础数据端的规制包括收集与选择退出两种机制。第一,民主化数据收集。透明度与算法披露制度要求算法决策者在对个人控制或所有的数据进行收集并据此做出算法决策时应当征得个人的同意。美国《隐私权法》和《欧盟通用数据保护条例》从隐私保护的政策框架、数据保存与处理的安全责任、事后审查等方面对数据收集的民主化进行了规定。(28)2017年,英国发布的《数据保护法案(草案)》更是强化了“知情-同意”制度,并对个人同意增加了许多新条件。我国国家网信办制定的《App违法违规收集使用个人信息行为认定方法(征求意见稿)》,明确了App强制授权、过度索权、超范围收集个人信息等行为的认定标准,这也有助于推动数据收集的民主化。但是,民主化数据收集机制中也存在一些重大缺陷。例如,“知情+同意”机制容易“失灵”。第二,数据退出机制。该机制旨在为用户实现“无数据服务”提供退出策略,(29)从而弥补民主化数据收集存在的一些问题。它能够确保个人在接受服务后仍有权要求抹除数据。例如,用户在使用Facebook后留下大量电子痕迹。商家可以利用这些数据推测出用户的偏好,并有针对性地推送广告。数据挖掘公司也可以挖掘出可供身份验证、安全检查,甚至控制汽车流量等使用的相关信息。(30)公司利用这些数据进行算法决策极有可能给用户带来歧视风险。因此,用户有权决定选择是否抹除其过往数据。具体来讲,这种机制包括两层内容:一是用户在使用服务后即要求平台删除数据;二是允许平台保留数据,但仅限于该次服务目的,禁止将其用于其他领域。(31)欧盟《通用数据保护条例》规定了数据控制者的“被遗忘权”,即数据所有者或控制者有权要求数据使用者在基于特定目的使用完数据之后消除、抹除数据。英国2017年颁布的《数据保护法案(草案)》也规定了“被遗忘权”,允许个人要求社交媒体平台删除其发布的个人信息。

   2.事后性规制

   事后性规制模式,是指算法决策存在歧视并给当事人造成不利后果后,对算法决策者或使用者追究相应责任。它遵循的是实害救济的矫正主义逻辑。在具体的规制过程中,政府或法院主要通过平等权保护来禁止算法决策中出现歧视性影响。例如,在员工管理过程中,很多企业就利用互联网上的数据来判断妇女是否符合工作需要,这给妇女造成了歧视。美国在《怀孕歧视法》和《就业年龄歧视法》中就从平等权的角度出发,认为这种做法违法了平等权的要求,应当禁止,(32)并规定用与互联网日常使用率相关的数据来判断工作绩效的算法是违法的。(33)在实践中,美国还利用《遗传信息非歧视法案》的规定来对算法决策中存在的歧视性行为进行法律规制,对算法过程中出现的遗传歧视行为进行严肃打击。(34)这种政府规制模式主要着眼于歧视结果已经发生,即某种算法已经在社会中得到运用,并产生了歧视性影响,侵犯了公民平等权。从责任追究方式来看,主要包括惩罚、赔偿等。我国2019年正式实施的《电子商务法》就对违反“推荐算法”规制的行为进行严厉惩罚。根据该法的规定,市场监督管理部门对于违反“推荐算法”规制条款的电子商务经营者可以没收违法所得,并处五万元以上二十万元以下的罚款;情节严重的,并处二十万元以上五十万元以下的罚款。

   司法诉讼也是一种重要的事后性规制。它是指受算法决策影响的人认为算法决策机制存在歧视性影响时,向法院提起诉讼,要求算法作出者改变决策,并承担损失的机制。近年来,美国就教育、住房、就业等领域的算法歧视提起诉讼的案件愈来愈多。在诉讼过程中,法院主要运用的是《民权法案》第七章及其相关条款。法院根据这些规定,形成了不同待遇审查和差异性审查两种基本模式。(35)

   (三)自律性规制与他律性规制

   为了有效地对算法歧视进行规制,各国都逐步形成了以行业协会为主体的自律性规制和以政府机构或组织为主体的他律性规制两套机制。

   1.自律性规制

   自律规制主要通过行业的自我约束,加强制定算法基本原则,规范决策运行的过程,尽量减少或避免算法歧视的风险与危害。为了加强算法歧视的自律性规制,美国计算机协会发布了关于算法透明度及可审查性的七项基本原则。这些基本原则主要包括以下内容:一是算法透明原则。该原则允许第三方对算法代码和决策标准进行审查。美国联邦贸易委员会专员斯威尼(Sweeny)提出了“设计责任”这一概念。根据这一概念,算法设计者在开发算法阶段应当接受第三方审查,从而发现算法可能存在的歧视和偏见。(36)二是算法救济原则。开发者对于错误的算法决策(包括歧视性算法程序)必须进行自我调查并予纠正。三是算法负责原则。该原则强调算法的设计者与使用者应当按照法律和政策的要求来设计算法,并对算法产生的结果负责(37)。四是算法解释原则。无论算法的逻辑构架多么复杂,都必须由算法使用者作出正常人能够理解的说明。五是算法数据可靠性原则。算法的设计者需要对基础数据的来源及可靠性进行说明,并不得使用来源违法的基础数据、敏感性数据和产生歧视性后果的数据。六是算法可审查原则。该原则强调算法决策的可追溯性,确保算法模型、过程、结果可记录且留痕,以便出现问题时有据可查。七是算法验证原则。(38)算法运用机构应采取可靠的技术手段对其算法的程序进行验证,以提高基于此算法所自动作出的决策的可信度。(39)按照此原则,算法在设计阶段就应当接受公平性检测,只有经过检测与认证的算法才能在实践中使用。(40)正如美国学者所言:“人类决策者所隐含的(或显性的)偏差可能难以被找到并得以根除,但我们可以查看算法的“大脑”,并及时发现算法的偏差。”(41)美国计算机协会规定的这七项基本原则为算法决策的规范运行提供了很好的标准。在实践中,这七项原则之间并不是孤立的,而是相互配合使用、协同发挥作用。欧盟也坚持政府适度监管下的行业自律管理的理念。《欧盟通用数据保护条例》特别强调数据行为的管理应当坚持行业主导、监管机构适度干预的理念,并强调充分调动市场自发力量来实现行业自律。

   2.他律性规制

   各国政府早期出于保护市场自由竞争的考虑,较少对算法行为进行干预。但随着算法技术的发展,算法失范的行为经常发生,这严重侵犯了公民的权利。它们愈来愈意识到仅靠行为自律难以确保算法自动化决策的规范运行,还需要建立他律性规制措施。这种他律性规制主要体现为政府机构对算法的外部监管。

   美国平等就业机会委员会就一直非常积极地对劳工招聘中使用了算法的案件进行审查。他们在审查中,只要发现招聘中含有种族、宗教、性取向或者政治倾向的信息,就认定为该招聘是违法的,而不论这些信息是否对招聘产生了实质性影响。美国联邦贸易委员会从数据隐私和个人信息保护角度对算法歧视行为进行了规制。它认为算法歧视行为实质上侵犯了公民隐私权和个人信息权。为了对算法歧视行为进行规制,它在强化“告知且同意”的隐私权保护框架的前提下,构建了数据隐私侵权的事后审查制度,并首次提出了“隐私设计”的概念,要求企业“将隐私保护纳入其日常业务实践”。(42)美国食品和药物管理局也会对医药健康领域中的算法自动化决策过程进行监督。它要求医院不得仅仅通过某项算法决策就来预测患者病情并决定如何用药。在新药许可审批过程中,它强调药物必须通过有关安全性和有效性的售前试验以后,才能进入市场。企业不得使用算法对药物的市场数据进行分析来作出该药的非临床性能评价。因为这些算法所依据的数据是不全面的,可能会存在偏颇,甚至会构成对部分人的歧视。(43)

   欧盟国家也积极主张建立他律机制来对算法歧视进行规制。2019年4月17日,欧洲议会批准《关于提高在线平台交易的公平性和透明度规则》,并充分发挥欧盟委员会在算法歧视方面的规制作用。该委员会将对在线平台中介、应用商店、商业社交媒体的交易算法进行规制,并要求这些交易算法应当坚持透明性原则,避免算法出现歧视。欧盟证券和市场管理局则从数据存储和算法备案的角度来防止算法出现歧视。它要求相关企业在通过推荐算法自动确定订单时,需要将相关的存储数据至少保存5年,并对相关算法进行备案,以便日后进行回溯检查。

  

   三、算法歧视的司法审查

   大数据时代除了需要加强政府对算法歧视行为进行法律规制和算法行业的自律外,还需要充分发挥法院司法审查的作用。在具体的实践中,不同待遇审查和差异性影响审查是法院审查的两种基本模式。(44)

   (一)不同待遇审查模式

不同待遇审查模式,又称故意算法歧视审查模式。在这种审查模式中,存在主观故意或固有刻板印象,是算法使用者承担责任的前提条件。算法使用者没有歧视的主观故意或固有刻板印象,即使算法给当事人形成了歧视并造成了伤害,也不用承担责任。从历史上讲,(点击此处阅读下一页)

本文责编:陈冬冬
发信站:爱思想(http://m.aisixiang.com)
本文链接:http://m.aisixiang.com/data/122561.html
文章来源:《比较法研究》2019年第4期
收藏