返回上一页 文章阅读 登录

石颖:算法歧视的发生逻辑与法律规制

更新时间:2022-08-11 09:35:29
作者: 石颖  

   〔摘要〕算法歧视是新兴技术风险的典型代表,主要是由于算法内部演算和数据分析所导致的对特定群体或个人的不公正对待。算法歧视是一种不合理的区别对待,是智能机器自动化决策的产物,以“隐蔽性”和“不可逆性”为表征。相较于一般歧视来说,算法歧视所带来的是一种更深层次的歧视和不平等,并引发了伦理问题。算法歧视是人类社会歧视在算法领域的转化,体现为归纳式的算法思维逻辑、算法黑箱与非中立性等算法技术设计所导致的算法歧视,更体现为算法运行中的决策性歧视,即由于“冗余编码”和“信息茧房”等数据动态交互所产生的算法歧视,以及因数据评估的导向性而引发的算法歧视。对此,应通过伦理审计与公平性约束、数据信息的区别保护与算法解释,以及建立算法的监管制度来实现对算法歧视的法律规制,同时还要在特定重大领域慎用算法决策系统,以此来塑造算法时代的法律秩序,确保数字社会中人类的安全和发展。

  

   〔关键词〕算法歧视,数据信息,算法黑箱,冗余编码,算法解释

  

   〔作者简介〕石 颖(1994- ),女,陕西西安人,西北政法大学法治学院2019级博士生、中共陕西省委党校(陕西行政学院)法学与社会治理教研部讲师,主要研究方向为法学理论。

  

   随着数字技术的快速发展,人们已经能够利用算法来帮助处理社会生活各领域的复杂问题,如利用算法决策系统作出信用评价、用人管理、政府治理、产品定价等。这极大地提高了决策效率,给人们生活带来了诸多便利。但与此同时,我们还发现,算法對人们生活领域的渗透还带来了新的问题,如在不同的手机端预定机票、酒店或打车时会得到不同的报价;亚马逊公司使用的简历分析系统,自动将女性求职者的排名置于男性之后……这表明,歧视已经随着时代发展而呈现出新的表现形式。算法与大数据的应用不仅无法解决公正和平等问题,反而让本应是“呈现观念”的算法场景产生了“创造观念”的歧视效果,进一步加重了不公正和不平等,并引发新的伦理问题。数字科技带给人们的这些最直观的挑战和问题,势必需要法律作出回应。因此,本文关注的问题是,算法歧视的发生逻辑是什么?以及如何对算法歧视进行法律规制?既有理论研究,大多关注的是算法的宏观规制问题,所提出的规制对策并非专门针对算法歧视,因此缺少针对性。而少部分专门针对算法歧视的研究尚不够系统深入,有待于从“人”的层面、“技术”层面以及“运行”层面对其发生逻辑和法律规制进行深入剖析。对此,本文将从“先行存在的歧视”“技术本身的歧视”和“算法运行中的决策性歧视”这三个方面来系统论证算法歧视的发生逻辑,并提出与之相对应的法律规制措施,以期重塑数字社会的公正与平等,推动算法技术的良性发展。

  

   一、算法歧视的核心要义

  

   歧视在人类思维意识中从未缺席过,并且会随着时代变迁而不断演化出新的歧视类型。算法歧视即是随着人工智能、大数据、算法等新兴技术的发展和应用而产生的新的社会歧视类型。数字社会与人类社会实际上是一种镜像关系,即人类社会无法避免的歧视问题,在数字社会也同样无法避免,甚至在数字空间中愈演愈烈。算法歧视对人类社会制度与经济、政治、文化发展的影响越来越深远,不仅限于传统的种族、性别等因素,而且还投射到数字社会中人类的日常生活和社会事务当中〔1〕。对算法歧视的发生逻辑与法律规制的研究,首先是要明晰算法歧视的核心要义。具体而言,算法歧视的核心要义体现在以下几个方面:

  

   (一)算法歧视是一种不合理的区别对待

  

   如果将歧视比作风险和灾难,那么算法技术的发展让歧视这一风险也随之获得了新的载体和表现形式,呈现出歧视风险的高科技性,这种高科技性可能会让更多、更普遍的人遭受歧视。歧视是“一切对公民群体或个人所实施的,其目的或效果在于不合理的区分、限制、排斥、优待或侵害人尊严的行为或制度安排”〔2〕。简言之,歧视是一种不合理的区别对待。算法歧视虽然是一种新型的歧视类型,但它并没有创造歧视本身,也没有改变歧视的本质,而只是改变了歧视的产生方式和存在方式,使得歧视有了更广阔的外延,是歧视在数字社会中的一种特殊表现形式。因此,算法歧视也具有歧视的一般性要义,同样是一种不合理的区别对待。

  

   (二)算法歧视是智能机器自动化决策的产物

  

   算法的建构与运行极具复杂性。算法是在计算机程序中由包含百万级的数据点与代码建立起来的决策模型,是通过对海量数据进行排序、分类并予以标签化,继而建立若干数据集才得以运行的。它会不断地在动态数据的统计学习中作出决策选择,具有“输出预测”的功能。算法歧视正是由于算法内部演算和数据分析所导致的对特定群体或个人的不公正对待。人们在算法技术的开发与应用中,难免会将人类社会固有的偏见与歧视通过数据传递到同构属性的算法上,当在数据分析中按照不合理的类别化区分标准进行内部演算,继而对不同的人作出系统性的、可重复的不平等对待时,就会形成算法歧视。也即,算法歧视主要是嵌入了人类的认知与价值观后,由智能机器自动化决策后的产物,是一种自动化歧视(Automated Discrimination)〔3〕。

  

   (三)算法歧视以“隐蔽性”和“不可逆性”为表征

  

   虽然算法歧视归属于歧视,但又不完全等同于一般意义上的歧视,具有着“隐蔽性”与“不可逆性”,会产生更为严重、更为普遍的歧视性后果。(1)隐蔽性。算法的运行过程是一个深度学习的过程,会在掌握数据属性、人类偏好等的基础上作出算法预测。在这一过程中,一方面,由于高度的专业性使得算法设计人员与普通用户之间形成巨大的“数字鸿沟”。普通用户根本无法从专业的程序代码层面理解算法决策的过程、依据以及决策结构。另一方面,算法黑箱也使得算法决策过程处于不公开不透明的状态,普通用户往往只能得到最终的决策结果,并被动地接受结果,而无法发现算法歧视。(2)不可逆性。算法歧视的不可逆性,体现在算法决策的过程与结果的双重不可逆性上。整个算法运行程序其实就是从“输入”到“输出”的过程。当自动化决策的算法“输出”歧视性结果或产生歧视性的危害后果时,是根本无法逆转的。而这一歧视性结果的输出还将会进一步分别反馈给算法的内部循环系统与外部流通系统,造成进一步的歧视循环与流通。

  

   二、算法歧视的发生逻辑

  

   算法歧视作为算法技术的衍生品,使得算法的预测功能发生偏离,损害了人们平等和非歧视的基本权利。根据算法歧视的核心要义和呈现形式可以发现,算法歧视有“先行存在的歧视——人类社会歧视的算法转化”“技术本身的歧视——算法设计所导致的歧视”和“决策性歧视——算法运行所产生的歧视”三种发生逻辑。

  

   (一)先行存在的歧视——人类社会歧视的算法转化

  

   歧视在人类社会中是普遍存在并不断发展的,算法决策又是对人类决策的深度学习,因此,算法歧视在很大程度上源于对人类社会歧视的算法转化,是在对现有文化中存在的歧视进行归纳或“同构”后,形成的数字社会中的文化禁锢或社会禁锢。种族歧视、性别歧视等传统的社会歧视类型,就随着算法技术的广泛应用而进一步转化为算法歧视。如2015年Google Photos就曾被曝出将黑人程序员Jacky Alcine标记为“大猩猩”,此即是算法根据人类社会现实中存在的歧视所进行的学习、演化与展示的典型样本之一。数据源于社会现实,社会现实本就是存在群体差异的,因此,基于历史和现实的事实数据生成的算法模型,必然会反映出群体差异,并进一步形成歧视。算法歧视反映的正是一种社会权力关系中深层次的不平等。算法技术根本无法避免歧视的发生,反而是将社会歧视进行了算法转化,并进一步加重了歧视,尤其是使间接歧视在算法技术的作用下获得了新的发展契机,以更加隐蔽或是合法化的方式而存在着。如银行通过大数据挖掘出与种族相关的属性特征,并单纯依据这些属性特征来作出信贷时的征信评估,从而对并无征信问题的黑人等有色人种施加歧视性待遇。

  

   (二)技术本身的歧视——算法设计所导致的歧视

  

   1.归纳式的算法思维逻辑导致算法歧视

  

   算法作为人类思维的外化物,在学习方法的本质上是类似于人的,即算法运用的也是一种在特定条件、特定范围下的因果推论,是通过归纳法(即在既有知识的基础上总结经验、得出结论)建立并运行起来,继而发挥相应的预测功能的(即从经验和结论出发而对更多现象予以分析、进行预测)。“人性中自然而正常的本能使他们易于做出泛化、概念和分类,这些都是对经验世界的过度简化。”〔4〕30这种类型化的、归纳式的人类认知,极易产生对某群体或事物的刻板印象,继而形成歧视。

  

   经过人的训练和改进,算法实际亦遵循着该种思维逻辑和运行机理,通过对海量数据的整合、排序、分类、训练,将问题分解为同类子问题,建立若干数据集,予以标签化,再利用机器自身的深度学习能力,实现对新数据的归类与“预测”。因此,当含有歧视性的标签被设置出来,或是算法自动将某标签关联至歧视性的结果时,都会导致算法对该标签项下的群体作出系统性的歧视。简而言之,算法的底层逻辑是从现有的样例特征中提取、归纳、总结出可普遍适用的规则来指导实践〔5〕360。但这种概率性的预测并不完全是准确的,很容易因不完全归纳而导致歧视。如在就业招聘中,算法平台对应聘者所进行的学历、种族、年龄、户籍等的信息筛选与统计区分,便是一种根据群体特征而对个体进行的归类与预测,这样的招聘方式虽然是在信息不对称状态下进行的理性筛选,但其仅根据概率性的群体身份特征来判断个体能力的做法极易引起就业歧视。

  

   2.算法黑箱与算法的非中立性引发算法歧视

  

   整体来看,人们并不能充分了解算法内部的决策规则,数据和编程的内幕也无法做到公开透明,有关算法的运行机制、决策原则和决策依据也只有相关的程序设计人员才知晓,由此形成的“算法黑箱”便成为算法技术最大的不可控因素。算法在“GIGO定律(Garbage In,Garbage Out)”,即“偏见进,则偏见出(Bias In,Bias Out)”的作用下发生异化,产生算法歧视。并且这种非法目的与歧视性结果还得以掩盖在算法技术的合法外衣下而持续存在。

  

人们普遍认为,通过自然科学模式推算出来的机器算法決策是处于技术中立的,不存在价值判断,不需要面对诸如“电车困境”〔6〕等人类现实社会中的伦理难题,因此能够作出既符合效益又切合情理的判断与决策,可以无条件信任算法。但实际上,算法有着与人类社会同构的特质,它并非是完全中立的,算法决策也并非完全可靠。这是因为:(1)数据的偏差性会导致算法歧视。算法决策是在数据分析的基础上建立起来的,因此,若数据存在错误,或数据本身即具有歧视性,又或是数据参数或属性不够全面,(点击此处阅读下一页)


爱思想关键词小程序
本文责编:陈冬冬
发信站:爱思想(http://m.aisixiang.com)
本文链接:http://m.aisixiang.com/data/135913.html
文章来源:理论探索 2022年3期
收藏