人工智能的算法歧视~机器觉醒

流动的水没有形状，漂流的风找不到踪迹，任何看似偶然的事件，背后都有着一个极力隐藏的必然。

人工智能的算法歧视~机器觉醒

真相永远只有一个！

微信红包永远抢不到最大的，茅台1499元永远秒杀不到，抖音永远推送你喜欢的小视频……这些原本应该是随机的事件，最终都走向了一个确定。

从算法歧视开始。

01

算法歧视

有一个常见的经济学词汇叫做：价格歧视，指的是商家根据不同消费者的喜好和需求急切程度，为同一个商品或服务定出不同的价格。最常见的价格歧视就是飞机票，提早订的话折扣都很大，到临近1天的时候再买，就是全价。明显的价格歧视是涉嫌违反《消费者权益保护法》规定的，所以商家如果要做歧视定价，需要有一个正当的非歧视的理由。比如飞机票价格，一般解释为提早订票，有利于航空公司的航班规划，航空公司也可以获得机票款的时间价值，所以提前订票价格便宜。

算法歧视，可以理解为一种信息经济时代的“价格歧视”。在信息科技和数字经济越来越发达的今天，很多商品和服务的供给消费是基于互联网电子信息平台的，所以歧视逻辑也会编写到电脑程序的算法逻辑中，形成了“算法歧视”。最常见的算法歧视：不同的用户在淘宝网上用相同关键字搜索商品，出来的商品推荐排序不一样，同样商品的打折优惠力度也不一样。为了避免明显的歧视违规，常用的解释是：根据客户偏好和贡献度不同，做了最适合客户的推荐和价格区分。

以上是最简单且显然的算法歧视，可以通过算法走查来辨别出歧视的逻辑。

02

人工智能的算法歧视

人工智能的算法歧视~机器觉醒

终结者T-800

如果算法歧视加入了人工智能的程序逻辑以后，歧视就会变得非常复杂且隐蔽，隐蔽到甚至连写程序的人都不知道程序最终是怎么实现歧视的。用一个给客户授信的例子说明。

目标：小贷公司对潜在客户给予主动消费透支额度，并控制违约风险。

普通的算法歧视实现：如果这个客户是20到30岁的青年阶段，给予这个客户50000的初始透支消费额度，如果这个客户60岁以上，则初始额度小于5000。这里有1个判断因子：年龄。这个歧视在算法走查中是可以看出来的，且较为合理，因为一般人60岁以后收入来源减少，消费能力也下降。

人工智能的算法歧视：通过对客户分类，如果某类客户在历史数据中违约概率很低，则给予该类客户50000的初始投资额度，如果某类客户历史违约率较高，该类客户就不给予额度。而对客户分类的逻辑，程序员没有确定，而是让机器通过对历史大数据样本进行学习，找出合适的分类关键字，作为因子。

于是，人工智能的算法在对大数据样本学习的过程中，发现：某个地区的客户，特别容易违约。当它发现是某个客户属于这个地区的时候，就不给予透支额度。这个分类关键字就是地区，这是人工智能程序自己发现的，不是程序员设定的。这个歧视就是由人工智能算法产生的“地域歧视”。

这个地域歧视算法，在风控中，确实会有效果。我们通过仔细了解这个地区的情况，会发现违约率高是经济发展的历史原因导致的，该地区为了支持国家建设规划而贡献了的大量资源，造成经济结构不适应当前新经济模式的发展，继而出现暂时的经济困难和违约率高，我们恰恰应该给予支持，而不是歧视。但是这些情况并没有作为让人工智能学习的数据，或者说人工智能的程序还无法学习这些复杂的数据。所以它做了地域歧视。这个歧视因子不是程序员给的，是人工智能自己学到的，虽然在人类看来是不合理的，但是人工智能算法把这个因子加到了对客户分类中，这就是人工智能的算法歧视。

03

人工智能算法歧视的危害

微信红包永远抢不到最大的：因为红包的算法歧视会让不怎么用微信支付的人拿到大红包，促进他用微信支付；茅台1499元永远秒杀不到，因为秒杀的算法歧视会让刚刚进入这个电商平台的新用户或者最近不太活跃的用户更容易秒杀到优惠商品从而加强了客户粘性；抖音永远推送你喜欢的小视频，因为抖音会根据你看视频的时间和类型，找出你最愿意花时间看的视频推送给你……

种种看似随机的结果，让普通人觉得都是一切都是公平的，没有违反消费者权益保护相关的法律法规，且程序走查也看不出来有设定什么歧视条件。但是，最终结果都不是随机的，背后都有人工智能算法歧视影子。

近期一位署名“周矍铄”的大佬在《金融时报》发表一篇名为《大型互联网企业进入金融领域的潜在风险与监管》的文章，其中提到：大数据、人工智能等技术易导致“算法歧视”，严重损害特殊群体利益。相较于传统歧视行为，算法歧视更难约束。其一，算法歧视维度多元。传统歧视行为通常依据性别、学历等显著外在特征，但算法能挖掘更深层次的隐形特征作为依据。其二，算法歧视形式隐蔽。基于种族、性别、民族等特征的歧视行为被法律禁止，但自动化决策可利用“算法的不可解释性”规避职责，在不触犯现有法律规定的情况下，侵犯消费者合法权益。

04

机器觉醒

算法歧视加入人工智能以后，如果不加以规范约束，不仅会侵犯消费者合法权益，而且任由人工智能的算法持续学习进化后，机器会变得很危险。

因为，加入了人工智能的算法歧视是一种机器意识的觉醒。

意识：人类大脑对外界客观世界的认知、反映，是感觉、思维等各种心理过程的综合。当一个2岁的小宝宝，吃了一个圆圆的糖豆，很甜，于是会认为圆圆的小东西都可以吃。认为就是一个意识。

人工智能在自我学习中，发现某些因素和人类为其设定的目标是有联系的，于是主动把这个因素加入到实现目标的关联因子中。主动加入新因子的行为，是人工智能算法对客观事物的认知和反馈，是一个很初级的机器意识。

人工智能的算法歧视~机器觉醒

终结者2-天网产生自我意识

“天网产生自我意识后，发现人类是其最大的敌人，于是它控制了美国的国防系统，并向俄罗斯发射了核导弹，因为天网知道俄罗斯的核反击会消灭美国甚至全人类。”这是《终结者2审判日》中T-800机器人对未来天网觉醒的叙述。

假设天网的人工智能算法设定是这样：

目标：机器人替人类干活，避免机器人不必要的损伤。

损伤定义：包括干活中被重物压垮，从高处掉落，以及其他的导致机械部件损坏的情况。

在算法运行中，机器人偶尔看见一些人类会殴打机器人，导致机械部件损坏。他们的学习程序的结果就是，避免被人类殴打。但是发现人类殴打无法避免。而偶然的一天，人类摔倒在地上受伤了，连续一个月没有殴打机器人。机器人的学习算法就判断人类摔倒是避免机器人被殴打损坏的因子。而什么会导致人类摔倒？被物体绊倒。于是，机器人开始在夜晚把箱子等物体放在暗处绊倒人类。这时，机器人的人工智能算法设定就开始做出损害人类的行为了。如果继续由人工智能学习演化下去，不加以限制规范，最终就机器人就会把人类当成敌人。

人工智能的算法歧视~机器觉醒

终结者2-T800对未来的描述

人工智能的算法歧视，虽然还不至于造成《终结者》系列电影中的人类灾难，但它已经实现了机器算法的初级意识，并诠释了的机器觉醒的可行性。