亚马逊在发现实验性的人工智能招聘工具歧视女性之后，决定关闭该工具。这款工具可以搜索网络发现潜在的候选人，并用1到5颗星对其进行评定。但该算法学会了针对技术职位--例如软件开发职位--系统地降低女性简历评分。
虽然亚马逊处于人工智能技术的最前沿，但该公司也无法找到一种方法使其算法保持性别中立。该公司的失败提醒我们，人工智能会从各种来源中产生偏见。人类会受到各种偏见的左右，而人们普遍认为算法不会这样，它们应该客观公正，毫无偏见。然而事实上，算法可能会无意间从各种不同的来源学习到偏见。从训练它的数据到训练算法的人，一些甚至是看起来无关的因素也会导致人工智能偏见。
人工智能歧视
人工智能算法经过训练，观察大数据集中的模式以帮助预测结果。在亚马逊的这个案例中，算法使用了十年间提交给该公司的所有的简历，以了解如何找到最佳候选人。
鉴于该公司的女性员工比例很低--就像大多数科技公司一样--该算法很快就发现了男性的统治地位，并认为这是成功的一个因素。因为该算法使用其自身预测的结果来提高其准确性，所以它陷入了对女性候选人的性别歧视模式。
而且由于用于训练它的数据是由人类创造，这意味着该算法还继承了不良的人类特征，如偏见和歧视，这也是招聘领域多年存在的问题。
