例如，如果图像集合显示了厨房中许多女性的例子，则使用该图像数据集训练的算法将在女性和厨房之间形成关联，并可以在其假设和决策中再现这种关联。
人们仍然可以设置算法在分析数据集时应考虑的参数。而且从事这项工作的开发人员和数据科学家可能不会意识到他们放置的参数所包含的无意识偏差。我们不知道确定Apple Card信用额度的参数是什么，但是如果考虑因素包括年收入，但不考虑共同财产所有权和税务申报，那么在美国仍然以每美元1美元的价格赚取80.70美元的女性将处于固有的劣势。
迄今为止，我们为根据法律建立平等保护所做的努力旨在防止有意识的人类偏见。AI的问题在于，它比以往任何时候都可以更快，更有效地重现我们的无意识偏见，并且这样做没有道德良心或对PR的关注。在这种情况下，该算法无需高阶思维技能就能做出信贷决策，这会使人在为女性和男性提供的信贷限额之间的明显差异中看到一个危险信号。
问题的一部分在于，与许多AI和ML算法一样，Apple Card是一个黑匣子。意思是，没有合适的框架来追踪算法的训练和决策。对于公司而言，这是重大的法律和公关风险。对于社会而言，这更加严重。如果我们将决策权放弃给AI，无论是用于拼车退款，保险账单还是抵押贷款利率，我们都有可能遭受无视判决，采用世界上所有数据集以及所有男人和女人，仅是数据。
我们不必接受这个新的世界秩序。我们可以以负责任的方式进行创新。我们需要确保启用机器学习的新数据平台拥有必要的基础架构，以实现治理，透明度和可重复性。除了该基础结构，我们还需要一个框架来跟踪算法训练的沿袭。新加坡的个人数据保护委员会已经开始通过创建来解决这个问题型号AI治理框架，以及世界经济论坛正在研究一项倡议，以使框架访问世界各地的企业和政府。
我们始终可以确定结果是否反映了我们的社会价值并符合我们的法律标准。但是，如果我们可以预先评估用于训练模型的数据，并持续评估该模型的性能，那么我们可以找到系统中会导致意外偏差的缺陷并加以纠正，然后才能在Twitter上了解它们。
