使用AI根据姓名识别性别的服务看起来异常偏颇

一些科技公司在成立之初就引起了轰动，而另一些公司似乎则大跌眼镜。

Genderify是一项新服务，承诺通过帮助AI通过分析某人的姓名，电子邮件地址或用户名来识别某人的性别，该服务肯定会进入后者。该公司上周在Product Hunt上启动，但由于用户发现其算法中存在偏见和不准确之处，因此在社交媒体上引起了很多关注。

例如，在Genderify中输入名称“ Meghan Smith”，该服务将提供评估：“男性：39.60%，女性：60.40%。” 将该名称更改为“ Dr. 但是，梅根·史密斯(Meghan Smith)的评估改为：“男性：75.90%，女性：24.10%。” 以“ Dr”开头的其他名称也会产生相似的结果，而输入似乎通常会使男性倾斜。例如，“ [email protected]”是男性的96.90%，而“ Joan smith太太”是男性的94.10%。

对该服务的强烈抗议令Genderify告诉The Verge它已完全关闭。“如果社区不想要它，也许这很公平，”一位代表通过电子邮件说。Genderify.com已脱机，其免费API不再可用。

尽管这类偏见经常出现在机器学习系统中，但是Genderify的轻率性似乎使该领域的许多专家感到惊讶。AI Now Institute的联合创始人梅雷迪思·惠特克(Meredith Whittaker)的回应有些典型，它研究了人工智能对社会的影响。“我们被巨魔了吗?” 她问。“这是一种意念，旨在分散技术+正义世界的注意力吗?现在是愚蠢的高科技愚人节吗?”

对人们的性别进行大规模假设可能有害

问题不在于Genderify根据某人的名字对某人的性别做出假设。人们一直在这样做，有时会在过程中犯错。这就是为什么礼貌地找出人们如何自我识别以及如何应对他们的原因。Genderify的问题在于它会自动执行这些假设。在将个体分类为男性/女性二进制数(从而忽略识别为非二进制数的个体)的同时大规模应用它们，同时在此过程中加强性别定型观念(例如：如果您是医生，您可能是男人)。

这样做的潜在危害取决于使用Genderify的方式和位置。例如，如果将服务集成到医疗聊天机器人中，则其关于用户性别的假设可能导致聊天机器人发布误导性的医疗建议。

值得庆幸的是，Genderify似乎并非旨在实现这种系统的自动化，而是主要被设计为一种营销工具。正如Genderify的创建者Arevik Gasparyan在Product Hunt上所说：“ Genderify可以获得的数据将有助于您进行分析，增强客户数据，细分营销数据库，人口统计数据等。”

在同一评论节中，Gasparyan承认一些用户对偏见和无双数个人的关注，但未提供任何具体答案。

一位用户问：“假设我选择不识别男性还是女性，您如何处理?您如何避免性别歧视?您如何应对性别偏见?” Gasparyan回答说，该服务基于“已经存在的二进制名称/性别数据库”做出决定，并且该公司正在“通过分离“概念”来“积极寻找改善跨性别和非二进制访问者体验的方法”。性别身份的姓名/用户名/电子邮件。” 鉴于Genderify的整个前提是该数据是性别身份的可靠代表，所以这是一个令人困惑的答案。

该公司告诉The Verge，该服务与使用名称数据库猜测一个人的性别的现有公司非常相似，尽管它们都没有使用AI。

一位代表通过电子邮件表示：“我们知道我们的模型永远无法提供理想的结果，并且算法需要进行重大改进，但我们的目标是构建一种不会像任何现有解决方案一样受到偏见的自学习AI。” “并且要使其发挥作用，我们非常依赖跨性别和非二进制访问者的反馈，以帮助我们为LGBTQ +社区尽最大可能改善我们的性别检测算法。”