AI算法检查为什么会使反射变得与众不同

文字向后。时钟逆时针运行。汽车在错误的道路上行驶。右手变成左手。

康奈尔大学的一个研究小组对反射如何以微妙而不是那么微妙的方式改变图像产生了兴趣，他们使用人工智能研究了将原稿与反射区分开的原因。他们的算法学会了从意想不到的线索(例如头发部位，凝视方向以及令人惊讶的胡须)中发现-这些发现对于训练机器学习模型和检测伪造图像具有启示意义。

“宇宙不对称。如果您翻转图像，也有差别，”诺厄·斯纳夫利，在康奈尔大学科技计算机科学副教授和研究的资深作者说，“视觉手性在6月14日至19日举行的2020年计算机视觉和模式识别会议上发表。“我对通过收集信息的新方法所能发现的发现很感兴趣。”

林志奎'20是该论文的第一作者;合著者是计算机科学助理教授安倍·戴维斯(Abe Davis)和康奈尔科技大学的博士后研究员JinSun。

Snavely说，区分原始图像和反射图像对于AI来说是一件非常容易的任务-基本的深度学习算法可以快速学习如何分类图像是否以60%到90%的准确度进行翻转，具体取决于所用图像的种类。训练算法。人们难以察觉到的许多线索。

在这项研究中，研究小组开发了创建热图的技术，该热图指示了算法感兴趣的图像部分，从而深入了解了如何做出这些决策。

他们毫不奇怪地发现，最常用的线索是文本，在每种书面语言中向后看起来都不同。为了了解更多信息，他们从数据集中删除了带有文本的图像，并发现该模型关注的下一组特征包括手表，衬衫领(按钮通常在左侧)，面部和电话-大多数人往往掌握右手–以及其他显示右撇子的因素。

该算法倾向于集中于人脸，这似乎并不对称，这引起了研究人员的兴趣。“在某些方面，它留下的问题多于答案，” Snavely说。

然后，他们进行了另一项针对面部的研究，发现热量图在包括头发部位，眼睛凝视在内的区域照亮了(由于研究人员不知道的原因，大多数人凝视肖像照片中的左侧)和胡须。

Snavely说他和他的团队成员不知道该算法在胡须中发现了什么信息，但是他们假设人们梳理或刮脸的方式可以显示出惯用的手感。

“这是视觉发现的一种形式，” Snavely说。“如果您可以在数百万个图像上大规模运行机器学习，也许您可​​以开始发现有关世界的新事实。”

结果表明，这些线索中的每一个可能都不可靠，但是该算法可以通过组合多个线索来建立更大的置信度。研究人员还发现，该算法使用源自相机处理图像的方式的低电平信号来做出决策。

尽管需要进行更多的研究，但是这些发现可能会影响机器学习模型的训练方式。这些模型需要大量的图像才能学习如何对图片进行分类和识别，因此计算机科学家经常使用现有图像的反射来有效地将其数据集加倍。

Snavely说，检查这些反射图像与原始图像的不同之处可能会揭示有关机器学习中可能导致结果不准确的偏见的信息。