神经网络到底可以用来做什么？这是近年来一直备受争议的人工智能的“黑匣子”问题。上周，英伟达的机器学习科学家报告了关于在神经网络技术研究方面取得的一些进展。
在一个虚假的面部图像展示中，研究人员声称有一种新颖的方式来分离出神经网络在上层“看到”的图像方面，例如物体的方向，以及底层图像，如纹理的细节等。该团队发布的视频中显示，现在熟悉的“生成对抗网络”技术即简称为GAN，能创造一些惊人的虚假图像风格。
英伟达
上周四发表在arXiv预打印服务器上的“基于样式的生成对抗网络生成器架构”一文中，英伟达的研究人员Tero Karras，Samuli Laine和Timo Aila描述了他们一年前关于使用生成对抗网络GAN制作风格头像的工作。
这个工作的动机是研究生成对抗网络GAN可以做的事情。他们写道，“生成器继续以黑匣子的形式运行，尽管最近有所努力，但仍然缺乏对图像合成过程各方面的理解。”因此，“没有定量的方法可以相互比较不同的生成器。”他们的解决方案的关键是在神经网络中插入一个额外的部分，将他们称之为的面部的“高级”特征（例如头部的角度）与低级特征（例如肤色）分开。通过这种方法，研究人员能通过独立地调整这些特征或属性来训练网络以创建其新图像。这种方法是基于称为“风格转移”的东西，即可以生成并复制梵高的画笔技术的图像，然后将其映射到街景的照片上，创建出一种新风格的图片。
去年康奈尔大学研究人员Xun Huang Serge Belongie介绍了一种名为“自适应实例规范化”即简称“AdaIN”的技术，可以从每个图像中提取特征来创建一种新风格。
英伟达制作的虚假头像
英伟达团队在此基础上增加了一个新变化――他们能自由操纵从高级别到低级别的特征，并以更灵活的混合方式匹配包括从头部大小到雀斑的面部属性。理论上，通过这种方式调整图像，会更清楚神经网络在其每个过程实例中所做的事情，这是一种进入网络操作的窗口。
而实际效果是能够通过调整软件中的控件来快速轻松地“变形”头像，就像在Photoshop中更改图片的颜色一样容易。另一个惊人发现是，他们创建的生成对抗网络GAN现在处理虚假图像所需的信息比过去的方法要少得多。 它不是费力地从一个图像的像素“映射”到另一个图像来传输样式，而是使用从AdaIN获得的样式提示。正如作者所写，“我们发现，生成对抗网络能够产生非常有意义的结果，即使它只通过控制AdaIN操作的方式产生。”
