环球科创网

只需单击几下 Photoshop的AI神经过滤器即可调整年龄和表情

更新时间:2022-08-29 14:42:29

导读 人工智能正在改变图像编辑和处理的世界,Adobe不想被抛在后面。今天,该公司发布了Photoshop 22 0版的更新,其中包含许多基于AI的功能,其

人工智能正在改变图像编辑和处理的世界,Adobe不想被抛在后面。今天,该公司发布了Photoshop 22.0版的更新,其中包含许多基于AI的功能,其中一些是新功能,有些已经与公众共享。这些工具包括天空替换工具,改进的AI边缘选择,以及(作为展会的亮点)一套图像编辑工具,Adobe称之为“神经过滤器”。

这些滤镜包括许多简单的叠加层和效果,还包括允许进行更深层次编辑的工具,尤其是对肖像的编辑。使用神经过滤器,Photoshop可以调整对象的年龄和面部表情,并通过简单的滑块放大或减少“欢乐”,“惊奇”或“愤怒”之类的感觉。您可以摘下某人的眼镜或抚平他们的斑点。一个怪异的滤镜甚至可以让您将妆容从一个人转移到另一个人。只需单击几下就可以完成所有操作,并且可以轻松调整或完全撤消输出。

“我现在可以说Photoshop是世界上最先进的AI应用程序,” Adob​​e数字成像副总裁Maria Yap告诉The Verge。“我们正在用以前没有的图像创建事物。”

为了实现这些效果,Adobe正在利用生成对抗网络(GAN)的力量。GAN是一种机器学习技术,被证明特别擅长生成视觉图像。有些处理是在本地完成的,有些是在云中完成的,具体取决于每个工具的计算要求,但是每个过滤器只需几秒钟即可应用。(我们看到的演示是在旧版Mac Book Pro上完成的,速度非常快。)

这些滤镜中的许多滤镜对于遵循AI图像编辑的人员都很熟悉。它们是多年来在论文和演示中出现的那种工具。但是,当此类技术从在Twitter上与知情人士共享的尖端实验,到Photoshop等消费巨头的标题功能时,始终具有重要意义。

与这些功能一样,证明将在编辑中进行,而神经过滤器的实际用途将取决于Photoshop的许多用户对它们的反应。但是在The Verge的虚拟演示中,新工具提供了快速且高质量的结果(尽管我们没有看到面部表情调整工具)。这些由AI驱动的编辑并不是完美无缺的,大多数专业润饰商随后都希望介入并对其进行一些调整,但似乎他们会加快许多编辑任务。

这样的AI工具可以从过去的示例中学到东西。因此,例如,为了创建用于消除皮肤斑点的神经过滤器,Adobe收集了专业摄影师进行编辑前后的数千次编辑镜头,并将这些数据输入他们的算法中。GAN就像一对学生和老师一样工作,一部分试图复制这些示例,而另一部分则试图区分此输出和训练数据。最终,即使GAN想要弄清楚两者之间的区别时也感到困惑,训练过程就完成了。

“基本上,我们正在培训GAN进行专业润饰师将进行的校正,” Adob​​e Creative Cloud工程副总裁Alexandru Costin告诉The Verge。

听起来很简单,但是这种培训有很多方法可能会出错。一个大的是偏见的数据。这些算法只知道您向他们展示的世界,因此,如果仅向他们展示例如白色面孔的图像,则它们将无法为肤色不适合此狭窄范围的任何人进行编辑。这种偏见就是为什么面部识别系统通常在有色人种和女性身上表现较差的原因。这些面孔只是不在训练数据中。

Costin说Adobe敏锐地意识到了这个问题。他说,如果它在太多的白脸上训练算法,那么它的神经过滤器可能最终将AI编辑的肖像推向更白的肤色(这是我们过去在其他ML应用程序中看到的问题)。

“我们面临的最大挑战之一是保持肤色。”

Costin说:“我们面临的最大挑战之一就是保持肤色。” “这是一个非常敏感的区域。” 为了消除这种偏见,Adobe成立了审核小组和AI伦理委员会,每次进行重大更新时都对算法进行测试。“我们对每项ML功能进行了非常彻底的审查,以查看此标准并尝试提高标准。”

但是与其他构建AI图像编辑工具的团队相比,Adobe的一个主要优势是其股票摄影目录–涵盖不同年龄,种族,性别的大量图像。Costin说,这使Adobe的研究人员可以轻松地平衡其数据集,以尽量减少偏差。Costin说:“我们用Adobe股票照片对培训数据进行了补充,这使我们能够获得尽可能好的分布式培训集。”

当然,所有这些都不能保证有偏见的结果不会出现在某个地方,尤其是当神经过滤器脱离beta测试并进入普通大众的手中时。因此,每次应用过滤器时,Photoshop都会询问用户是否对结果感到满意,如果不满意,则可以选择报告“不适当的”内容。如果用户选择,他们还可以将其前后图像匿名发送给Adobe进行进一步研究。这样,该公司不仅希望消除偏见,而且希望进一步扩大其训练数据,从而将其神经过滤器推向更高的保真度。

这种基于实际使用情况的快速更新在快速发展的AI研究世界中很常见。通常,当一种新的机器学习技术发布时(通常在名为arXiv的站点上,这是尚未在期刊上发表过的开放获取的科学论文集),其他研究人员将对其进行阅读,采用和修改。在几天之内,即可在社交媒体上互相分享结果和提示。

一些专注于AI的Photoshop竞争对手通过拥抱这种文化来脱颖而出。例如,像Runway ML这样的程序,不仅允许用户使用自己的数据来训练机器学习过滤器(Photoshop不能这样做),而且它还运行着用户生成的“市场”,使人们可以轻松共享和进行实验使用最新的工具。如果设计师或插图画家在Twitter上看到一些有趣的东西,他们希望立即开始使用它,而不是等待它散布到Photoshop中。

作为具有高度重视稳定性的客户的广泛使用的产品,Adobe不能真正与这种速度竞争,但是凭借神经过滤器,该公司将脚趾伸入了这些快速发展的领域。虽然其中两个过滤器被视为已完成的功能,但六个过滤器被标记为“ beta”工具,另外八个仅作为名称列出,用户必须请求访问权限。您可以在下面看到不同过滤器及其相应层的完整列表:

Yap说,这种方法对Photoshop来说是新方法,但有望使Adobe减轻用户对AI工具的期望,并为他们提供更快更新工具的许可。Yap说:“我们建立了这个框架,使我们可以更快地将模型[带给用户],从研究到Photoshop。” “传统上,当我们进行功能(例如更换天空)时,它们确实已真正集成到产品中,因此需要较长的时间才能成熟。” 使用神经过滤器,理想情况下,更新周期会更快。

“我们正试图将这种步伐带入Photoshop,” Costin说。“这将以我们启动时该功能不够完善为代价,但是我们指望我们的用户社区告诉我们该功能有多好[...],然后我们将吸收这些数据并进行完善并加以改善。”

换句话说:AI进步的飞轮即将进入Photoshop,其中更多的用户创建更多的数据,从而创建更好的工具。调整某人的年龄仅仅是开始。

免责声明:本文由用户上传,如有侵权请联系删除!