快捷搜索:

分类器可视化解释StylEx:谷歌等找到了影响图像分类的关键属性

 

选自Google AI Blog

作者:Po-Hsuan Cameron Chen、Maggie Demkin

机器之心编译

编辑:陈萍

本文中,来自谷歌、 希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法 StylEx,该方法能以不同方式修改图像属性来更改其分类器输出。

神经网络可以非常出色地执行各种任务,但它们是如何做出决定的呢?例如,在图像分类任务中,模型是如何确定一张图像属于这一类而不是属于另一类,这通常是一个谜题。解释神经网络如何做决策的过程,可能会在某些领域产生重大的社会影响,例如医学图像分析和自动驾驶。

以前对分类器进行视觉解释的方法(例如注意力图 Grad-CAM)),会强调图像中的哪些区域对分类有影响,但这些方法并没有解释这些区域中的哪些属性决定分类结果:例如是颜色、形状,还是其他的属性决定模型进行这样的分类。另一类方法是通过在一类和另一类之间平滑转换图像来提供解释(例如 GANalyze)。然而,这些方法倾向于一次性改变所有属性(例如颜色、形状),因此,很难隔离单个属性带来的影响。

去年,来自谷歌、 希伯来大学、 MIT 等机构的研究者提出了一种新的分类器可视化解释方法,相关论文被 ICCV 2021 接收。他们提出了 StylEx ,可以自动发现和可视化影响分类器的解耦属性(disentangled attributes)。StylEx 允许通过单独操作这些属性来探索单个属性的影响(也就是说,更改一个属性不会影响其他属性)。StylEx 适用于广泛的领域,包括动物、树叶、面部和视网膜图像。该研究结果表明,StylEx 找到的属性与语义属性非常吻合,可以生成有意义的特定于图像的解释,并且在用户研究中可以被人们所解释。

  • 论文地址:https://arxiv.org/pdf/2104.13369.pdf
  • 论文主页:https://explaining-in-style.github.io/

训练 StyleGAN 来解释分类器

解释猫和狗分类器:StylEx 提供了可以解释分类的 top-K 个解耦属性。移动每个旋钮可以操作图像中的相应属性,同时保持图形的其他属性不变。

例如,要了解给定图像上的猫与狗分类器,StylEx 可以自动检测解耦属性,并可视化操作每个属性如何影响分类器概率。然后用户可以查看这些属性并对它们所代表的内容进行语义解释。例如,在上图中,可以得出狗比猫更容易张开嘴(上图 GIF 中的属性 #4)、猫的瞳孔更像狭缝(属性 # 5),猫的耳朵不倾向于折叠(属性 #1),等等。

下面的视频提供了该方法的简短说明:https://v.qq.com/x/page/m3319c0g8zd.html

给定一个分类器和一个输入图像,该研究希望找到并可视化影响其分类的各个属性。研究人员采用了可以生成高质量图像的 StyleGAN2 架构,整个过程包括两个阶段:

第一阶段:训练 StylEx

论文《StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation》中的研究表明,StyleGAN2 包含一个名为「StyleSpace」的解耦潜在空间,其包含训练图像的单个语义属性。该研究训练了一个类似于 StyleGAN 的生成器来满足分类器需求,从而可以使 StyleSpace 适应分类器特定的属性。

StylEx 通过使用两个附加组件训练 StyleGAN 生成器来实现。第一个是编码器,它与具有 reconstruction-loss 的 GAN 一起训练,并强制生成的输出图像在视觉上与输入相似,从而允许生成器应用于任何给定的输入图像。然而,仅仅只有图像的视觉相似性是不够的,因为它可能不一定捕获对特定分类器(例如医学病理学)重要的细微视觉细节。

为了确保这一点,该研究在 StyleGAN 训练中添加了一个 classification-loss,它强制生成图像的分类器概率与输入图像的分类器概率相同。这保证了细微视觉细节(例如医学病理学)包含在生成的图像中,这对分类器来说是很重要的。

训练 StyleEx:联合训练生成器和编码器。在生成图像和原始图像之间应用 reconstruction-loss,以保持视觉相似性。在生成图像的分类器输出和原始图像的分类器输出之间应用 classification-loss,以确保生成器能够捕获对分类很重要的细微视觉细节。

第二阶段提取解耦属性

训练完成之后,研究者在经过训练的分类器的 StyleSpace 中搜索显著影响分类器的属性,他们对每个 StyleSpace 进行操作并测量其对分类概率的影响。对于给定的图像,研究者寻找对图像分类影响最大的属性。这一过程可以找到 top-K 个特定图像属性。对每个类的图像重复这个过程,可以进一步发现特定类的 top-K 属性,这个端到端的系统被命名为 StylEx。

图像特定属性提取的可视化说明

StylEx 适用于各种领域和分类器

StylEx 适用于各种领域和分类器(二元和多类),下面是感知性别分类器展示的 top-4 属性。

对于性别分类器,以下是每个分类器检测到的前四个属性。对于每个属性,该研究在源图像和属性操作图像之间进行变换。属性(例如胡子、眉毛等)对分类器概率的影响程度显示在每个图像的左上角。

感知性别分类器 Top-4 属性

感知年龄分类器 Top-4 属性

StylEx 揭示了给定分类器可以从数据中学会利用图像不同属性,这些属性可能不一定代表现实中类别标签(例如年轻或年长)之间的实际物理差异。特别是,这些检测到的属性可能会揭示分类器训练或数据集中的偏差。StylEx 可以进一步用于提高神经网络的公平性,例如,通过增加训练数据集的示例来补偿 StylEx 方法揭示的偏差,有针对性的进行补偿。

对于分类严重依赖精细细节的任务,将 classifier loss 添加到 StyleGAN 训练中至关重要。举例来说,在没有 classifier loss 的情况下,在视网膜图像上训练的 GAN 不一定会产生与特定疾病对应的精细病理细节。而添加 classification loss 使得 GAN 生成这些微妙的病理,作为分类器的解释。下面以视网膜图像分类器(DME 疾病)和不健康 / 健康树叶分类器为例。StylEx 能够发现与疾病指标一致的属性,例如视网膜的「硬渗出物」。

视网膜图像 DME 分类器的 Top-4 属性

不健康 / 健康树叶图像 Top-4 属性

特定于鸟的分类器(200 个类),事实上 StylEx 检测到与 CUB(鸟类数据集) 分类中的属性相对应的属性

原文链接:https://ai.googleblog.com/

[注:本文部分图片来自互联网!未经授权,不得转载!每天跟着我们读更多的书]


互推传媒文章转载自第三方或本站原创生产,如需转载,请联系版权方授权,如有内容如侵犯了你的权益,请联系我们进行删除!

如若转载,请注明出处:http://www.hfwlcm.com/info/257716.html