论文链接

作者：Junjie Hu, Yan Zhang, Takayuki Okatani

一、摘要

​ Recently, convolutional neural networks (CNNs) have shown great success on the task of monocular depth estimation. A fundamental yet unanswered question is: how CNNs can infer depth from a single image. Toward answering this question, we consider visualization of inference of a CNN by identifying relevant pixels of an input image to depth estimation. We formulate it as an optimization problem of identifying the smallest number of image pixels from which the CNN can estimate a depth map with the minimum difference from the estimate from the entire image. To cope with a difficulty with optimization through a deep CNN, we propose to use another network to predict those relevant image pixels in a forward computation. In our experiments, we first show the effectiveness of this approach, and then apply it to different depth estimation networks on indoor and out-door scene datasets. The results provide several findings that help exploration of the above question.

二、介绍

  1. CNN如何从单目图像进行深度估计在很大程度上还是未知的，这会成为这种方法在实际应用中的阻碍
  2. 一种想法是人类视觉观察到的大多数线索都被认为与视野中的小区域有关
  3. 通过实验可以确认：
    • CNN可以仅从输入图像中的一组稀疏像素中推断出深度图，其准确度与从整个图像中推断出的准确度相似
    • 选择相关像素的掩码可以由CNN稳定地预测出来。训练这个CNN用于预测目标CNN的掩码以进行深度估计
  4. 可视化结果提供了以下几个发现：
    • CNN只利用图像中的部分边缘，这些边缘的重要性更取决于它们对捕获场景几何的用处
    • 对于户外场景，场景消失点周围的远处区域会被赋予较大的权重

三、 相关工作

  1. 基于梯度（图像梯度）的方法计算一个显著图，它将每个像素对最终预测的敏感性可视化
  2. LIME（Local Interpretable Model-Agnostic Explanations），一种解释机器学习模型的方法
  3. CAM（Class Activation Mapping）,类激活映射

四、 方法

问题制定

  1. 人类视觉被认为是使用多种线索来推断深度信息的，其中大部分与视野中小区域相关。所以作者做出假设：只要这些像素与深度估计有关，CNN从一组选定的稀疏像素中也同样能推断出深度图

  2. 使用一个二元掩码MM对输入进行掩码操作I⊗MI \otimes M，放宽二元掩码的条件，允许MM再[0, 1]范围内具有连续值，将问题表述为优化问题：

    Y^=N(I⊗M)\hat{Y}=N(I \otimes M)

    min⁡Mldif(Y,Y^)+λ1n∥M∥1\min _{M} l_{\mathrm{dif}}(Y, \hat{Y})+\lambda \frac{1}{n}\|M\|_{1}

    其中ldifl_{dif}是YY和Y^\hat{Y}之间差异的度量；λ\lambda是MM稀疏度的控制参数；nn是像素数量；∥M∥1\|M\|_{1}是MM的ℓ1\ell_{1}范数

  3. 模型结构：
    image-20211021110943854

学习预测掩码

  1. 使用额外的网络GG来预测M≈G(I)M \approx G(I)，所以优化问题变为：

    min⁡Gldif(Y,N(I⊗G(I)))+λ1n∥G(I)∥1\min _{G} l_{\mathrm{dif}}(Y, N(I \otimes G(I)))+\lambda \frac{1}{n}\|G(I)\|_{1}

    其中∥G(I)∥1\|G(I)\|_{1}表示G(I)G(I)的ℓ1\ell_{1}范数

  2. 作者考虑尽可能多地移除不重要的像素，同时最大程度维持原始预测。还有另一种识别输入中重要像素的方法：

    min⁡G−ldif(Y,N(I⊗G(I)))+λ1n∥(1−G(I))∥1\min _{G}-l_{\mathrm{dif}}(Y, N(I \otimes G(I)))+\lambda \frac{1}{n}\|(1-G(I))\|_{1}

image-20211021110943854

五、实验

实验设置

  1. 数据集
    由于数据集仅提供稀疏深度图，所以使用NYUv2数据集的深度补全工具箱来插入缺失深度的像素
  2. 目标CNN模型
    • 基于ResNet-50的编码器-解码器结构网络
    • 基于ResNet-50，DenseNet-161和SENet-154的骨干网络
      • ldepth=1n∑i=1nF(ei)l_{\mathrm{depth}}=\frac{1}{n}\sum_{i=1}^{n} F\left(e_{i}\right)：使用最广泛的一种测量深度值的损失
      • lgrad =1n∑i=1n(F(∇x(ei))+F(∇y(ei)))l_{\text {grad }}=\frac{1}{n}\sum_{i=1}^{n}\left(F\left(\nabla_{x}\left(e_{i}\right)\right)+F\left(\nabla_{y}\left(e_{i}\right)\right)\right)：场景表面的梯度差异损失
      • lnormal =1n∑i=1n′′(1−cos⁡θi)l_{\text {normal }}=\frac{1}{n} \sum_{i=1}^{n^{\prime \prime}}\left(1-\cos \theta_{i}\right)：法线与场景表面的方向差异损失
        其中，F(ei)=ln⁡(ei+0.5)F\left(e_{i}\right)=\ln \left(e_{i}+0.5\right)，ei=∥yi−y^i∥1e_{i}=\left\|y_{i}-\hat{y}_{i}\right\|_{1}，θi\theta_{i}是由真实深度图和估计深度图计算出的表面法线之间的角度
  3. 用于预测MM的网络GG
    • 网络GG也是编码器-解码器结构，其中编码器使用DRN（dilated residual network）;解码器使用包含3个上采样模块其后接一个3×33 \times 3卷积层的网络
    • loss：ldif=ldepth +lgrad +lnormal l_{\mathrm{dif}}=l_{\text {depth }}+l_{\text {grad }}+l_{\text {normal }}

从稀疏像素中估计深度信息

  1. 评估不同稀疏参数λ\lambda对深度估计准确率的影响：
    image-20211021170313999
  2. 比较不同λ\lambda，不同MM以及不同估计深度图Y^\hat{Y}组合对的示例：
    image-20211021170949674

预测掩码分析

  1. NYU-v2数据集
    不同输入图像和不同深度预测网络的预测掩码：
    image-20211021210900177
    • 可以看出不同网络之间只有微小的差别，这将证明可视化方法可以稳定地识别相关像素以进行深度估计
    • MM倾向于在图像边缘上有非零值，不过它倾向于在对象的填充区域上有非零像素，而不是在它们的边界上
    • 一些明显的图像边缘有时会在MM中消失，而一些模糊的边缘却有较大的值
    • 比较MM与边缘图对预测影响：
      image-20211021213004103
      可以看出使用MM产生的深度估计精度更高
  2. KITTI数据集
    不同输入图像和不同深度预测网络的预测掩码：
    image-20211021213316816
    • 与NYU-v2数据集一样，预测掩码倾向于保留边缘和填充区域，并且与边缘图明显不同
    • 场景中消失点周围的区域在预测的掩码中被明显突出出来，且数据集中的所有图像都是这种现象
  3. 总结与讨论
    • 重要/不重要的图像边缘：网络NN选择深度估计所需的重要边缘并且选择似乎与边缘的强度无关（我们推测所选的那些边缘对于推断 3D 结构是必不可少的）
    • 关注对象内部的区域：对于较小的对象，这种情况更常见，尽管可能有一部分稀疏约束的原因（我们推测网络NN可以“识别”对象并使用它们的大小来推断与它们的绝对或相对距离）
    • 消失点：消失点周围的区域（或简单的远处区域）总是几乎无一例外地突出显示，这说明这些区域对提供准确的深度很重要（这可能由于损失函数评估绝对深度的差异，远处的场景点往往会产生较大的误差，就会被赋予更多的权重；也可能是由于消失点是理解场景集合的重要线索）

训练损失函数评估

  1. 三种损失函数组合的估计掩码MM比较：
    image-20211022085807895

    可以看出lgrad l_{\text {grad }}更加注重物体表面，进一步添加lnormall_{\text {normal}}则会更注重小物体并且使边缘更笔直（当它们本应笔直时）

总结与结论

  1. 本篇论文通过可视化方法来探究CNN如何从单目图像中推断场景深度

  2. 将问题表述为一个优化问题：选择最少的像素，CNN从中估计出的深度图与它从整张图象中估计出的差异最小。由于直接通过CNN进行优化存在困难，于是使用额外的网络来预测输入图像的掩码

  3. 实验结果提供几个发现：

    • CNN似乎是根据场景几何推理的重要性而不是像素的强度来选择像素
    • CNN不仅关注边界而且还关注每个对象内部区域
    • 消失点周围的图像区域对户外场景深度估计的重要性

  4. 文章方法还可用于可视化不同损失函数深度估计CNN的效果