中科白癜风医院好吗 http://www.pfzhiliao.com/
选自arXiv作者：XinleiChen、RossGirshick、KaimingHe、PiotrDollar机器之心编译滑动窗口在目标检测中非常重要，然而最近何恺明等研究者表明，这个范式同样可以用于实例分割。他们提出一条新的道路，即将密集实例分割看成一个在4D张量上进行的预测任务，这也就是TensorMask通用框架。该论文是FAIR实验室完成的，除了何恺明外，一作陈鑫磊博士也非常厉害。陈鑫磊本科毕业于浙江大学，博士在CMU（-）完成，他从年开始就在AAAI、ICCV和CVPR发过13篇顶会论文，其中有8篇是一作。为什么需要TensorMask滑动窗口范式（sliding-windowparadigm）是计算机视觉领域最早、最成功的概念之一，这种技术通过查看一组密集图像上的每个窗口来寻找目标，和卷积神经网络产生了自然的关联。最近，避开第二阶段的提炼，以直接滑动窗口预测为核心的边界框目标检测器开始复苏，并取得了良好的效果。但相比之下，该领域的密集滑动窗口实例分割并未取得同步的进展。为什么边界框的密集检测发展如此之快，但实例分割却落后了呢？这是一个具有根本科学意义的问题。该论文的目标就是弥补这一差距并为密集实例分割研究奠定基础，为了这个目标，作者提出了一种名为TensorMask的框架。利用TensorMask框架，研究者在4D张量的标度索引列表上开发了一个金字塔结构，并将其命名为tensorbipyramid。他们的实验表明，TensorMask可以生成与MaskR-CNN相似的结果（见图1、2）。图1：TensorMask的输出。图2：TensorMask和以ResNet--FPN为骨干网络的MaskR-CNN的示例结果。二者在定性和定量标准上都非常接近。表明这一密集滑动窗口范式在实例分割任务上也可以非常有效。这些有力的结果表明，TensorMask框架可以为将来的密集滑动窗口实例分割研究拓宽道路。说不定在挖了全景分割这个坑后，恺明大神又为我们指引了一条新的发展方向。什么是TensorMask研究者认为，目前还缺乏定义密集Mask表征的概念以及这些概念在神经网络中的有效实现。边界框有不考虑比例的固定低维表征，但分割Mask可以利用更加结构化的丰富表征。例如，每个Mask本身都是一个2D空间图，较大对象的Mask可以从较大空间图的使用中获益。为密集Mask开发有效的表征是实现密集实例分割的关键一步。为了解决这一问题，研究者定义了一组核心概念来表征高维张量Mask，这使得探索密集Mask预测的新型网络成为可能。研究者提出了若干此类网络并利用其进行了实验，以展示所提出的表征方法的优点。TensorMask框架创建了第一个密集滑动窗口实例分割系统，达到的效果接近MaskR-CNN。TensorMask表征的核心理念是利用结构化的4D张量在一个空间域上表征Mask。这一理念与之前分割与类无关的对象的工作形成了对比，如DeepMask和使用结构化3D张量的InstanceFCN，其中的Mask被打包到第三个「通道」轴。该通道轴与表征目标位置的通道轴不同，它没有明确的几何意义，因此难以操纵。通过使用一个基本的通道表征，人们错过了从使用结构化数组将Mask表征为2D实体中获益的机会，类似于表征2D图像的MLP和ConvNet之间的差别。与这些通道导向的方法不同，本文作者提出利用4D形状张量（V,U,H,W），其中的（H,W）表征目标位置，（V,U）表征相关Mask位置，它们都是几何子张量，即它们都有与图像相关的单元和几何意义定义完整的轴。这种从非结构化通道轴上的编码Mask到使用结构化几何子张量的视角转变，使得定义新的运算和网络体系架构成为可能。这些网络可以直接以几何上有意义的方式在以(V,U)子张量上进行运算，包括坐标变换、上/下尺度变换和尺度金字塔的使用。论文：TensorMask:AFoundationforDenseObjectSegmentation链接：

转载请注明:http://www.aideyishus.com/lkzp/6519.html