现今存在的通用目标检测方法大多数在一般大小的物体上面检测效果较好,但是针对小物体的检测效果较差。目前的检测方法基本基于深度学习,而神经网络是由逐层卷积网络组成的,我们以一个常用的分类神经网络举例。

Generic image classification baseline.

网络中包含有一系列的卷积+pooling层,在检测网络中,如YOLO、SSD、Faster R-CNN等中也会大量使用这种类似结构,我们利用神经网络将600x600的输入转化为30x30的特征。但是这样的网络结果造成的一个非常直观的问题,如果在原始(600x600)图片中很小的物体,经过卷积映射为低维特征(30x30)之后,小物体特征几乎可以忽略不计,甚至完全消失,在训练过程中,网络在靠后的特征层中就失去了小物体的监督信息,因此就会造成检测性能的下降。

本文旨在总结几种常见的解决小物体检测的方法,大体可以分为四类:多尺度特征学习、数据增强、采用训练策略、基于GAN的检测。

1.多尺度特征学习

如何去处理特征尺度问题对于小物体检测十分重要,大体可以分为7类:特征图像金字塔、单尺度特征、金字塔特征层、整合特征、特征金字塔网络、特征融合和特征金字塔生成、多尺度融合模块。

特征图像金字塔

将输入图片resize到不同尺度,在不同尺度上面进行训练,学习得到在几个不同尺度上面的检测器,利用不同的检测器对图片作出检测。

单尺度特征

例如Faster RCNN等方法,只采用单尺度特征层进行检测,这样的话由于最后一层的感受野是固定的,因此实际上是忽略了对于小物体检测的关注。

金字塔特征图

对于特征图像金字塔的改进策略就是不是在不同尺度的图片上面进行检测,而是在图片的不同特征层上面进行检测,例如常见的SSD网络。

整合特征

首先我们对图片提取不同层次的特征,然后将来自不同层次的特征映射进行一个融合,形成一个融合特征,然后在融合特征上面进行检测。

特征金字塔网络

特征自底向上传播,然后自顶向下上采样,对应层进行融合,分别在不同的层作出预测。

特征融合和特征金字塔生成

首先将来自不同尺度的特征进行级连融合在一起生成特征图,然后利用生成的特征图产生一系列的金字塔特征,分别在每一层作出检测。

多尺度融合模块

采用skip-connection将不同尺度特征进行融合。

2.数据增强

采用例如flipping、cropping、rotating、contrasting等手段对原始图片进行变换,实际上是增加了数据的多样性,这对改进训练效果是十分有效的。特别来讲,将那些包含小物体的图片进行过采样,能够有效改善小物体检测的性能。

Augmentation for small object detection

3.训练策略

An Analysis of Scale Invariance in Object Detection - SNIP一文针对小物体检测,在训练过程中进行了改进,SNIP是对多尺度训练的一种扩展。具体方法是

1.选取三种图像分辨率训练得到的proposal。

2.对于每个分辨率的图像,BP时只回传在对应尺度范围内的proposal梯度。

3.这样保证了只使用一个网络,但是每次训练的物体的尺寸都是一致的。

包括SNIP的改进SNIPER都是对多尺度训练作出的改进。

基于GAN的检测

Perceptual GAN中对生成器和判别器都进行了修改,使得生成器能够生成小目标的超分表达,判别器分为两个分枝,对抗分枝和感知分枝。对抗分枝用于区分生成的超分表达与大ground truth图片。感知分枝用于验证生成的表达对于检测精度的获益量。

MTGAN方法中采用GAN的思想,Generator重建低分辨率RoI图像至高分辨率,Discriminator是multi-task的,不仅仅知道G重建出更高质量的高分辨率RoI图像,并且基于重建后的高分辨率目标图像,同时完成bbox cls、reg的任务。

延伸文章

An Energy and GPU-Computation Efficient Backbone Network for Real-Time Object Detection

Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network

Underwater object detection using Invert Multi-Class Adaboost with deep learning

MDSSD: Multi-scale Deconvolutional Single Shot Detector for Small Objects

Feature-Fused SSD: Fast Detection for Small Objects



object detection

本博客所有文章除特别声明外,均采用 CC BY-SA 3.0协议 。转载请注明出处!