一篇Ibeo、ETH和斯坦福大学讨论感知OOD数据问题的论文

微信扫一扫,分享到朋友圈

一篇Ibeo、ETH和斯坦福大学讨论感知OOD数据问题的论文

arXiv2020年11月上传的、作者来自Ibeo、ETH和斯坦福大学的论文:“Out-of-Distribution Detection for Automotive Perception“。


其中主要讨论NN的目标识别任务, Out-of-Distribution (OOD)数据是NN的失败之一,检测OOD对 系统安全性 至关重要。一般NN采用softMax normalize计算confidence score,但对OOD不适用。这里采用的 基于不确定性方法 是auxiliary training (GAN)和 post hoc statistics结合,简单有效地检测OOD。这种方法不需要在训练的时候提供OOD数据,也不增加推理计算成本/时间。

这个方法的概述图见如下:这里a-)是分类器和辅助GAN训练,包括Din的处理和Dout生成,b-)是事后Din的统计。推理中Dout分类基于这些分布的距离门限。


辅助GAN训练这一点是从下面参考文献借鉴的:

[23] K. Lee, H. Lee, K. Lee, and J. Shin, “ Training confidence-calibrated classifiers for detecting out-of-distribution samples ,” International Conference on Learning Representations (ICLR), 2018.

该文献给出的一个不同ODD训练数据下的分类器表现图:


其中 产生OOD样本的空间(a) 2D box [−50, 50]^2, 对应的(b) 分类器 decision boundary;而产生OOD样本的空间 (c) 2D box [−20, 20]^2,对应的 (d) 分类器 decision boundary。

改进如图的鉴别器:


还有这个生成器:


而主要的贡献是推广使用事后统计方法,其参考的方法是如下文献:

[20] K. Lee, K. Lee, H. Lee, and J. Shin, “ A simple unified framework for detecting out-of-distribution samples and adversarial attacks ,” in Advances in Neural Information Processing Systems (NeurIPS), 2018, pp. 7167–7177.

其方法是,根据训练数据在网络瓶颈层的权重,计算类条件高斯分布的参数。据说,类条件高斯分布是对预训练特征分布建模的合理选择。

GAN的训练伪代码如下:


其中D和G的损失函数定义为:



而分类器的损失函数为


事后网络统计:首先是cosine similarity measure,


以及马氏-距离:


该距离需要计算confidence,基于chi-square分布。

实验中,Din采用softMax normalize的数据集是CIFAR10,Dout的GAN方法采用数据集Tiny ImageNet和LSUN。检测OOD的数据集是KITTI和nuScenes,前者针对Car、Truck、Cyclist和Pedestrian类,后者的目标类较多,是Barrier、Bicycle、Bus、Car、Construction Vehicle、Bike、Officer、Cone、Trailer和Truck等。

实验结果见以下表:

微信扫一扫,分享到朋友圈

一篇Ibeo、ETH和斯坦福大学讨论感知OOD数据问题的论文

多款3000元内5G机型上市,预计今年卖出2.5亿部5G手机

上一篇

GIMP2.99.2 发布:UI 采用 GTK3 实现、原生支持高分屏和 Wayland

下一篇

你也可能喜欢

一篇Ibeo、ETH和斯坦福大学讨论感知OOD数据问题的论文

长按储存图像,分享给朋友