网络科技

    今日:1166| 主题:245866
收藏本版
互联网、科技极客的综合动态。

[其他] FCN(6)——从CRF到RNN

[复制链接]
红尘醉一宵 发表于 2016-11-29 22:50:34
96 4

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
前面我们花了大量的篇章介绍了CRF和DenseCRF的内容,下面我们把FCN和CRF串起来。
  CRFasRNN

  前面我们在denseCRF中留了一个小尾巴,那就是unary function。为了让FCN结合起来,这里我们做两个设定:
  
       
  • FCN的结合作为unary function的结果   
  • FCN的结果作为pairwise function中的Q函数的初始值。  
  这样FCN和CRF就连起来了。下面我们还要解决一个问题,就是为什么是CRFasRNN?
  在这篇模型结合的论文中,作者将CRF的求解过程转换成了RNN的形式。由于CRF的求解算法是迭代进行的,因此把算法展开,我们可以将其变成RNN的形式,这里的细节在此就不多说了,大家看看论文基本就能看懂。
  实现

   下面就来看看他的具体实现:  GitHub - torrvision/crfasrnn: This repository contains the source code for the semantic image segmentation method described in the ICCV 2015 paper: Conditional Random Fields as Recurrent Neural Networks. http://crfasrnn.torr.vision/   
  我们先来看看它的prototxt,我们可以用下面这张图表示:
  
FCN(6)——从CRF到RNN-1 (function,Random,method,source,论文)
  可以看出网络的主体部分是由之前的FCN组成。在前面的FCN中我们没有介绍其实现,这里我们就详细看下它的实现。我们从图的左上角出发,到图的左下角,然后再返回到右上角。前面全部是卷积、relu和maxpooling这几部分,后面是不同scale的结果融合。这里详细地展示了这一部分的维度内容。
  从实现中,我们可以看出一些值得深思的细节。
  首先是一开始的padding=100。为了不让最终的feature map太小,添加一个较大的padding是十分必要的。
  其次就是最后一层的MULTI_STAGE_MEANFIELD,这一层我们需要特别介绍一下,虽然在文章中作者提到了CRF as RNN的概念,但是实际上它的实现并没有用RNN的框架,当然Caffe里面并没有这里可用的RNN。这里是将所有的CRF的内容集成到了一个层中,所以这一层会比较复杂,计算量也比较大,其中的反向传播也比较复杂。
  首先我们将算法的流程图展示出来:

FCN(6)——从CRF到RNN-2 (function,Random,method,source,论文)
  可以看出,这其中的计算主要涉及到两个类别—— MultiStageMeanfieldLayer和MeanfieldIteration,其中的MultiStageMeanfieldLayer类主要负责算法内容的组织,而其中的MeanfieldIteration类主要负责迭代计算过程。这些内容我们都可以从上面的图中读出。
  可以看出这其中的细节除了计算高斯滤波部分的Permutohedral比较复杂,属于超纲内容,其他的部分相对比较好理解。关于Permutohedral部分的细节,有机会我们可以开一个CV系列的文章另行讲解。
  MeanfieldIteration的反向操作实际上并不复杂,只要记得把这些过程拆解成一个个小部分慢慢算梯度就好,而MultiStageMeanfieldLayer的反向操作也只是把MeanfieldIteration的反向结果合并起来,具体细节可以去看看源码,这里我们就不再赘述了。
  到这里,我们已经实现了将CNN和CRF无缝连接起来了。比起之前的单独由CNN组成的FCN,我们已经有了很大的进步。
  到这里,实际上我们花了很大的力气在介绍CRF和无向概率图模型的内容,但是我们终于把这部分的内容讲完了。让我休息一下……
  私货时间

  欢迎加入我爱机器学习7群:467165306!
友荐云推荐




上一篇:How to Write a High-Value Lesson Plan that Makes Your Course Easy to Sell
下一篇:MIT人工智能算法披露:我们如何用 200 万张图片预见 1.5 秒后的世界? ...
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

冯翠玉 发表于 2016-11-29 23:41:46
突然觉得红尘醉一宵说的很有道理,赞一个!
回复 支持 反对

使用道具 举报

xuwenx 发表于 4 天前
LZ是天才,坚定完毕
回复 支持 反对

使用道具 举报

123aaa 发表于 4 天前
楼主,么么哒!
回复 支持 反对

使用道具 举报

映安 发表于 4 天前
我也顶起沙发位
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表