网络科技

    今日:37| 主题:278756
收藏本版
互联网、科技极客的综合动态。

[快报] 抢视频小编饭碗?微软新技术可自动为视频写标题

[复制链接]
海安 投递于 2016-10-12 10:14:32
300 11
近日,台湾清华大学电子工程系教授林嘉文及孙敏宣布,他们与微软亚洲研究院的陶玫博士合作研发利用计算机视觉技术为视频内容添加标签和标题。

57fca28f21621

抢视频小编饭碗?微软新技术可自动为视频写标题-1-网络科技-清华大学,计算机,准确率,工程系,研究院

据悉,陶玫博士曾参与了微软 COCO 的研发。微软 COCO 是一套全新的图像识别、分类、说明的数据集,为识别多个物体设计而出。被业内熟知的是微软 COCO 图像说明大赛,参赛者利用自主研发的图像识别系统并结合微软 COCO 对指定图像进行文字说明。结果则根据系统说明的准确率、详细程度以及跟人类描述的相似度进行评估。
微软表示, 台湾清华大学两名教授借助微软 COCO 数据集创建了一套系统, 利用计算机视觉技术来确定视频里的主要内容,并为其添加标题。
微软在博文中指出:
孙教授基于深度学习来自动找到视频中的特殊时刻或重要内容,并创建了一个视频标题生成新方法,基于视频中的这些重要内容产生准确及有趣的标题。与此同时,林教授则研发了一种能自动在视频中检测人脸的方法,并为分享这些视频的用户提供更丰富的总结及相关建议。 通过合作,他们的算法能检测并描述出重要内容,同时生成标签及标题。
孙敏教授和他的学生还通过参加 VideoToText challenge 大赛来改善这一系统。消息称,他们将在欧洲计算机视觉会议(ECCV)上展示最新研究成果。
解释和描述视频/图片画面中的内容,不仅需要了解图片中是什么,更要了解图像中的对象有什么联系。利用算法识别视频内容然后生产标题或者标签相对来说难度和计算量更为庞大,而识别图片内容从而生成标签或画面描述文字已愈加成熟。
上个月谷歌发布了最新机器学习系统,通过识别图像中的内容,配上对应文字,目前算法描述图像的准确率已经高达 93.9%。

57fc9df697e25

抢视频小编饭碗?微软新技术可自动为视频写标题-2-网络科技-清华大学,计算机,准确率,工程系,研究院

得益于 COCO,微软在图片描述上也有着一定的积累,其中被广泛应用地就是 One Drive 中的相册归类功能。该功能可以让用户有效分类并展示照片,还能从图片中识别文字。当然,最重要的是它还能对图片特征进行识别分析并进行自动标记。

57fc9ea8ad0c3

抢视频小编饭碗?微软新技术可自动为视频写标题-3-网络科技-清华大学,计算机,准确率,工程系,研究院

除了微软、谷歌外,Facebook 也在今年发布了类似的系统,该系统可以了解照片中正在发生的事情,并且将内容转换成自然语言来描述。Facebook 演示了一个人玩滑板的照片。算法把照片内容分解成“一个滑板,一个男人,一个绝招,他的滑板”,它认为可能已经发生的事情是“做的,玩滑板,正在做”。用户可借助 VPN 翻墙到 iPhone 版 Facebook 后使用,同时也能利用 iPhone 自带的 voiceover 功能对于本来有文字描述的东西都能读出来。

57fc9fd31678e

抢视频小编饭碗?微软新技术可自动为视频写标题-4-网络科技-清华大学,计算机,准确率,工程系,研究院

无论是图片描述还是视频描述,在消费级层面:其不仅可帮助用户自动管理相册(视频集)。此外,该技术可以帮助盲人用户用语音解读照片和视频中的内容。



上一篇:海信黄金周大屏份额突破29%,高端战略收获大屏红利
下一篇:记忆黑客:你历历在目的事情可能都没发生过
123yuyuyuyuyu 投递于 2016-10-12 11:44:59
nO zuO nO dIe
回复 支持 反对

使用道具 举报

yongeo 投递于 2016-10-12 12:35:23
别用你的脾气来挑战我的个性!
回复 支持 反对

使用道具 举报

雨与泪 投递于 2016-10-12 20:05:05
2016-10-12是个特别的日子,值得纪念!
回复 支持 反对

使用道具 举报

僅剩的余溫 投递于 2016-10-12 20:19:33
大人,此事必有蹊跷!
回复 支持 反对

使用道具 举报

326605926 投递于 2016-10-12 20:19:41
楼主,么么哒!
回复 支持 反对

使用道具 举报

金战 投递于 2016-10-12 20:19:44
星期三的心情很不错啊
回复 支持 反对

使用道具 举报

RandallBice 投递于 2016-10-12 20:44:47
不错,顶一个!
回复 支持 反对

使用道具 举报

仅存旳依赖╮ 投递于 2016-10-13 03:05:14
海安有内涵!
回复 支持 反对

使用道具 举报

荷墨池 投递于 2016-10-15 05:27:19
向楼主学习
回复 支持 反对

使用道具 举报

我要投稿

推荐阅读


回页顶回复上一篇下一篇回列表
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 | 粤公网安备 44010402000842号 )

© 2001-2017 Comsenz Inc.

返回顶部 返回列表