都在说GPT-3和AlphaFold,2020没点别的AI技术突破了?

2020 年在紧张的防疫工作中悄然过去。这一年,人工智能却从来没有停下前进的脚步。

这一年人工智能行业有哪些新进展?为全球疫情做了哪些贡献?明年趋势又将如何?数据科学社区 Analytics Vidhya 对此进行了总结。

报告认为,2020 年是巨大飞跃的一年。从 OpenAI 的 GPT-3,再到 AlphaFold,都是令人振奋的成就。与此同时,数据科学在机器学习、自然语言处理(NLP)、计算机视觉等领域中蓬勃发展。

一起来逐一盘点 2020 的哪些突破性的技术吧:

自然语言处理(NLP)最大语言模型 GPT-3

今年 2 月微软才发布全球最大的深度学习模型,拥有 170 亿参数的 Turing NLP,几个月之后它就被 GPT-3 远远地超越了。

GPT-3 是一个具有1750 亿参数的自然语言深度学习模型,它还收集了 Common Crawlhe 和 Wikipedia 的数据集,数据集总量是之前发布的 GPT-2 的 116 倍,是迄今为止最大的训练模型。

作为 GPT-2 的升级版,它们功能上有什么异同呢?

虽然都是基于 Transformer 的,修改初始化、预规范化、可逆标记化性能也都是一样的。

但是 T 它们的 ransformer 类型不同,GPT-3 使用了一种类似于稀疏 Transformer 的东西,在各层中运用了交替密集、局部带状的稀疏注意模式。

GPT-3 还完美地弥补了 BERT 的两个不足之处,它既不用对领域内标记的数据过分依赖,也不会对领域数据分布过拟合。

这个强大的语言模型,不仅能够答题、翻译、算数、完成推理任务、替换同义词等。它还能够撰写新闻,写出来的新闻有理有据,难辨真假。

这么强大的 GPT-3,普通的用户应该怎么使用?

OpenAI 以付费的形式开放了 API,只要通过一个 ” 文本输入、文本输出 ” 的接口,就可以访问他们的 GPT-3 模型。

它的相关论文入选了 NeurIPS2020 最佳论文。

论文地址:

https://arxiv.org/abs/2005.14165

项目地址:

https://github.com/openai/gpt-3

参考链接:

https://openai.com/blog/openai-api/

最大聊天机器人 BlenderBot

BlenderBot 是 Facebook 开源的94 亿参数聊天机器人。

Facebook 宣称,BlenderBot 比 Google 的 Meena 更好,它是 Facebook 多年研究的成果,具有包括同情心、知识和个性在内的多种会话技巧的组合。

根据人类评估者的看法,BlenderBot 在参与度方面优于其他模型,并且感觉更人性化。

这个聊天机器人包含 94 亿个参数,具有改进的解码技术,新颖的技能融合,是之前最大的聊天机器人系统的3.6 倍。

官方博客:

https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/

项目地址:

https://parl.ai/projects/recipes/

计算机视觉目标检测模型 DETR

DETR 是使用 Transformer 的端到端目标检测模型。

与传统的计算机视觉模型不同,DETR 将目标检测问题作为 NLP 模型中的预测问题来解决。

Facebook 声称 DETR 是 ” 一种重要的目标检测和全景分割新方法 “。它包括一个基于集合的全局损失,该损失使用二分匹配以及一个 Transformer 编码器 – 解码器体系结构来强制进行唯一的预测。

与以前的物体检测系统相比,DETR 的体系结构完全不同。它是第一个成功集成 Transformer 作为检测 pipeline 的中心组建模块的目标检测框架。

DETR 通过最先进的方法实现性能均衡,同时完全简化了体系结构。

官方博客:

https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers

源代码:

https://github.com/facebookresearch/detr

语义分割模型 FasterSEG

FasterSEG 不仅有着出色的性能,也有着最快的速度。它是一个实时语义分割网络模型。

众所周知,语义分割可以精确到对图像的像素单位进行标注。

但随着时代发展,图像的分辨率越来越高。

这里,FasterSeg 采用神经架构搜索(NAS)的方式,使之可以被应用到更新颖的、更广泛的搜索空间,解决不同分辨率的图像问题。

它还提出了一种解耦和细粒度的延迟正则化的处理方式,这种方法,在提高准确度的同时,也能够提高速率,从而缓解 ” 架构崩溃 ” 问题。

通过实验发现,FasterSeg 在保持了准确度的同时,运行速度比 Cityscapes 快了 30% 多。

关于 FasterSeg 的论文被发表在 ICLR 2020 上。

论文地址:

https://arxiv.org/abs/1912.10917

项目地址:

https://github.com/VITA-Group/FasterSeg

EfficientDet-D7

EfficientNet-D7 主要用于 CV 领域上的边缘设备,使之更加高效便利。

它由谷歌基于 AutoML 开发,在 COCO 对象检测任务上达到了SOTA 水平。

它需要的模型参数比同类产品少 4-9 倍,在 GPU 上的运行速度则比其他检测器快 5-11 倍。

其作者是来自谷歌大脑的工程师 Mingxing Tan 和首席科学家 Quoc V. Le。

它的相关论文被 CVPR 2020 采用。

论文地址:

https://arxiv.org/abs/1911.09070

项目地址:

https://github.com/google/automl/tree/master/efficientdet

Detectron2

这项超强 PyTorch 目标检测库来自 Facebook。

比起初代 Detectron,它训练比之前更快,功能比之前更全,支持的模型也比之前前更丰富,还一度登上 GitHub 热榜第一。

实际上,Detectron2 是对初代 Detectron 的完全重写:初代是在 Caffe2 里实现的,而为了更快地迭代模型设计和实验,Detectron2 是在 PyTorch 里从零开始写成的。

并且,Detectron2 实现了模块化,用户可以把自己定制的模块实现,加到一个目标检测系统的任何部分里去。

这意味着许多的新研究,都能用几百行代码写成,并且可以把新实现的部分,跟核心 Detectron2 库完全分开。

Detectron2 在一代所有可用模型的基础上(Faster R-CNN,Mask R-CNN,RetinaNet,DensePose),还加入了了 Cascade R-NN,Panoptic FPN,以及 TensorMask 等新模型。

开源地址:

https://github.com/facebookresearch/detectron2

DeepMind 的 AlphaFold 解决蛋白质折叠问题

谷歌旗下人工智能技术公司 DeepMind 提出的深度学习算法「AlphaFold」,破解了困扰生物学家五十年之久的蛋白质分子折叠问题。

AlphaFold 还能够准确判断出蛋白质结构中的哪一个部分更重要。

Nature、Science 争先报道这项科技成果,科技大佬们也纷纷发来贺电。

Alphafold 实现了在生物学上的重大突破,成为了 CV 和 ML 领域的里程碑,被称作是:” 生物界的 ImageNet 时刻 “。

在这个算法中,科学家将蛋白质的折叠形状看作一个 ” 空间图 “,用残基(residue)来表示它们之间的节点。由此创建了一个注意神经网络系统,进行端与端之间的训练,探索出蛋白质的具体结构。

为了训练好这个算法,Alphafold 采用了具有 17 万个蛋白质结构的数据库,使用约 128 个 TPUv3 内核(相当于 100-200 个 GPU)运行数周,算法的效率较高。

这项研究成果的影响深远。哥伦比亚生物学家 Mohammed AlQuraishi 在 Nature 文章中说道:

这对蛋白质结构预测领域影响深大,是一流的科学突破,也是我毕生追求的科学成果。

开源代码:

https://github.com/deepmind/deepmind-research/tree/master/alphafold_casp13

论文地址:

https://www.biorxiv.org/content/10.1101/846279v1.full.pdf

强化学习 Agent57 得分高于人类 baseline

Agent57 是由 DeepMind 开发的,在 Atari 测试集中的 2600 场游戏比赛中,它的成绩都高于人类平均水平。

它还创造了 57 种不同的 Atari 视频游戏的评估机制。由于这些评估机制要求 RL 智能体要掌握的东西太多了,因此,很少有 RL 算法能够实现。

Agent57 在其 Arcade 学习环境中 ( ALE ) 环境中采用了 RL、模型学习、基于模型的训练、模仿学习、迁移学习和内推力等一系列方法。

它提供的 Atari2600 游戏环境接口,使人类玩家能接受更丰富的人机挑战。

在游戏方面,Agent57 毋庸置疑成为最强的 RL 智能体。

其研究论文发表在了《人工智能研究杂志》上。

论文地址:

https://arxiv.org/abs/1207.4708f

机器学习运维兴起

MLOps(Machine learining Operations)是数据科学领域中一个相对较新的概念。类似于 DevOps(Development 和 Operations 组合词),简单来说,就是机器学习方面的 DevOps。

如果说 DevOps 是为 IT 开发者服务,解决了开发者将项目交给 IT 运营部门实施和维护的问题。

那么,MLOps 就为数据科学家、ML 工程师提供服务,使他们转向协同工作,提高工作效率。

它拥有一套完整的行为策略方式,用来解决 ML 和 AI 在运行周期内遇到的各种问题。

在增长最快的 GitHub 项目 Top-20 中有 5 个是机器学习运维工具。

这表明整个 AI 行业正在从 ” 如何开发模型 ” 转向 ” 如何运维模型 ” 的趋势。

参考链接:

Machine Learning Operations (MLOps)

开源地址:

https://github.com/microsoft/MLOps

AI 对抗新冠病毒

世界卫生组织列出了对抗新冠病毒的 9 大研究方向。

美国白宫邀请 Kaggle 参与其中,发起 NLP 挑战,找到这 9 大关键问题的答案。

在 Kaggle 上,包含20 万篇学术文章的新冠数据集,免费提供给世界各地的 NLP 研究和 AI 研究,希望全世界 AI 学者,能够科技手段,促进解决新冠病毒问题。

数据集由白宫科学技术政策办公室协调策划,艾伦 AI 研究所、扎克伯格基金会、乔治城大学安全与新兴技术中心、微软研究院、IBM 等多家科技巨头都有参与贡献。

Kaggle 还发动了一个预测比赛。预测全球不同地区感染新冠肺炎、死亡人数等。并且将预测的数据与实际数据对比,形成一个数据预测模型。

假如预测模型足够好,就可以缓解新冠肺炎带来的医疗资源稀缺问题。

新冠病毒九大研究方向:

https://www.who.int/blueprint/priority-diseases/key-action/Global_Research_Forum_FINAL_VERSION_for_web_14_feb_2020.pdf?ua=1

新冠数据集:

https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge/

展望 2021 年的机器学习

从 NLP 到计算机视觉,在从强化学习到机器学习运维。所有人见证了 AI 领域的进步,也期待 AI 能够为全球疫情提供力量。

科技仍在进步,2021 年又会发生什么样的变化呢?

Analytics Vidhya 预测了一下 2021 年的一些关键趋势:

1、2021 年数据科学领域的工作机会将继续增加。因为数据爆炸和消费习惯的改变,数据科学将会扮演越来越重要角色。同时,传统的制造业、采矿业也需要对数据进行分析。

2、Facebook 的 PyTorch 使用率将超过 Google 的 TensorFlow。机器学习框架之战有两个主要竞争者:PyTorch 和 TensorFlow。分析表明,研究人员正在逐渐放弃 TensorFlow,大量使用 PyTorch。

3、Python 在 2021 年将更加流行。毋庸置疑,Python 是当前最受欢迎的语言。为了巩固它的地位,在 10 月时候,它推出了 Python 3.9,提升性能。目前,Python 3.10 现在正在开发中,预计 2021 年初发布。

4、基于前疫情时代数据的模型有效性将下降。疫情导致全球的消费习惯发生了改变,前疫情时代的数据模型有效性在逐渐下降。在后疫情时代,谁能抓住这些新的消费模式特征,谁就能取得成功。

5、数据市场将持续上升。新冠疫情改变了全球的消费行为和市场游戏规则,这意味着多样化、全新的数据集正在产生,将创造更大的价值。

量子位
我还没有学会写个人说明!
上一篇

“科普中国-我是科学家”31期演讲即将开始

下一篇

一年半跻身网约车业务前二,现发起首个自动驾驶联盟,T3出行是一家怎样的公司?

你也可能喜欢

评论已经被关闭。

插入图片