科技动态

亚马逊推出Inferentia芯片 提升AWS推理计算效益

微信扫一扫,分享到朋友圈

亚马逊推出Inferentia芯片 提升AWS推理计算效益
0

1.jpg

(图自:AWS

AWS 首席执行官 Andy Jassy 指出:许多企业都在模型训练的定制芯片上投入了大量精力,尽管常规 CPU 上已经能够较好地执行推理运算,但定制芯片的效率明显更高。

与 EC4 上的常规 G4 实例相比,Inferentia 能够让 AWS 带来更低的延时、三倍的吞吐量、且降低 40% 单次的成本。

2.jpg

(截图 via AWS)

新的 Inf1 实例,可实现高达 2000 TOPS 的特性、与 TensorFlow、PyTorch 和 MXNet 集成、且支持可在框架之间迁移的 ONNX 模型格式。

目前其仅可在 EC2 计算服务中使用,但 AWS 将很快为其引入对 SageMaker 机器学习和其它容器服务的支持。

展开阅读全文

美国男子疑利用PS4出售违禁品 FBI让索尼提供聊天记录

上一篇

马云称文凭只是学费的收据,真正的文凭是生活中奋斗来的

下一篇

你也可能喜欢

评论已经被关闭。

插入图片
亚马逊推出Inferentia芯片 提升AWS推理计算效益

长按储存图像,分享给朋友