技术控

    今日:55| 主题:49157
收藏本版 (1)
最新软件应用技术尽在掌握

[其他] 高性能计算场景 IO 优化一例

[复制链接]
丑奴! 发表于 5 天前
53 1

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
冬瓜哥最近闭关中,所以没经常出来分享。这次冬瓜哥想聊一聊高性能计算场景下的一例 IO 优化,这个例子非常偏向于应用层,而不是在底层架构上优化 IO 。
  高性能计算是一个大场景,其由软件和硬件组成。
  高性能计算领域的软硬件

   硬件上,其就是一堆计算核心的组合,当然,这只是其本质,而表象上就有多种形式了,比如:多路 CPU 的服务器( HPC 领域内俗称胖节点)、一台服务器带着若干块 GPU 卡、一台服务器内多片众核心 CPU 、成千上万块独立的主板通过比如以太 /IB 网络互联起来。这些形态上本质都是一堆计算核心和一堆内存。
   
高性能计算场景 IO 优化一例-1 (服务器,应用层,领域,模型,内多)


  其中,胖节点的计算效率最高,编程简单,因为核心之间可以通过高速总线透明的共享内存,但是价格也最贵。
   其次是众核心 CPU ,有些可共享内存,有些也不行,有些采用片上高速 DDR 可做缓存也可以直接寻址或者二者混合,这类形态需要有一定的编程模型和库来支撑了,并不是完全透明的,至少在想要达到更高性能的前提下。
   再就是利用 GPU 内部的数千个计算核心,此时编程模型更加复杂了, GPU 和 CPU 无法共享内存(最新的一些 SDK 里也提供了可共享内存的框架),所以牵扯到数据和代码的传递,不过还好,数据和代码的传递还都是走内存和 PCIE 的,还是可以用单机控制的。
   最麻烦的则是成千上万块主板,也就是单独的机器通过外部网络连接起来,此时,代码只需要在初始时候从管理器分发一次,运行起来之后,机器之间只传递数据,而且这个数据传递并不走内存,机器之间无法透明的共享内存,必须通过网络来传递,进程间的数据传递、协调和同步利用 MPI 库来进行,其编程模型基本上与 GPU 编程模型处在同一个复杂度级别上。
   软件上,可分为底层软件和上层软件。底层软件包含基本的操作系统、编程库,比如 OpenMP 、 OpenCL 、 MPI 、 CUDA  等等,上层软件就是应用软件,也就是实现最终计算逻辑的应用程序,比如 海洋气象地质类、基因分析类、分子动力学类、核物理类、化学化工类 等等,种类繁多。  
  用户环境

   该用户主要应用是进行气象海洋预报业务。海洋预报的计算模型软件有多种,本用户使用了如下软件: WRF 、 FVCOM 、 WaveWatch3 和 SWAN ,其中 FVCOM 是最广泛应用之一。
   FVCOM 是一个有限元分析软件, 包含了多种物理、水质、生态计算模块,该模型基于 Fortran 90/95 标准,且在 MPI (Message Passing Interface) 的框架下实现计算并行化,可以在共享内存及分布式内存多计算节点的高性能计算机上实现并行快速模拟。具体算法已经超出了冬瓜哥的认知范围。
  大量的海洋数据,需要分析、处理和存储,对存储的需求如下:
    (1)     气象数据的接收,需要高性能、低延迟的存储设备
    (2)     要求支持大容量、高带宽、多客户端的并发访问
   该用户原先使用了某开源分布式存储系统,但是由于其性能已经无法满足业务要求,后升级到了浪潮 AS13000-Rack 大规模机架式分布式存储系统。 AS13000 非常有利于满足高性能计算场景的高并发需求。
  


高性能计算场景 IO 优化一例-2 (服务器,应用层,领域,模型,内多)

1234下一页
友荐云推荐




上一篇:4 no-bull takeaways from Microsoft quantum computing
下一篇:goappmonitor:Golang 应用或业务性能监控
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

加旋不好 发表于 5 天前
丑奴!是天才,坚定完毕
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表