技术控

    今日:43| 主题:49507
收藏本版 (1)
最新软件应用技术尽在掌握

[其他] PPTV之大数据集群容器化研究

[复制链接]
上帝愛米修 ◎ 发表于 2016-10-1 21:08:03
335 7

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
【编者的话】如何统一调度两个集群的物理资源,有效节约成本?
  背景

  PPTV作为国内视频领域的领先者,对于大规模流媒体的存储、处理、分发及应用,有着迫切的要求。容器技术及微服务模式的出现,使大规模的研发交付效率大为提高。因此我们基于Docker技术打造了DCOS。集群物理资源的调度用Mesos,容器编排用Marathon,并以此为核心,结合Docker和Nginx,开发了DCOS管理控制台,权限管理模块,统一日志管理模块,IP池管理模块,存储管理模块,并与持续集成平台Jenkins集成,实现应用容器的创建、运行。同时我们也有一个独立于容器平台的大数据集群,主要运行批处理任务,它的资源调度系统是Yarn。在容器平台上运行的业务高峰一般发生在白天或晚上的黄金时间,而批处理任务多数运行在深夜。这样就产生一个需求,如果能够统一调度这两个集群的物理资源,业务繁忙的白天将更多的资源用于容器平台,到了深夜就将资源更多地用于批处理任务,就能更有效的节约成本。但是这两个集群采用了两个不同的资源调度系统Mesos和Yarn,使共享资源成为一个课题。本篇介绍了通过Apache Myriad项目解决这一课题的研究。
  Mesos资源调度简介

   
PPTV之大数据集群容器化研究-1 (调度系统,黄金时间,共享资源,流媒体,控制台)

   图 1
  图1是官方的一个例子。Mesos集群由提供资源的Agent、负责调度资源的Mesos master以及使用资源的Framework构成。
  
       
  • Agent将自己的资源(CPU、内存等)报告给Mesos master。   
  • Mesosmaster根据策略将资源提供(offer)给Framework。   
  • Framework再根据自己的策略决定哪个task在哪台Agent执行。   
  • 通过Mesos master通知相应的Agent去执行。  
  这里可以看出Mesos是一个两级调度系统。Mesos本身只对Framework做资源调度,然后由各个Framework根据自己的策略针对task进行资源调度。
  Yarn资源调度简介

PPTV之大数据集群容器化研究-2 (调度系统,黄金时间,共享资源,流媒体,控制台)

   图 2
  图2是Yarn的资源调度架构图。与Mesos类似由提供资源的NodeManager、负责调度资源的ResourceManager、使用资源的Application(图中的AppMaster)构成。
  
       
  • NodeManager将自己的资源(CPU、内存等)报告给ResourceManager。   
  • Client向ResourceManager提交作业(相当于一个Application)。   
  • ResourceManager为Application启动一个AppMaster。   
  • AppMaster为Application向ResourceManager请求资源。   
  • ResourceManager根据调度策略为Application分配资源,并通知相应的NodeManager去执行task。  
  Yarn也可以说是一个两级调度系统,但是AppMaster只能向ResourceManager请求资源(同时可以设定一些条件),最终哪个NodeManager执行哪个task则是由ResourceManager决定。相比Mesos的Framework自己决定执行task的Agent,AppMaster的调度权限比较低。
  Apache Myriad:集成Mesos&Yarn

  基本思路:把Yarn当作Mesos上的一个Framework来使用。
友荐云推荐




上一篇:关于 Lambda 表达式的一些事
下一篇:温故js系列(16)-数组&数组方法使用详解
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

下山的和尚 发表于 2016-10-2 03:37:24
不错 支持一个了
回复 支持 反对

使用道具 举报

各种人渣各种装 发表于 2016-10-2 08:16:43
看完帖子,洗洗睡了!
回复 支持 反对

使用道具 举报

容颜出现编译错误 发表于 2016-10-9 11:31:30
楼主,约么?
回复 支持 反对

使用道具 举报

冯艳 发表于 2016-10-12 06:28:48
白富美?高富帅?
回复 支持 反对

使用道具 举报

494248 发表于 2016-11-9 13:42:14
传说中的沙发???卡卡
回复 支持 反对

使用道具 举报

青⌒空 发表于 2016-11-10 13:25:13
占位编辑
回复 支持 反对

使用道具 举报

sseg 发表于 2016-11-17 18:35:32
顶起顶起顶起
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表