技术控

    今日:114| 主题:49288
收藏本版 (1)
最新软件应用技术尽在掌握

[其他] 拥抱开源 - 云上元数据管理

[复制链接]
落日夕阳 发表于 2016-10-1 13:46:36
159 4

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
上期我们讲述的是实现数据工程师梦想的一个小目标《梦想成真,只差一步》,里面提到了要实现数据超市的管理,数据工程师需要使用合适的工具将数据进行整理、组合、分类后上架,然后业务分析师和数据科学家就可以使用了。
     
拥抱开源 - 云上元数据管理-1 (科学家,工程师,分析师,监控,角色)
    在整个数据工程师的工作流程中,需要自始至终的进行数据治理:我们需要将每种类型的数据进行清晰的标识以及分类,以利于其它角色的用户进行查找以及使用;我们需要将每种数据的使用范围进行管理以及监控,以使得数据被合理、合法的使用;我们还要管理数据的生存周期以及质量溯源,以利于数据质量可以被监管,无用数据被清除...... 因此本文中我们将着重介绍上图中标红框的部分,介绍实现我们梦想的工具Open Metadata Services - 开源组件Apache Atlas。
  这个模块还在Apache的孵化中,最新的版本是8月16号发布的0.7版本。详细文档可以查看以下链接:http://atlas.incubator.apache.org/
  Atlas 最早由HortonWorks实现,用来管理Hadoop项目里面的元数据,进而设计为数据治理的框架。后来开源出来给Apache社区进行孵化,目前得到Aetna,Merck,Target,SAS等公司的支持进行发展演进,IBM现在也积极贡献功能,拿来为我所用。(其在HortonWorks公司的介绍材料链接: https://zh.hortonworks.com/apache/atlas/#section_1 ) 从其诞生历史看,该框架天生就支持横向海量扩展,具备良好的集成能力,非常适合在云上使用。以下是其架构图:

拥抱开源 - 云上元数据管理-2 (科学家,工程师,分析师,监控,角色)
    Apache网站介绍它的主要功能有:
  1、数据分类 ;
  2、集中审计 ;
  3、搜索及溯源 ;
  4、安全及策略引擎 ;
  它的最核心部分Core就是类型管理系统 Type System , 用户可以把数据资产进行类型定义,然后使用Ingest/Export 的模块进行元数据的导入、修改、删除等管理。和外界的接口可以通过Rest API或使用Kafaka进行消息交换。数据对象存放在按照图的模式进行管理的Titan图数据库中,具体Titan又把元数据存放在HBase中,索引存放在Solr中。这样用户可以非常便捷和直观的通过层次图进行浏览信息,可以按照文字进行精确的查找。
123下一页
友荐云推荐




上一篇:某国家正在测试“关闭互联网”方法
下一篇:Optimisations in Verve
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

贾木 发表于 2016-10-5 19:40:24
路过的帮顶
回复 支持 反对

使用道具 举报

蓝冰恋歌hbb 发表于 2016-10-10 03:14:50
我擦!我要沙发!
回复 支持 反对

使用道具 举报

沁尔康净水机 发表于 2016-10-22 02:56:38
有些人,去死都和我没关系。有些人,弄死我我都放不下。
回复 支持 反对

使用道具 举报

ZHL 发表于 2016-11-14 04:08:17
小手一抖,积分带走。
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表