网络科技

    今日:933| 主题:244699
收藏本版
互联网、科技极客的综合动态。

[其他] 支持万亿量级记录实时处理的分布式数据库

[复制链接]
不要給姐裝蒜 发表于 2016-10-6 11:47:07
250 14

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
Tera - An Internet-Scale Database

   
  Copyright 2015, Baidu, Inc.
  Tera is a structured distributed database which is designed to manage trillions of links and webpages. Besides Webpage Database, Tera is used by many other Baidu products, including Baidu Trace System, Baidu User Behavior Analysis System, etc. Tera provides high performance and high scalability by taking fully advantage of new generation hardware.
  Features

  
       
  • Automatic and configurable sharding   
  • Ranged and hashed sharding strategies   
  • Strong consistency   
  • Online schema change   
  • Snapshot   
  • Multi-level cache and Bloom Filters to suport real-time queries  
  Contact Us

  {dist-lab, tera_dev, opensearch} at baidu.com
   高性能、可伸缩的结构化数据库

  Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。
  特性

  
       
  • 全局有序   
  • 热点自动分片   
  • 数据强一致   
  • 多版本,自动垃圾收集   
  • 按列存储,支持内存表   
  • 动态schema   
  • 支持表格快照   
  • 高效随机读写  
  数据模型

  Tera使用了bigtable的数据模型,可以将一张表格理解为这样一种数据结构:
  [code]map > >[/code]  其中RowKey、ColumnFamily、Qualifier和Value是字符串,Timestamp是一个64位整形。ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。
  系统架构

  系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器,承载着所有的数据管理与访问;Master是系统的仲裁者,负责表格的创建、schema更新与负载均衡;ClientSDK包含供管理员使用的命令行工具teracli和给用户使用的SDK。 表格被按RowKey全局排序,并横向切分成多个Tablet,每个Tablet负责服务RowKey的一个区间,表格又被纵向且分为多个LocalityGroup,一个Tablet的多个Localitygroup在物理上单独存储,可以选择不同的存储介质,以优化访问效率。
   
支持万亿量级记录实时处理的分布式数据库-1 (generation,structured,Copyright,including,advantage)

  系统依赖

  
       
  • 使用分布式文件系统(BFS、HDFS等)持久化数据与元信息   
  • 使用分布式协调服务(Nexus或者Zookeeper)选主与协调   
  • 使用Sofa-pbrpc实现跨进程通信  
  系统构建

  sh ./build.sh
   参考BUILD
  使用示例

   体验单机Tera
   通过docker体验Tera
   主要api使用方法
   客户端teracli使用方法
   其它文档
  反馈与技术支持

  tera_dev At baidu doT com
  成为贡献者

   完成5个小任务,帮你一步步成为tera贡献者.
  欢迎加入

  如果你热爱开源,热爱分布式技术,请将简历发送至: {dist-lab, tera_dev, opensearch} at baidu.com
友荐云推荐




上一篇:沃尔玛增持京东股份 持股比例提高近一倍至10.8%
下一篇:eBay收购图像识别技术公司Corrigon,帮助顾客更好地买买买
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

2210707901 发表于 2016-10-6 15:03:55
来,来,干了这杯翔!
回复 支持 反对

使用道具 举报

小辉煌 发表于 2016-10-6 15:18:19
不错哦,不要給姐裝蒜这是要火的节奏啊!
回复 支持 反对

使用道具 举报

我叫阿里 发表于 2016-10-6 15:18:22
我是耶稣他儿子,椰子!
回复 支持 反对

使用道具 举报

lujun 发表于 2016-10-6 15:50:48
做为一名新人,不敢在大声说话,也不敢得罪人,只能默默地顶完贴然后转身就走人。动作要快,姿势要帅,深藏功与名。
回复 支持 反对

使用道具 举报

刘小东 发表于 2016-10-7 12:58:36
你女儿在我手上,我不是你女婿。
回复 支持 反对

使用道具 举报

石鳞 发表于 2016-10-11 02:25:50
给不要給姐裝蒜一个赞
回复 支持 反对

使用道具 举报

侯鹏 发表于 2016-10-13 09:00:59
路过。。。。
回复 支持 反对

使用道具 举报

杜里红 发表于 2016-10-15 14:56:03
一天最高可刷99点经验的。把如下语句复制,粘帖即可。以前不懂看贴总是不回,一直没提升等级和增加经验现在我明白了反正回贴可以升级也可以赚经验而升级又需要经验我就把这句话复制下来
回复 支持 反对

使用道具 举报

都市达人 发表于 2016-10-18 20:44:00
顶起顶起顶起
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表