技术控

    今日:0| 主题:49390
收藏本版 (1)
最新软件应用技术尽在掌握

[其他] 数据平台技术指南

[复制链接]
街頭、錶皛 发表于 2016-10-1 10:20:56
89 2

立即注册CoLaBug.com会员,免费获得投稿人的专业资料,享用更多功能,玩转个人品牌!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
最近大部分精力花在为公司搭建统一的数据平台上,从技术选型到最终落地像打通隧道一样艰难和痛快,本文主要介绍数据平台的技术相关实践与思考。具体的设计思路可以参考我的另一篇文章 -数据平台设计指南  
  本文更新中,目前只有提纲
  注:本文不涉及数据平台的设计思路,感兴趣请参考数据平台设计指南  
  技术选型  

  
       
  • 日志管理和数据中心两个项目合并   
  • 简要发展历史  
  架构  

  
       
  • 架构图   
  • 全球服务的设计(这一部分需要仔细探讨):全球部署   
  • 通用解决方案  
  三大块:
  
       
  • 日志收集与分析   
  • 数据上报与接入   
  • 数据统计与分析  
  流程  

  这里介绍具体实现
  采集与预处理  

  
       
  • 系统接入   
  • 多机房同步   
  • 数据量限制   
  • 数据量评估  
  清洗与分类  

  
       
  • 服务区分   
  • 日志过滤   
  • 日志切换 S3 OSS   
  • 定期任务(清理、周、月、三月)  
  存储与查询  

  
       
  • elasticsaerch   
  • 二八原则,结构化存储(20%)与分布式存储(80%, S3, OSS)  
  展示与应用  

  
       
  • 日志挖掘、数据挖掘   
  • Dashborad   
  • 商务智能   
  • Spark Hadoop 分布式计算  
  ETL  

  
       
  • 过程优化   
  • 老数据的导入   
  • 固定的流程  
  日志  

  提取日志中真正有价值的东西
  
       
  • 日志的分词问题,string 字段腰子啊 logstash 阶段就要设置为      not_index   
  • 日志的选择传输问题,量太大,不可能所有都保存在 ES 中   
  • 日志如何写,如何利用,是一个大问题,可以专门写一本书  
  数据上报  

  
       
  • 不同数据源如何对齐,需要仔细设置   
  • 写日志的时候就要考虑未来的处理和应用,尤其是和已有数据源的对齐   
  • 维护埋点,公共字段   
  • 字段同名但类型不同导致的索引冲突问题   
  • 设计埋点及统计字段时一定要基于具体的统计需求,不能为了打点而打点,字段是什么,后面要如何使用,不同的字段如何联系与互动,都需要事先想好   
  • 专注于核心指标,不同指标的优先级是什么   
  • 界面、事件和事件参数独立,但必须有公共的统计参数(最好两个一上,冗余保证后续数据清洗及验证的准确性)   
  • 重点是从目的出发,先想好需要用什么数据来获知什么样的趋势,再去设计对应的埋点。过多的数据很可能带来的是混淆而不是帮助。   
  • 增加上报的信息量(同样大小的前提下),减少上报压力  
  监控管理  

  服务质量
  监控运维  

  快速反应,警报服务
友荐云推荐




上一篇:Python and Zynq = PYNQ, which runs on Digilent’s new $229 pink PYNQ-Z1
下一篇:Lazy-loading ES2015 modules in the browser
酷辣虫提示酷辣虫禁止发表任何与中华人民共和国法律有抵触的内容!所有内容由用户发布,并不代表酷辣虫的观点,酷辣虫无法对用户发布内容真实性提供任何的保证,请自行验证并承担风险与后果。如您有版权、违规等问题,请通过"联系我们"或"违规举报"告知我们处理。

奇葩也是一种有才 发表于 2016-10-2 04:31:07
辛苦了街頭、錶皛,天天准时
回复 支持 反对

使用道具 举报

陈丹 发表于 2016-11-18 18:42:55
前排支持下
回复 支持 反对

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

我要投稿

推荐阅读

扫码访问 @iTTTTT瑞翔 的微博
回页顶回复上一篇下一篇回列表手机版
手机版/CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 )|网站地图 酷辣虫

© 2001-2016 Comsenz Inc. Design: Dean. DiscuzFans.

返回顶部 返回列表