标签:Apache Kafka

scribe、chukwa、kafka、flume日志系统对比
后端存储

scribe、chukwa、kafka、flume日志系统对比 24小时内最新

04月22日

1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用...
爬虫架构|利用Kafka处理数据推送问题
后端存储

爬虫架构|利用Kafka处理数据推送问题

04月10日

如下图1-1所示,我们之前爬虫集群在采集完数据之后是直接插入到MySQL数据库中,分发服务再消费MySQL里面的数据。这样的设计会有两个主要的问题:随着数据量越来越大,数据保存...

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录