标签:HDFS

后端存储

Solr7.3 Cloud On HDFS搭建

05月21日

一、概要 SolrCloud实际上是依托zk实现中心化配置管理的solr集群。具有容错、横向扩展和高可用等特性,能够对查询进行自动负载均衡和fail-over处理,适用于大规模的...
后端存储

Ranger-Hdfs插件安装

05月15日

Ranger-Hdfs插件ranger-0.6.0-hdfs-plugin安装到Hdfs的所有NameNode节点, 其他的DataNode节点不需要安装。 1. 登陆hdfs安...
Ranger架构剖析
后端存储

Ranger架构剖析

05月15日

Ranger介绍 2016年,Hadoop迎来了自己十周岁生日。过去的十年,Hadoop雄霸武林盟主之位,号令天下,引领大数据技术生态不断发展壮大,一时间百家争鸣,百花齐放。然而...
HDFS的java api操作
后端存储

HDFS的java api操作

05月02日

hdfs在生产应用中主要是针对客户端的开发,从hdfs提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件。 搭建开发环境 方式一...
HDFS的java api操作
综合编程

HDFS的java api操作

05月02日

hdfs在生产应用中主要是针对客户端的开发,从hdfs提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件。 搭建开发环境 方式一...
hadoop(7)–下载数据源码解析(上)
后端存储

hadoop(7)–下载数据源码解析(上)

04月24日

前面了解了hadoop写文件,读文件的执行过程,那么hadoop内部是怎么实现的呢?接下来看一下从hdfs中读取文件的源码,一起来分析一下,这样就会更加了解hdfs 首先将hado...
Hadoop 3中的磁盘管理大招解密
后端存储

Hadoop 3中的磁盘管理大招解密

04月18日

1、前言 本文深入研究 HDFS 磁盘平衡的新特性,这是 Hadoop3 中加入的一个特性。 HDFS 现在包括(在 CDH 5. 8. 2 和更高版本中发布)用于跨节点移动数据的...
后端存储

搭建一个web服务下载HDFS的文件

04月09日

需求描述 为了能方便快速的获取HDFS中的文件,简单的搭建一个web服务提供下载很方便快速,而且在web服务器端不留临时文件,只做stream中转,效率相当高! 使用的框架是Spr...
深度解析某头条的一道面试题
后端存储

深度解析某头条的一道面试题

03月31日

首先,某头条的文章量、用户量都是很大的,点击量那就更恐怖了。 请问,如果实时展现热门文章,比如近8小时点击量最大的文章前100名。 如果是你来开发这个功能,你怎么做? 这个好办啊,...
理解HDFS
后端存储

理解HDFS

03月28日

综述 当数据集的大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台单独的计算机上。HDFS是hadoop的主要分布式存储系统,一个HDFS集群主要包括Na...

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录