标签:HDFS

Hadoop 3中的磁盘管理大招解密
后端存储

Hadoop 3中的磁盘管理大招解密

04月18日

1、前言 本文深入研究 HDFS 磁盘平衡的新特性,这是 Hadoop3 中加入的一个特性。 HDFS 现在包括(在 CDH 5. 8. 2 和更高版本中发布)用于跨节点移动数据的...
后端存储

搭建一个web服务下载HDFS的文件

04月09日

需求描述 为了能方便快速的获取HDFS中的文件,简单的搭建一个web服务提供下载很方便快速,而且在web服务器端不留临时文件,只做stream中转,效率相当高! 使用的框架是Spr...
深度解析某头条的一道面试题
后端存储

深度解析某头条的一道面试题

03月31日

首先,某头条的文章量、用户量都是很大的,点击量那就更恐怖了。 请问,如果实时展现热门文章,比如近8小时点击量最大的文章前100名。 如果是你来开发这个功能,你怎么做? 这个好办啊,...
理解HDFS
后端存储

理解HDFS

03月28日

综述 当数据集的大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台单独的计算机上。HDFS是hadoop的主要分布式存储系统,一个HDFS集群主要包括Na...
HDFS基本原理总结
后端存储

HDFS基本原理总结

03月20日

HDFS由三个基本组件组成:NameNode,SecondaryName,DataNode,其思想类似于Linux的文件系统,可以进行类比。 1.NameNode介绍: 1....
后端存储

heracles压测平台介绍

03月16日

heracles压测平台介绍Heracles音译为赫拉克勒斯或意译为大力神.希腊语:Ηρακλής,Hēraklēs,引申自Hēra“赫拉”和kleos“荣耀”,也即赫...
综合编程

heracles压测平台介绍

03月16日

heracles压测平台介绍Heracles音译为赫拉克勒斯或意译为大力神.希腊语:Ηρακλής,Hēraklēs,引申自Hēra“赫拉”和kleos“荣耀”,也即赫...
HDFS配额管理(实战)
后端存储

HDFS配额管理(实战)

03月15日

概述: Hadoop分布式文件系统(HDFS)允许管理员为使用的名称和单独目录使用的空间数量设置配额。名称配额和空间配额是独立运作的,但这两类配额的管理和实施是密切相关的。 Nam...

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录