你好,游客 登录
背景:
阅读新闻

(目录)Hadoop3.0.0-beta1 HDFS分布式搭建及运维手册

[日期:2017-12-06] 来源:www.bigdatastudy.net  作者:艾叔 [字体: ]

Hadoop3.0.0-beta1 HDFS分布式搭建及运维手册

 

写在前面的话

 

Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasure encoding)的容错方式,与传统的副本方式相比,在同等可用性的情况下, 能大幅节省一半以上的空间,这也是自hdfs诞生近这十年来,数据可靠性机制上的一个重大变化(之前一直都是副本容错方式)。此外hdfs3.0.0还增加了其它的一些特性,例如在Namenode HA中支持3Namenode,可以容忍2Namenode失效,而hdfs2.x只能容忍1Namenode失效。

 

本文以连载的方式,在大数据学习网”上记录自己使用hadoop-3.0.0-beta1hdfs的点点滴滴,包括从零开始搭建分布式hdfs3.0,如何动态扩展hdfs节点、如何使用hdfs3.0的纠删码容错等等。不当之处,请大家发邮件aishuc@126com给艾叔,谢谢!

 

 

目录

01 定制虚拟机

02 安装Guest操作系统

03 搭建分布式HDFS3.0.0

3.1 准备软件和配置CentOS网络

3.2 配置JDK、设置主机名

3.3 hdfs配置、无密码登录

04 HDFS3.0.0基本命令

4.1 上传、下载、删除目录或文件

4.2 查看HDFS文件系统、查找HDFS上的文件或目录、查看文本文件

05 HDFS3.0.0动态添加节点

5.1 上传、下载、删除目录或文hdfs3.0.0动态添加节点(1)

5.2 上传、下载、删除目录或文hdfs3.0.0动态添加节点(2)

06 HDFS erasure coding纠删码使用

收藏 推荐 打印 | 阅读:
相关新闻       hadoop  hdfs  ha  hadoop3.0.0  hdfs分布式搭建