你好,游客 登录
rss订阅 手机访问 
Hadoop
(目录)Hadoop3.0.0-beta1 HDFS分布式搭建及运维手册
Hadoop3.0.0-beta1 HDFS分布式搭建及运维手册
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs...
日期:12/06/2017 12:55:41 作者:艾叔 点击:141
hadoop-3.0.0-beta1运维手册(010):hdfs3.0.0动态添加节点(2)
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。��2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/05/2017 13:11:10 作者:艾叔 点击:158
hadoop-3.0.0-beta1运维手册(008):hdfs3.0.0基本操作-查看HDFS文件系统、查看文本文件、使用帮助
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/05/2017 12:39:51 作者:艾叔 点击:160
hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/03/2017 21:11:38 作者:艾叔 点击:154
hadoop-3.0.0-beta1运维手册(004):安装分布式hdfs3.0.0-配置JDK、设置主机名
3.4 配置JDK
1. 解压
注意:我们所指的路径是/home/user
解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz
解压后,ls,可以看到蓝色的目录:jdk1.8.0_152
3-33 jdk解压目录
2. 添加JDK相关的环境变量
切换到root用户
3-34 su命令切换
编辑/etc/profile文件
3-35 编辑/etc/profile文件
在最后一行添加
...
日期:11/30/2017 21:06:28 作者:艾叔 点击:100
hadoop-3.0.0-beta1运维手册(003):安装全分布式HDFS3.0.0-准备软件和配置CentOS网络
3.1 准备软件
HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。
1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft
3-1 Hadoop存储路径图
有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习,待stable版本出来后,可以直接替换上生产环境。
This is the...
日期:11/29/2017 16:38:02 作者:艾叔 点击:196
hadoop-3.0.0-beta1运维手册(002):安装Guest操作系统
2.1 什么是Guest操作系统
Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。
我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Everything-1511。整个光盘有7GB多,因为它包含了更多...
日期:11/28/2017 08:54:28 作者:艾叔 点击:135
hadoop-3.0.0-beta1运维手册(001):定制虚拟机
01 定制虚拟机 1.1 什么是虚拟机
虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机。
虚拟机和真实的物理机器一样,也有CPU、硬盘、网卡、内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样。
利用虚拟机软件,我们可以在一台物理服务器上运行多个虚拟机,从而模拟多机环境,既经济又方便。...
日期:11/27/2017 20:18:34 作者:艾叔 点击:222
Hadoop和Spark分别实现二次排序
将下列数据中每个分区中的第一列顺序排列,第二列倒序排���。 Text 1
日期:10/31/2017 16:54:30 作者:guohecang 点击:190
Hadoop概念学习系列之Hadoop、Spark学习路线(很值得推荐)
说在前面的话
  此笔,对于仅对于Hadoop和Spark初中学者。高手请忽略!
1 Java基础:
  视频方面:
     推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入,java学习到javase,在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。
  书籍方面:
     推荐李兴华的《java开发实战经...
日期:10/31/2017 16:53:54 作者:大数据躺过的坑 点击:195
hadoop-3.0.0-beta1运维手册(011):HDFS Erasure Coding纠删码使用
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/06/2017 12:32:38 作者:艾叔 点击:276
hadoop-3.0.0-beta1运维手册(009):hdfs3.0.0动态添加节点(1)
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/05/2017 12:58:11 作者:艾叔 点击:115
hadoop-3.0.0-beta1运维手册(006):hdfs3.0.0分布式构建-启动hdfs
3.10 启动hdfs3.0
普通用户,进入hadoop目录
[user@nn1 ~]$ cd ~/hadoop-3.0.0-beta1
格式化,非常重要!!!
[user@nn1 hadoop-3.0.0-beta1]$ bin/hdfs namenode -format
启动
[user@nn1 ~]$ cd ~/hadoop-3.0.0-beta1
[user@nn1 hadoop-3.0.0-beta1]$ sbin/start-dfs.sh
Starting namenodes on [nn1]
nn1: WARNING: /home/us...
日期:12/02/2017 18:15:24 作者:艾叔 点击:158
hadoop-3.0.0-beta1运维手册(005):hdfs3.0.0分布式构建-hdfs配置、无密码登录
3.7 上传、解压Hadoop相关软件
我们将在nn1上配置1个namenode和1个datanode,构建一个最简的HDFS,成功后,再扩展datanode节点。
1. 切换到user,并进入/home/user
Ls应该能看到下面的文件和目录
3-50 hadoop存储目录
2. 解压hadoop
解压命令为:tar xf hadoop-3.0.0-beta1.tar.gz
解压后,应该能看到红圈内的目录
3-51 hadoop解...
日期:12/01/2017 21:07:42 作者:艾叔 点击:188
云日志分析:hadoop spark编程实战入门教程2:下载centos及安装
hadoop spark编程实战准备的第二步,就是要为spark集群、hadoop集群下载选型好的操作系统安装文件,即iso文件,这里我们选择CentOS-7.0-1406-x86_64-GnomeLive.iso GNOME桌面版
日期:11/16/2017 19:39:44 作者:pig2 点击:88
  • 1/5
  • 1
  • 2
  • 3
  • 4
  • 5
  • »