你好,游客 登录
rss订阅 手机访问 
Hadoop
(目录)Hadoop3.0.0-beta1 HDFS分布式搭建及运维手册
Hadoop3.0.0-beta1 HDFS分布式搭建及运维手册
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs...
日期:12/06/2017 12:55:41 作者:艾叔 点击:242
hadoop-3.0.0-beta1运维手册(010):hdfs3.0.0动态添加节点(2)
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。��2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/05/2017 13:11:10 作者:艾叔 点击:253
hadoop-3.0.0-beta1运维手册(008):hdfs3.0.0基本操作-查看HDFS文件系统、查看文本文件、使用帮助
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/05/2017 12:39:51 作者:艾叔 点击:264
hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
写在前面的话
Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasur...
日期:12/03/2017 21:11:38 作者:艾叔 点击:248
hadoop-3.0.0-beta1运维手册(004):安装分布式hdfs3.0.0-配置JDK、设置主机名
3.4 配置JDK
1. 解压
注意:我们所指的路径是/home/user
解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz
解压后,ls,可以看到蓝色的目录:jdk1.8.0_152
3-33 jdk解压目录
2. 添加JDK相关的环境变量
切换到root用户
3-34 su命令切换
编辑/etc/profile文件
3-35 编辑/etc/profile文件
在最后一行添加
...
日期:11/30/2017 21:06:28 作者:艾叔 点击:180
hadoop-3.0.0-beta1运维手册(003):安装全分布式HDFS3.0.0-准备软件和配置CentOS网络
3.1 准备软件
HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。
1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft
3-1 Hadoop存储路径图
有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习,待stable版本出来后,可以直接替换上生产环境。
This is the...
日期:11/29/2017 16:38:02 作者:艾叔 点击:332
hadoop-3.0.0-beta1运维手册(002):安装Guest操作系统
2.1 什么是Guest操作系统
Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。
我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Everything-1511。整个光盘有7GB多,因为它包含了更多...
日期:11/28/2017 08:54:28 作者:艾叔 点击:227
hadoop-3.0.0-beta1运维手册(001):定制虚拟机
01 定制虚拟机 1.1 什么是虚拟机
虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机。
虚拟机和真实的物理机器一样,也有CPU、硬盘、网卡、内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样。
利用虚拟机软件,我们可以在一台物理服务器上运行多个虚拟机,从而模拟多机环境,既经济又方便。...
日期:11/27/2017 20:18:34 作者:艾叔 点击:367
Hadoop和Spark分别实现二次排序
将下列数据中每个分区中的第一列顺序排列,第二列倒序排���。 Text 1
日期:10/31/2017 16:54:30 作者:guohecang 点击:336
Hadoop概念学习系列之Hadoop、Spark学习路线(很值得推荐)
说在前面的话
  此笔,对于仅对于Hadoop和Spark初中学者。高手请忽略!
1 Java基础:
  视频方面:
     推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入,java学习到javase,在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可。
  书籍方面:
     推荐李兴华的《java开发实战经...
日期:10/31/2017 16:53:54 作者:大数据躺过的坑 点击:352
优化Hadoop Balancer运行速度
1.修改dfs.datanode.max.transfer.threads =4096(如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本的对应参数为dfs.datanode.max.xcievers
日期:03月29日 作者:代立冬 点击:64
hadoop更换硬盘
hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin   日志位置:/var/log/hadoop)
日期:03月29日 作者:代立冬 点击:60
dfs.datanode.du.reserved 预留空间不生效的问题
生产环境(cdh5.5.1)遇到一个问题:已经设置 dfs.datanode.du.reserved预留空间为20G,但是磁盘仍然被写满了。
日期:03月29日 作者:代立冬 点击:50
大数据存储平台调优之Hadoop优化
大数据存储平台调优之Hadoop优化
在上节搭建完集群、完成Linux系统配置(优化)后以及建好HDFS上的目录后,我们接下来需要对Hadoop集群做一些优化的工作。我们从两个方面来说:一是HDFS存储方面,一是计算方面
1、 HDFS方面:
1> 存储格式的选择
对于分析类型的业务来说,最好的存储格式自然是列存储,因为数据量巨大,只扫关心的数据列无疑具有很大...
日期:03月29日 作者:代立冬 点击:71
Hbase万亿级存储性能优化总结
背景
   hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面...
日期:03月29日 作者:代立冬 点击:77
  • 1/5
  • 1
  • 2
  • 3
  • 4
  • 5
  • »