你好,游客 登录
rss订阅 手机访问 
Hadoop
用通俗易懂的话说下hadoop是什么,能做什么
hadoop是什么? (1)Hadoop 是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。 Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理),Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的 处理能...
日期:10/27/2017 21:35:54 作者:Break-Li 点击:494
【干货】Hadoop大数据学习线路图
入门知识
对于我们新手入门学习hadoop的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的:
云计算,是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备,主要是基于互联网的相关服务地增 加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。...
日期:10/27/2017 21:34:19 作者:十万猫妖 点击:746
Hadoop学习路线图
按照这个路线图来学习即可。
  1、M. Tim Jones的三篇文章:
  用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html
  用Hadoop进行分布式数据处理第2部分(进阶):http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/index.html
  用Hadoop进行分布式数据处理第3部分(应用程序...
日期:10/27/2017 21:31:54 作者:岁月的拓荒者 点击:513
零基础学习hadoop到上手工作线路指导(初级篇)
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。
日期:10/26/2017 12:36:55 作者:nettman 点击:979
HBase最佳实践-用好你的操作系统
终于又切回HBase模式了,之前一段时间因为工作的原因了解接触了一段时间大数据生态的很多其他组件(诸如 Parquet、Carbondata、Hive、SparkSQL、TPC-DS/TPC-H等),虽然只是走马观花,但也受益良多。对视野、思维模式 都有极其重要的作用,至少,扩展了大数据领域的对话圈。这里也斗胆建议朋友能在深入研究一门学问的同时博览周边学问,相信必然会大有裨益。
日期:09/23/2017 13:08:15 作者:范欣欣 点击:1160
HBase原理-迟到的‘数据读取流程’部分细节
笔者去年年底分享了一篇关于HBase中数据读取(scan)逻辑的文章(戳这里), 主要介绍了scan的基本流程以及实现框架,看官反应甚是强烈。文章最后还挖了一个不大不小的坑,承诺后期会就部分细节进行深入分析,然而因为部分原因这 个坑一直没填上。HBase-Scan的细节其实并不好讲,涉及太多代码层面的底层逻辑,大部分童鞋应该都不会太过关心。虽说如此,挖了的坑,含着泪也要...
日期:09/23/2017 13:06:58 作者:范欣欣 点击:859
HBase原理-要弄懂的sequenceId
为什么需要sequenceId?
HBase数据在写入的时候首先追加写入HLog,再写入Memstore,也就是说一份数据会以两种不同的形式存在于两个地方。那两个地方的同一份数据需不需要一种机制将两者关联起来?有的朋友要问为什么需要关联这两者,那笔者这里提出三个相关问题:
1. Memstore中的数据flush到HDFS文件中后HLog对应的数据是不是就可以被删除了?不然HLog会无限增长...
日期:09/23/2017 13:05:39 作者:范欣欣 点击:656
HBase原理 – 所有Region切分的细节都在这里了
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一,也必然是所有分布式系统追求无限扩展性的一 副良药。HBase系统中Region自动切分是如何实现的?这里面涉及很多知识点,比如Region切分的触发条件是什么?Region切分的切分点在 哪里?如何切分才能最大的保证Region的可用性?如何做好切分过程中的异常处理?切分过程中要不要将数据移动?等等,这篇文章将会对这些...
日期:09/23/2017 13:03:53 作者:范欣欣 点击:880
HBase原理 – 分布式系统中snapshot是怎么玩的?
snapshot(快照)基础原理
snapshot是很多存储系统和数据库系统都支持的功能。一个snapshot是一个全部文件系统、或者某个目录 在某一时刻的镜像。实现数据文件镜像最简单粗暴的方式是加锁拷贝(之所以需要加锁,是因为镜像得到的数据必须是某一时刻完全一致的数据),拷贝的这段时间 不允许对原数据进行任何形式的更新删除,仅提供只读操作,拷贝完成之后再释放锁。这...
日期:09/23/2017 13:01:15 作者:范欣欣 点击:1072
Hadoop入门进阶课程13--Chukwa介绍与安装部署
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目���拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 23:12:55 作者:yirenboy 点击:1084
Hadoop入门进阶课程12--Flume介绍与安装
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 23:11:50 作者:yirenboy 点击:834
Hadoop入门进阶课程11--Sqoop介绍、安装与操作
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 23:10:49 作者:yirenboy 点击:779
Hadoop入门进阶课程10--HBase介绍、安装与应用案例
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 23:09:35 作者:yirenboy 点击:897
Hadoop入门进阶课程9--Mahout介绍、安装与应用案例
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 23:07:38 作者:yirenboy 点击:741
Hadoop入门进阶课程8--Hive介绍和安装部署
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 23:06:12 作者:yirenboy 点击:821
  • 3/5
  • «
  • 1
  • 2
  • 3
  • 4
  • 5
  • »