你好,游客 登录
rss订阅 手机访问 
Hadoop
Hadoop入门进阶课程4--HDFS原理及操作
1 环境说明
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建环...
日期:09/22/2017 22:57:57 作者:yirenboy 点击:558
Hadoop入门进阶课程3--Hadoop2.X64位环境搭建
1 搭建环境
部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。
Hadoop搭建...
日期:09/22/2017 22:56:47 作者:yirenboy 点击:556
Hadoop入门进阶课程2--Hadoop2.X 64位编译
1 编译Hadoop2.X 64位
1.1 软硬件环境说明
节点使用CentOS系统,防火墙和SElinux禁用,创建了一个shiyanlou用户,并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyan...
日期:09/22/2017 22:55:15 作者:yirenboy 点击:373
Hadoop入门进阶课程1--Hadoop1.X伪分布式安装
1.Hadoop介绍
1.1Hadoop简介
Apache Hadoop软件库是一个框架,允许在集群服务器上使用简单的编程模型对大数据集进行分布式处理。Hadoop被设计成能够从单台服务器扩展到数以千计的 服务器,每台服务器都有本地的计算和存储资源。Hadoop的高可用性并不依赖硬件,其代码库自身就能在应用层侦测并处理硬件故障,因此能基于服务器集群 提供高可用性的服务。
1.2 H...
日期:09/22/2017 22:52:45 作者:yirenboy 点击:387
电子书下载:Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和MapReduce的架构设计与实现原理进行了极为详细的分析。《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代...
日期:09/21/2017 12:22:01 作者: 点击:218
电子书下载:Hadoop实战
日期:09/21/2017 12:11:32 作者: 点击:359
spark能否取代Hadoop?
大数据的浪潮风靡全球的时 候,Spark火了。在国外 Yahoo!、Twitter、Intel、Amazon、Cloudera 等公司率先应用并推广 Spark 技术,在国内阿里巴巴、百度、淘宝、腾讯、网易、星环等公司敢为人先,并乐于分享。在随后的发展中,IBM、Hortonworks、微策略等公司纷纷将 Spark 融进现有解决方案,并加入 Spark 阵营。Spark 在IT业界的应用可谓星火燎原之势。
日期:09/06/2017 22:44:49 作者:Tualatin 点击:331
2分钟读懂Hadoop和Spark的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。
日期:09/06/2017 22:41:57 作者:51cto 点击:187
《Hadoop基础教程》之初识Hadoop
    Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。
日期:09/06/2017 22:39:18 作者:白糖_ 点击:330
如何使用Hadoop(MapReduce)分析web日志得到KPI指标
问题导读:
1. 如何进行日志提取预处理?
2. 如何设计KPI指标?
3. 如何使用Hadoop并行算法?
4. 如何构造Hadoop项目?
5. 如何可视化结果?
一:Web日志分析系统概述
Web日志由Web服务器产生,可能是Nginx,Apache,Tomcat等,从Web日志中我们可以提取到很多有用的信息,比如说网站每类网页的浏 览量(PV),独立IP���,稍微复杂一些包括...
日期:09/06/2017 21:54:40 作者:Thinkgamer_gyt 点击:650
跟着实例学习ZooKeeper的用法: 分布式锁
问题导读
1.ZooKeeper recipes wiki定义了可协商的撤销机制,如何撤销mutex?
2.可以在多个线程中用同一个InterProcessMutex?为什么?
锁 分布式的锁全局同步, 这意味着任何一个时间点不会有两个客户端都拥有相同的锁。
可重入锁Shared Reentrant Lock
    首先我们先看一个全局可重入的锁。 Shared意味着锁是全局可见的, 客户端都可以请求锁...
日期:09/05/2017 19:44:34 作者:坎蒂丝_Swan 点击:440
计算Job运行时的CPU与内存平均利用率(MapReduce)
问题导读
1.数据采集什么时候开始与结束?
2.如何获取运行task的JVM pid?
Hadoop集群上运行有多道MapReduce Job,到底每个Job消费集群计算资源(CPU,内存)的情况如何,通常我们是不知道的。这节来探讨下如果想获得这些信息,应该怎样做。
每个Job在运行时是散布在TaskTracker上,由不同的JVM来执行。所以这个问题归根结底就是想获取每个运行task的JVM对...
日期:09/05/2017 19:42:09 作者:howtodown 点击:299
云日志分析:hadoop spark编程实战入门教程6-3:Hadoop2.x集群安装及配置项说明
hadoop集群配置有各种中文文档,这里不是术的讲解,而是道的说明,也就是不是具体交给你怎么做,而是交给你方法。这里也算是对hadoop集群的安装的一个总结。
日期:09/04/2017 16:14:57 作者:pig2 点击:338
云日志分析:hadoop spark编程实战入门教程6-2补充:scala安装
1.解压安装包
sudo tar -zxvf ~/jar/scala-2.11.8.tgz -C /data 复制代码
更改用户 sudo chown aboutyun:aboutyun scala-2.11.8/ 复制代码
授权为777 sudo chmod -R 777 scala-2.11.8/ 复制代码
sudo mv scala-2.11.8 scala2 复制代码
验证Scala【未安装】 which scala 复制代码
scala 复制代码
2.配置环境...
日期:09/04/2017 16:12:48 作者:pig2 点击:311
  • 4/5
  • «
  • 1
  • 2
  • 3
  • 4
  • 5
  • »