你好,游客 登录
rss订阅 手机访问 
Hadoop
计算Job运行时的CPU与内存平均利用率(MapReduce)
问题导读
1.数据采集什么时候开始与结束?
2.如何获取运行task的JVM pid?
Hadoop集群上运行有多道MapReduce Job,到底每个Job消费集群计算资源(CPU,内存)的情况如何,通常我们是不知道的。这节来探讨下如果想获得这些信息,应该怎样做。
每个Job在运行时是散布在TaskTracker上,由不同的JVM来执行。所以这个问题归根结底就是想获取每个运行task的JVM对...
日期:09/05/2017 19:42:09 作者:howtodown 点击:432
云日志分析:hadoop spark编程实战入门教程6-3:Hadoop2.x集群安装及配置项说明
hadoop集群配置有各种中文文档,这里不是术的讲解,而是道的说明,也就是不是具体交给你怎么做,而是交给你方法。这里也算是对hadoop集群的安装的一个总结。
日期:09/04/2017 16:14:57 作者:pig2 点击:501
云日志分析:hadoop spark编程实战入门教程6-2补充:scala安装
1.解压安装包
sudo tar -zxvf ~/jar/scala-2.11.8.tgz -C /data 复制代码
更改用户 sudo chown aboutyun:aboutyun scala-2.11.8/ 复制代码
授权为777 sudo chmod -R 777 scala-2.11.8/ 复制代码
sudo mv scala-2.11.8 scala2 复制代码
验证Scala【未安装】 which scala 复制代码
scala 复制代码
2.配置环境...
日期:09/04/2017 16:12:48 作者:pig2 点击:435
云日志分析:hadoop spark编程实战入门教程6-1补充:jdk1.8安装【rpm】
1.首先下载jdk
链接:http://pan.baidu.com/s/1bYKrUI 密码:q55c
由于你可能下载在window下,所以需要工具在window和虚拟机Linux之间传递软件。
卸载自带jdk查找自带jdk rpm -qa | grep java java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64 java-1.7.0-openjdk-headless-1.7.0.121-2.6.8.0.el7_3.x86_64 tzdata-java-2016j-1.el7.noarch javapackages-t...
日期:09/04/2017 16:07:55 作者: 点击:343
云日志分析:hadoop spark编程实战入门教程6:Hadoop、Spark集群搭建
问题导读:
1. 如何配置linux环境?
2. 如何安装java和scala?
3. 如何安装和配置hadoop集群?
4. 如何验证hadoop集群搭建成功?
5. 如何安装和配置spark集群?
6. 如何验证spark集群搭建成功?
7. 可能会遇到哪些问题?
接上篇:about云日志分析项目准备5:hadoop,spark,kafka,flume,hive等工具的版本选择
这节开始...
日期:09/04/2017 15:55:49 作者:pig2 点击:832
云日志分析:hadoop spark编程实战入门教程5:hadoop,spark,kafka,flume,hive等工具的版本选择
问题导读:
1. 不同工具版本选择时只要考虑什么因素?
2. 有没有可推荐的版本组合?
由于整个项目需要使用到hadoop、spark、kafka、flume、hive,scala,所以对于不同软件之间的兼容性还是需要考虑的。主要考虑以下几点:
1. spark最新的稳定版是2.0.2,最高支持hadoop 2.7.x,并且在spark 2.0版本开始,使用的scala版本默认是2.11。这两点可以从spark官...
日期:09/04/2017 15:52:11 作者:pig2 点击:391
云日志分析:hadoop spark编程实战入门教程4:centos7非root用户遇到的问题
非root账户不具有sudo权限,并且需要输入密码
sudo nano hosts
[sudo] password for aboutyun:
aboutyun 不在 sudoers 文件中。此事将被报告。
这个需要在/etc/sudoers 文件中添加权限。
第一步:
切换root用户 1 su root
输入密码
第二步:
打开文件 1 nano /etc/sudoers <br>
日期:09/04/2017 15:50:33 作者: 点击:371
云日志分析:hadoop spark编程实战入门教程3-4:centos7初步使用:远程连接
xshell5下载链接
链接:http://pan.baidu.com/s/1i4Y5WRb 密码:7x95
首先下载xshell5,安装后需要注册码,压缩包内有注册码
Xshell 5 注册码: 690313-111999-999313
对于window安装软件相信都会的,这里不在描述。
远程连接的前提需要安装ssh,在上篇文章中about云日志分析项目准备3-3:centos7初步使用:基本设置
,已经做了设置。
我们...
日期:09/03/2017 19:32:42 作者:pig2 点击:313
云日志分析:hadoop spark编程实战入门教程3-3:centos7初步使用:基本设置
关闭SELINUX
进入目录
/etc/sysconfig/selinux
设置为disable 1 SELINUX=disable
为何关闭SeLinux:
因为在SELinux没有设置为permissive或是disable的情况下,有一些Linux系统上应用程序运行时,可以会被拒绝,导致无法正常运行的情况
关闭防火墙
sudo systemctl stop firewalld.service
验证是否关闭:
sudo ...
日期:09/03/2017 19:29:27 作者:pig2 点击:266
云日志分析:hadoop spark编程实��入门教程3-2:centos7初步使用,网络设置
首先我们确定网段192.168.1.0段,虚拟机使用的是vm12
日期:09/03/2017 19:23:25 作者:pig2 点击:247
云日志分析:hadoop spark编程实战入门教程3-1:centos7初步使用,设置快捷键
在Linux操作系统中,我们经常用到快捷键,但是在centos中,很多快捷键是没有的,但是可以设置快捷键。那么该如何设置快捷键。这里以设置terminal的快捷键为ctrl+alt+t
日期:09/03/2017 17:37:20 作者:pig2 点击:378
云日志分析:hadoop spark编程实战入门教程3:centos7安装
安装后,我们看到上面界面,但是出于待机状态,当你登陆的时候,需要鼠标“上滑”,并且不需要输入密码。
日期:09/03/2017 17:34:52 作者:pig2 点击:229
  • 5/5
  • «
  • 1
  • 2
  • 3
  • 4
  • 5