你好,游客 登录
背景:
阅读新闻

云日志分析:hadoop spark编程实战入门教程|实战案例

[日期:2017-11-16] 来源:  作者: [字体: ]
 
本文面向spark编程入门的初学者,提供了一个hadoop spark编程实例,以《云日志分析》为实战案例,从spark的OS环境linux开始,到hadoop集群安装、spark集群安装与配置、kafka、flume、hive的安装与使用、spark编程语言Scala、spark sql编程与使用、spark streaming都有详细的说明,位于spark生态圈内的大数据处理相关技术基本都涉及到,是spark编程实战的一个综合应用。具体目录如下:
 
hadoop spark编程实战准备1:Linux操作系统选择centos
hadoop spark编程实战准备2:下载centos及安装
hadoop spark编程实战准备3:centos7安装
hadoop spark编程实战准备3-1:centos7初步使用,设置快捷键
hadoop spark编程实战准备3-2:centos7初步使用,网络设置
hadoop spark编程实战准备3-3:centos7初步使用:基本设置
hadoop spark编程实战准备3-4:centos7初步使用:远程连接
hadoop spark编程实战准备4:centos7非root用户遇到的问题
hadoop spark编程实战准备6:Hadoop、Spark集群搭建
hadoop spark编程实战准备6-1补充:jdk1.8安装【rpm】
hadoop spark编程实战准备6-2补充:scala安装
hadoop spark编程实战准备6-3:Hadoop2.x集群安装及配置项说明
hadoop spark编程实战准备6-4:spark集群安装及配置项说明
hadoop spark编程实战准备6-5:spark系统入门
hadoop spark编程实战准备6-5-1:spark sql精简总结
hadoop spark编程实战准备6-5-1-1:spark原理之spark主要模块及作用介绍
hadoop spark编程实战准备6-5-2:spark应用程序中如何嵌入spark sql
hadoop spark编程实战准备7:Hive安装和配置
hadoop spark编程实战准备7-1:mysql HiveUser 授权忘记出现的问题
hadoop spark编程实战准备8:Kafka集群安装
hadoop spark编程实战准备9:Flume安装和使用
hadoop spark编程实战准备9-1:Flume应该思考的问题
hadoop spark编程实战准备10-1:Intellij Idea 手动添加本地依赖
hadoop spark编程实战准备10-2:Windows Intellij idea配置scala开发环境
hadoop spark编程实战准备10-3:Spark Local模式之Log文本清洗
hadoop spark编程实战准备10-4:将Spark Streaming程序运行在Spark集群上
hadoop spark编程实战准备10-4-1:spark streaming总结
hadoop spark编程实战准备11-1:spark streaming+spark sql 实现业务
hadoop spark编程实战准备11-2:spark 实现业务
hadoop spark编程实战准备11-3:ip库介绍以及使用
收藏 推荐 打印 | 阅读: