你好,游客 登录
rss订阅 手机访问 
Spark
云日志分析:hadoop spark编程实战入门教程6-5:spark系统入门
1.什么是spark
spark起源
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架
spark特点
Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS
spark编程语言
Spark 是在 Scala 语言中实现的,它将 Scala 用作...
日期:09/04/2017 16:39:35 作者:pig2 点击:254
云日志分析:hadoop spark编程实战入门教程6-4:spark集群安装及配置项说明
spark进程:
master
worker
集群的环境变量
conf/spark-env.sh常用配置如下
SPARK_MASTER_IP    
绑定一个外部IP给master.
HADOOP_CONF_DIR
hadoop配置文件目录
SPARK_LOCAL_DIRS=/data/spark_data
shuffled以及RDD的数据存放目录
SPARK_WORKER_DIR=/data/spark_data/spark_works
worker端进程的工作目录<...
日期:09/04/2017 16:17:15 作者:pig2 点击:235
  • 13/13
  • «
  • 1
  • ...
  • 10
  • 11
  • 12
  • 13