sparklyr包：实现Spark与R的接口
日前，Rstudio公司发布了sparklyr包。该包具有以下几个功能： 实现R与Spark的连接—sparklyr包提供了一个完整的dplyr后端 筛选并聚合Spark数据集，接着在R中实现分析与可视化 利用Spark的MLlib机器学习库在R中实现分布式机器学习算法 可以创建一个扩展，用于调用Spark API。并为Spark的所有包集提供了一个接口 未来在RStudio I...

背景介绍
SparkR 和 Sparklyr 是两个基于Spark的R语言接口，通过简单的语法深度集成到R语言生态中。SparkR 由 Spark 社区维护，通过源码级别更新SparkR的最新功能，最初从2016年夏天的1.5版本开始支持，从使用上非常像Spark Native。Sparklyr 由 RStudio 社区维护，通过深度集成 RStudio 的方式，提供更易于扩展和使用的方法，更强调统计特性与机器学习，实现本地与分...

1什么是R语言？
R语言，顾名思义，它首先是一门计算机的编程语言，就跟传统的C语言，Java语言类似，但是，它又不仅仅是一门计算机语言。这是因为，R语言天生为统计而生，所以，它做不到像C语言那般的普适，数据分析、统计建模、数据可视化才是它的舞台。
R语言天生为统计而生， 数据分析、统计建模、数据可视化才是它的舞台。
2为什么要学习R语言？
做...

卡方检验是一种统计方法，用于确定两个分类变量之间是否具有显着的相关性。 这些变量应该来自相同的人口，它们应该是分类的，如 - 是/否，男/女，红/绿等。

生存分析涉及预测特定事件发生的时间。 它也被称为失败时间分析或分析死亡时间。 例如预测癌症患者的生存天数或预测机械系统出现故障的时间。

在随机森林方法中，创建了大量的决策树。每个观察结果都被送入每个决策树。 每个观察结果最常用作最终输出。对所有决策树进行新的观察，并对每个分类模型进行多数投票。

决策树是以树的形式表示选择及其结果的图形。图中的节点表示事件或选择，并且图形的边缘表示决策规则或条件。它主要用于使用R的机器学习和数据挖掘应用程序。

当对真实世界数据建模进行回归分析时，我们观察到模型的方程很少是给出线性图的线性方程。 大多数情况下，现实世界数据模型的方程式涉及更高程度的数学函数，如3或sin函数的指数。 在这种情况下，模型的曲线给出了曲线而不是线性。线性和非线性回归的目标是调整模型参数的值以找到最接近您的数据的线或曲线。当找到这些值时，我们才能够准确估计响应变量。

时间序列是一系列数据点，其每个数据点与时间戳相关联。 一个简单的例子就是股票在某一天不同时间点的股票价格。另一个例子是一年中不同月份某个地区的降雨量。R语言使用许多功能来创建，操纵和绘制时间序列数 据。时间序列的数据存储在称为时间序列对象的R对象中。 它也是一个R数据对象，如向量或数据帧。

我们使用回归分析来创建描述预测变量变量对响应变量的影响的模型。有时，如果我们有类似于是/否或男/女等值的分类变量，简单回归分析为分类变量的每个值提供多个结果。在这种情况下，可以通过使用分类变量和预测变量来研究分类变量的影响，并比较分类变量的每个级别的回归线。 这样的分析被称为协方差分析，也称为ANCOVA。

泊松回归涉及回归模型，其响应变量是计数形式而不是分数数字。 例如，计算出生人数或一个足球比赛系列中的胜率数。响应变量的值也遵循泊松分布。

二项分布模型用来处理在一系列实验中只发现两个可能结果的事件的成功概率。 例如，掷硬币总是两种结果：正面或反面。使用二项式分布估算在重复抛掷硬币10次时正好准确地找到3次是正面的概率。

在随机收集来自独立来源的数据中，通常观察到数据的分布是正常的。 这意味着，在绘制水平轴上的变量的值和垂直轴中的值的计数时，我们得到一个钟形曲线。 曲线的中心代表数据集的平均值。 在图中，百分之五十的值位于平均值的左侧，另外五十分之一位于图的右侧。 统称为正态分布。

逻辑回归是一种回归模型，其响应变量(因变量)具有分类值，如True/False或0/1。 它实际上是根据与预测变量相关的数学方程，来衡量二进制响应的概率作为响应变量的值。

多元(多重)回归是线性回归扩展到两个以上变量之间的关系。在简单的线性关系中，我们有一个预测因子和一个响应变量，但在多元回归中，可以有多个预测变量和一个响应变量。