进入HBase的安装目录，****启动HBase

全文 >>

Spark运行的时候，采用的是主从结构，有一个节点负责中央协调， 调度各个分布式工作节点。这个中央协调节点被称为驱动器（ Driver） 节点。与之对应的工作节点被称为执行器（ executor） 节点。

所有的 Spark 程序都遵循同样的结构：程序从输入数据创建一系列 RDD， 再使用转化操作派生出新的 RDD，最后使用行动操作收集或存储结果 RDD 中的数据。

1.驱动器节点：

Spark 驱动器是执行你的程序中的 main() 方法的进程。它执行用户编写的用来创建 SparkContext、创建 RDD，以及进行 RDD 的转化操作和行动操作的代码。其实，当你启动 Spark shell 时，你就启动了一个 Spark 驱动器程序

驱动器程序在 Spark 应用中有下述两个职责：1.把用户程序转为任务 2.为执行器节点调度任务

2.执行器节点：

Spark 执行器节点是一种工作进程，负责在 Spark 作业中运行任务，任务间相互独立。 Spark 应用启动时， 执行器节点就被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。

执行器进程有两大作用： 第一，它们负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程； 第二，它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。

3.集群管理器：

全文 >>

spark所支持的文件格式

1.文本文件

在 Spark 中读写文本文件很容易。

当我们将一个文本文件读取为** RDD** 时，输入的每一行 都会成为 RDD 的 一个元素。

也可以将多个完整的文本文件一次性读取为一个 pair RDD， 其中键是文件名，值是文件内容。

 在 Scala 中读取一个文本文件

全文 >>

键值对 RDD是 Spark 中许多操作所需要的常见数据类型

键值对 RDD 通常用来进行聚合计算。我们一般要先通过一些初始** ETL(抽取、转化、装载)**操作来将数据转化为键值对形式。

Spark 为包含键值对类型的 RDD 提供了一些专有的操作。

1.创建Pair RDD

全文 >>

1.RDD——弹性分布式数据集（Resilient Distributed Dataset）

RDD是一个分布式的元素集合，在Spark中，对数据的操作就是创建RDD、转换已有的RDD和调用RDD操作进行求值。

Spark 中的 RDD 就是一个不可变的分布式对象集合。每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上。

全文 >>

1.本地函数

可以在一个方法内再次定义一个方法，这个方法就是外部方法的内部私有方法，省略了private关键字

2.头等函数

全文 >>

1.通过realy机器登录relay-shell

全文 >>

1.在清华镜像站点下载hbase的安装文件，选择的是stable的版本，版本号是hbase-1.2.5/

2.解压放在/usr/local的目录下

3.修改权限

全文 >>

1. cd ~/.config

2.删除三个文件夹: SogouPY, SogouPY.users, sogou-qimpanel

然后重启输入法

Scala的内建控制结构包括：if、while、for、try、match和函数调用

1.if表达式

全文 >>