SparkContext是Spark函数的主入口，一个SparkContext代表与Spark集群的连接，可以用来在集群创建RDD、累加器、广播变量等。每一个JVM只能有一个活跃的SparkContext实例，在创建新的SparkContext实例之前，必须stop正活跃的SparkContext实例。不过这个限制最终可能会移除掉。

1. SparkContext类初始化

纵观SpartContext类的初始化过程，主要创建了LiveListenerBus、SparkStatusTracker、HeartbeatReceiver、SchedulerBackend、TaskScheduler和DAGScheduler实例。这些实例，在后期会完成event监听、status追踪、heartbeat接受、后台调度、任务调度、DAG调度等工作，是Spark Application得以运行的基石。

1. spark-submit脚本

1. 判断${SPARK_HOME}环境变量是否存在，不存在的话调用当前目录下的find-spark-home脚本设置该环境变量。
2. 执行exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"命令，调用spark-class脚本。

2. spark-class脚本

1. 判断${SPARK_HOME}环境变量是否存在，不存在的话调用当前目录下的find-spark-home脚本设置该环境变量。
2. 执行load-spark-env.sh脚本，设置一些环境变量。
3. 检查java环境变量。
4. 检查${SPARK_HOME}中的jars。
5. 定义如下函数，解析spark-submit脚本传递的参数，并打印解析后的参数。函数中$RUNNER变量是java

1
2
3
4

build_command() {
  "$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@"
  printf "%d\0" $?
}

1. Logistic回归

• 设X是连续随机变量，X服从logistic分布是指X具有下列分布函数与密度函数：
  $$
  F(X)=P(X\leq x)=\frac{1}{1+e^{-(x-u)/\gamma}}
  $$

$$
f(X)=F^{‘}(X)=\frac{e^{-(x-u)/\gamma}}{\gamma(1+e^{-(x-u)/\gamma})^2}
$$

$u$为位置函数，$\gamma\geq0$为形状函数。分布函数属于logistic函数，是一条S曲线。

1. 决策树的概念与构建

• 可以将决策树看成一个if-then规则的集合。将决策树转换成if-then规则的过程是这样的：由决策树的根结点到叶结点的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。

• 决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。

• 构建决策树的过程：

  1. 开始构建根节点，将所有训练数据都放在根节点；

  2. 选择一个最优特征，按照这一特征将数据集分割成子集；

     more >>

1. 朴素贝叶斯法

• 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

• 朴素贝叶斯法是典型的生成学习方法，由训练数据学习联合概率分布P(X,Y)，然后求得后验概率P(Y|X)。

• 条件独立性假设：
  $$
  P(X=x|Y=c_k)=P(X^1=x^1,…X^n=x^n|Y=c_k)=\prod_{j=1}^n P(X^j=x^j|Y=c_k)
  $$
  条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

  more >>

1. K近邻法概念与算法

• K近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。

• K近邻法不具有显示的学习过程，主要利用训练数据集对特征向量空间进行划分，并作为其分类的模型。

• K值的选择、距离度量及分类决策规则是K近邻法的三个基本要素。

• K值的选择：K较小时，训练误差较小，但估计误差较大，即K值的减小意味着整体模型变得复杂，容易过拟合。反之K较大时，训练误差较大，但估计误差较小，意味着整体模型变得简单。在应用中，K值一般取较小的数值，并采用交叉验证法来选取最优的K值。

  more >>

1. 感知机模型及其学习策略

• 感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。其模型函数为：$f(x)=sign(w·x+b)$，其中，$w$为权值向量，$b$为偏置。$sign(x)=\begin{cases} +1, \geq 0 \ -1, <0\end{cases}$

• $w·x+b=0$对应特征空间的超平面，$w$是超平面的法向量，$b$是超平面的截距，这个超平面将特征空间划分为两部分。

• 若数据集$T={(x_1,y_1),(x_2,y_2),…(x_i,y_i)}$，$y={+1,-1}$，存在一个超平面$w·x+b=0$，能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，即对所有$y_i=+1$，有$w·x+b>0$，对所有$y_i=-1$，有$w·x+b<0$，则称该数据集为线性可分数据集，否则为线性不可分。

  more >>

1. 机器学习规划

做大数据已经有2年多的时间，Spark、HBase、ElasticSearch等大数据组件也在多个项目中进行了应用实践，总想着除了在广度上多接触各类大数据开源组件之外，还应该在深度上多做些研究，因为从早期 MR引擎到Spark引擎再到FLink引擎等，各种工具层次不穷，我不想只是做一个工程开发人员，我想做数据分析方面的专家，沿着大数据应用—>机器学习—>深度学习的路线发展。因此后面打算利用3个月的时间，进行机器学习的一个入门学习。主要的学习思路是：《统计学习方法》—>《机器学习》(西瓜书) —> 《机器学习实践》与TensorFlow的使用，我会在博客上更新所学到的知识点以及学习心得，也算是一个自我鞭策过程。
more >>

由于3月份换了电脑，更新博客的事情就耽搁下来，今天利用周六在家的空闲时间，在Mac上安装了hexo，总算能够正常更新博客了。

最近做了几个数据量较大的项目，在Spark读写HBase时遇到了一系列的性能问题，造成Spark程序不能正常运行，甚至出现Spark任务运行十几个小时最终报异常的情况，最终经过对HBase表的调整和Spark程序的优化，实现了性能的显著提升。下面主要讲解一下整个过程中遇到的一些问题，以及最终的解决方法。

1. HBase没有预分区导致RegionServer卡死的问题

1. org.apache.spark.deploy.yarn.Client类

在《Spark源码阅读1——spark-submit应用提交整体流程》文章中，我们已经了解到YarnCluster模式下会将用户的jar包加入到类加载路径中，并通过 childArgs += ("--class", args.mainClass)将用户的主类作为参数传入，最后利用反射机制调用org.apache.spark.deploy.yarn.Client类的main方法。那么下面我们就来看一下YarnCluster模式下，在调用yarn/Client类的main方法后，是如何在Yarn集群中启动我们的Spark Application的。

1.1 main方法

该方法的内容比较精简：

1. 判断系统参数中是否包含SPARK_SUBMIT，若不包含则打印告警信息；
2. 设置系统参数SPARK_YARN_MODE为true；
3. 构建SparkConf对象；
4. 由于Yarn模式下，SparkSubmit将会使用Yarn来分布式缓存file和jar包，故从sparkConf中删除saprk.jars和spark.files；
5. 构建ClientArguments对象；
6. 构建Client对象，并调用run()方法。