今天是农历腊月二十八，时间快的让人猝不及防，又是一年春节，前天刚刚结束在北京为期50天的封闭开发回到沈阳公司，趁着这个闲暇时间简单总结下自己在即将过去的2017年中的工作与生活，并展望下2018年，开启新的篇章。

1. 2017年工作总结

依然清晰记得去年春节的时候，公司让每位员工写下各自2017年KPI，我当时还是一个只会写Storm实时分析的初级开发人员，充满了对周围Spark高级工程师的崇拜，所以我在KPI写的是：1.深入了解Storm内部机制，做到不仅仅会使用Storm，还要做到知其所以然；2. 学习Spark，能够自己开发Spark离线分析程序和实时分析程序。
现在回首过去的2017年感慨颇多，虽然我已经离开了当初的公司，但在2017年我一直在按照当初的KPI努力。

1. 2017年3月，我阅读了Storm的部分源码，了解了storm应用程序的启动流程，了解了Nimbus/Supervisor与Zookeeper之前通过心跳包完成数据/任务同步与状态监控，了解了Supervisor与Worker通过节点本地磁盘实现数据交换/任务分配与状态监控。
2. 2017年4月，我通过Spark官方文档学习了Spark离线开发并在君哥的指导下慢慢独自开始负责一部分Spark离线报表的产出工作，但当时也只是停留在使用阶段，不了解Spark的一些细节以及具体配置。 more >>

1. 写在前面

实际项目中，编写Java程序时一直都停留在应用阶段，至于代码编译后是什么样子，类文件如何加载，如何执行，JVM内存分配与垃圾回收等内容，一直都是一知半解，总想着找机会读一下《深入理解Java虚拟机》这本书。近段时间，总算是有了些许空余时间，怀着略显饥渴的心情，在两周时间里断断续续的读完了这本书。然而才过了这么几天，对书中讲解的知识点又忘记的差不多了(吐血ing…)。也许读书就是这样吧，读第一遍只能记住书的大概，只有在实际项目中遇到问题回头翻阅这本书时去读第二遍以至第三遍，才能完完全吸收书中的知识点。今天，借此机会，简单总结一下书中知识点，方便以后回顾，也算是为第一遍阅读《深入理解Java虚拟机》画下一个句号。

2. JVM内存分布

上图为JVM运行时内存分布，主要虚拟机栈、本地方法栈、程序计数器、JVM堆和方法区。其中堆和方法区是Thread共享的，虚拟机栈、本地方法栈和程序计数器是Thread独享的。

2.1 程序计数器

程序计数器：每个Thread都有程序计数器，用来保存代码的执行位置。

2.2 虚拟机栈

虚拟机栈中分布有栈帧，每个方法对应一个栈帧，方法的运行伴随着栈帧的入栈和出栈操作。栈帧中保存有局部变量表、操作数栈、返回地址、动态连接等信息。局部变量表在代码编译成类文件后会指定需要多个slot，局部变量表的大小就确定了，方法的参数、外部引用、this引用等都保存在局部变量表中。
代码运行时需要进行入栈和出栈操作，这些都需要使用操作数栈来实现。
more >>

1. 写在前面

上个月做了一个SparkStreaming的小项目，数据量很小，功能也比较单一，从Kafka读取数据经过简单处理，将最终的数据落地到Mysql中。虽然项目小，但这是我第一个SparkStreaming项目，通过这个简单实践，让我对SparkStreaming应用和Scala编程都有了一个更深的认识。这个过程中，遇到一些问题，也引发了一些思考，记录于此，算是对这个项目的简单总结吧，保密起见，文中代码都是网上找的一些示例代码，不涉及项目实际代码。

2. SparkStreaming读取Kafka数据

2.1 Kafka High Level Consumer方式

more >>

1. Apache Livy简介

1.1 Livy与Zeppelin对比

在实际应用中，Spark SQL可以快速的完成对大数据量的统计分析，但Spark SQL对交互式查询支持的并不友好，因此也就衍生出多种第三方组件，如Apache Zeppelin、Apache Livy等。
Zeppelin提供了一个非常友好的 WebUI 界面以及操作指令，可用于做数据分析和可视化。其后面可以接入不同的数据处理引擎，包括 Flink，Spark，Hive 等，利用Scala语言、SQL语言等，可以方便的进行数据查询，将结果可视化，并可以实现多数据源(HDFS、HBase、MySQL)的联合分析。但Zeppelin的劣势在于只提供了WebUI的接口，并为提供REST/Java接口，因此无法将Zeppelin集成在我们的系统中，只能作为一个第三方服务存在，定制化较差。并且，Zeppelin的一个实例对应Spark中的一个Spark Application，Zeppelin运行过程中，需要始终保持该Application，即使在Zeppelin闲置时，所占用的Spark资源依然无法释放，这就造成了Spark资源的严重浪费。

与之相比，Apache Livy要轻量的多，并且Livy提供了REST接口和Java接口，可以很方便的集成于我们的系统中，为Spark提供一个更上一级的接口，隐藏Spark任务提交的细节。
more >>

HBase的性能优化主要围绕提升HBase的读写性能围绕，包括Client端程序优化以及HBase服务端参数配置优化。其中，Client端可以从减少RPC调用次数入手，使用缓存，采用批量请求的方式。HBase服务端参数配置优化，又主要包括良好的RowKey设置保证负载均衡，良好的ColumnFamily设置，适当的MemStore Flush配置和Compaction配置以及合理的内存规划等方面。

1. 读性能优化

1.1 Client端

1.1.1 减少RPC请求次数

Client端查询程序开发时，针对Get请求，在Client端宕机时允许Get请求丢失一部分的情况下，可以采用批量Get请求的方式，减少RPC请求次数。针对Scan请求，默认会每次从HBase服务端拉取100条数据进行缓存，当Scan的数据量较大时，我们可以增大Caching的条数，每次从HBase服务端拉取1000条数据，从而减少RPC请求次数。
more >>

1. Java API

Java API包括了对HBase的各种操作，本节主要对Java API中的基本操作进行简要介绍，诸如批量处理以及过滤器的使用等高级API，感兴趣的可以进一步了解。Java API中的CRUD主要通过HTable类提供的方法实现，而管理和创建HBase表，则通过HBaseAdmin类实现。

1.1 Get 操作

Get操作包括单次Get请求和批量Get请求，我们以单次Get请求为例：

1
2
3
4
5
6
7
8

Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "testtable");
Get get = new Get(Bytes.toBytes("row1"));
get.addColumn(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"));
Result result = table.get(get);
byte[] val = result.getValue(Bytes.toBytes("colfam1"), Bytes.toBytes("qual1"));
table.close();
System.out.println("Value: " + Bytes.toString(val));

1. 表结构设计至关重要

在使用HBase的过程中，HBase表结构设计的优劣对读写性能有着较大影响。由于HBase只能对RowKey进行索引，因此若RowKey没有针对具体需求做特殊设计，Client端在Get/Scan数据表时，往往需要遍历Row中的所有数据列，并做一些较为复杂的逻辑处理，才能得到所需数据，读写性能较差。RowKey的设计还需要考虑到HBase的RowKey采用从小到大字典排序的特点，且RowKey相同的数据会在同一个HRegionServer中，当RowKey相似或存在数据热点时，大量的数据会存储在同一个HRegionServer中，对数据读写时会存在单点性能瓶颈，无法发挥HBase分布式存储的优势。ColumnFamily数量、数据的压缩方式、数据版本数、数据时间周期TTL以及二级索引表等，对HBase的性能也有着重要影响，这些参数在进行HBase表结构设计时，都需要着重考虑，只有全面考虑才能最大发挥HBase的性能优势。

2. 建表示例

create 'TestTable', {NAME=>'CF1', BLOOMFILTER=>'ROW', BLOCKSIZE=>'65536', VERSIONS=>'3', COMPRESSION=>'SNAPPY', BLOCKCACHE=>'true', IN_MEMORY=>'false', TTL=>'3600'}
以上建表语句，表示建立一个名为TestTable的表，只有一个名为CF1的列簇，该列簇中BLOOMFILTER为ROW方式，HFile数据块大小为65536B(64KB)，版本数为3，数据采用SNAPPY的压缩方式，BLOCKCACHE为true(默认)，IN_MEMORY为false(默认)
， 数据存储周期为3600s。建表语句中具体参数含义会下面会具体解释。
more >>

1. HBase写入流程

HBase写入流程主要分为四部分，分别为Client端写入、写入HLog日志、写入MemStore、MemStore溢出到HFile落地磁盘

1.1 Client端

用户写入HBase数据时，首先会通过HBase提供的API接口，调用Put类，将数据写入本地缓存，若用户设置的AutoFlush=Ture(默认)，则每调用一次Put操作，Client会将请求立即发送给HBase集群；若用户设置的AutoFlush=False，则每调用一次Put操作，Client会将请求缓存至本地缓存，当缓存达到阈值时(默认2M)，会批量向HBase集群提交Put请求，也可以调优flushcommit()方法强制将缓存中的put请求提交至HBase集群。
两种提交方式相比，AutoFlush=False的批量操作数据吞吐量更高，但是由于Put请求都缓存在本地缓存，因此存在数据丢失的风险。
上述提及的Put批量提交是通过关闭AutoFlush机制实现的，与使用List这种方法异曲同工，List将多个Put操作放入List中，通过提交List的方法也可以实现批量写入。
more >>

1. 写在前面

SQL语句在工作中经常使用，之前阅读过《SQL必知必会》，但并没有系统的学习过SQL，国庆8天假期，借此机会系统的阅读了《SQL学习指南》一书。越来越发现每次阅读完一本书，如果能够好好的总结，用自己的语言复述一遍书中的主要知识点，往往能够得到更多收获。由于本文完全是我对着该书目录，按照自己的记忆进行的简单知识总结，所以文中知识点并不全面和严谨，仅供参考。

2. 阅读总结

SQL语言在多种数据库中都得到了广泛应用，无论是MYSQL、Orcale、SQL Server等关系型数据库，还是Hive、HBase等大数据组件，都可以使用SQL语言进行数据的查询等操作(HBase需要通过Phoenix来进行SQL查询，Phoenix是构建在HBase上的一个SQL层）。同时，不仅是数据库管理人员，程序开发人员、数据统计/挖掘人员也需要掌握一定的SQL。SQL语言主要包括实现对数据库的CRUD操作。

2.1 MySQL数据类型

2.1.1 字符数据类型

字符型数据主要为char(n)和varchar(n)，两种，char为定长类型，n为数据长度，当数据长度不够长时，向右使用空格补足。vachar可以做到变长，n为最大数据长度。因为varchar最大可以做到65535，所以一般情况下varchar即可满足字符类型的大部分需要，对于文本数据，则需要使用text类型。
more >>

1. Spark为什么比Hadoop快

Spark比Hadoop快，由于Spark可以将中间结果缓存在内存中，避免频繁读取磁盘，因此在机器学习等需要对数据进行多次叠代计算的场景中，Spark比Hadoop快得多。然而即使在不使用内存缓存的场景中，Spark依然比Hadoop快，具体原因主要在以下方面：

1.1 进程与线程

Spark与Hadoop都会将程序分解成Task在节点运行，但Hadoop中的Task为进程，Spark中的Task为线程，因此在Task调度方面，Spark更轻更快。

1.2 编程语言

Spark原生支持Scala语言，Hadoop采用Java语言。Scala语言是一种函数式语言，函数式编程语言不需要考虑死锁，因为它不修改变量，所以根本不存在”锁”线程的问题。不必担心一个线程的数据，被另一个线程修改，所以可以很放心地把工作分摊到多个线程，实现并发编程。因此，Scala的并行性明显优于面向对象的Java语言。
more >>