1. 简介

HBase是大数据组件中No-SQL数据库的典型代表，提供了高可靠、可伸缩、高性能、面向列的分布式存储。HBase逻辑上引入了Row-ColumnFamily-Qualifier(限定符)-Value-TimeStamp(Version)的概念，Value在数据库中以Byte[]数组存在，且Vaule允许为空。与关系型数据库相比，HBase相当于一个巨大的松散嵌套Map，因此对HBase进行横向扩展是极其方便的，可在廉价物理机上搭建并根据数据量的增多而横向扩展，为海量数据提供高性能的可靠存储。
HBase的数据写入首先将数据缓存在内存中，达到阈值后再顺序刷写磁盘的方式(所有的Write/Update均为Append磁盘文件的方式），避免了随机写入造成的性能低下，同时HBase以HDFS为最终的存储层，利用HDFS的特性保证了数据的容灾性。HBase的数据读取提供了服务端缓存、BloomFilter(布隆过滤)等机制，保证了随机读取的性能。

2. HBase与RDBMS的对比

HBase作为NoSql数据库，采用分布式存储在读写速度方面比RDBMS数据库快，且横向扩展能力强，当存储空间和读写速度遇到瓶颈时，通过增添机器横向扩建，存储空间和读写速度都能够得到很大提升。同时HBase采用列式存储，且结构松散，允许某列为空，可以存储半结构化数据。但这些都是有代价的，是以牺牲事务为代价的，且RDBMS支持多种数据类型，可以对任意列建立索引，支持事务，支持SQL语言，可以在多个表之间进行Join等操作，只需要一条SQL语句即可，同时支持表锁、页锁与行锁等。与之相比，HBase仅支持字节数组数据结构，仅支持RowKey索引，不支持多表Join，原生不支持SQL语言，需要通过外部插件才能实现对SQL语言的支持。
因此在选择时，需要根据具体的业务需要，从多方面综合考虑来选取最终的存储方案。
more >>

1. 简介

ElasticSearch是一个开源的分布式搜索和分析引擎，它在Lucence基础上做了二次开发，将Lucence繁琐的API调用变为简洁通用的ResetFul API，并提供了Java API，以及与Storm、Spark、Hadoop等大数据开源组件相适配的API接口。通过ElasticSearch，我们可以实现对JSON格式数据源的存储、文本搜索、结构化搜索和分析。ElasticSearch无论是单节点部署还是集群部署都较为简单，它可以自动完成数据存储、数据容灾、数据检索等多种功能，在维基百科、英国卫报、GitHub等得到了广泛应用。

2. Restful API

REST直译为状态形式转移，是近几年极为火热的Client与Sever交互形式，之前的Client与Server主要采用RPC远程调用的方式，Server提供函数API，Client使用函数并将函数参数传递给Server，Server接收到函数执行相应动作并将结果返回。这种交互形式存在的主要弊端就是随着移动互联网的兴起，Client与Server需要同时提供对Web、IOS和Andriod的支持，这对开发和维护人员是一个很大的负担。而Rest形式的交互方式则统一了交互方式，多种Client可以使用统一的Restful API与Server通信。Client与Server的交互无非是对指定的数据进行一系列的操作，在Restful API中，我们将数据资源与执行动作分离开来，每个数据资源都可以通过URL获得，并且每个数据资源是无状态的，不依赖于其他资源，使用GET、PUT、POST、DELETE等指定动作，配合传入的一系列参数，可以实现所有交互，且交互简单，不存在这次交互依赖上次交互的问题(因为所有资源都是无状态的)。
more >>

最近公司安排了比较富裕的时间，让我进行自学，最近一年虽然做了一些大数据包括JStorm、Spark、ElasticSearch等项目，但仍然停留在使用阶段，对其中的具体细节并没有有一个深入的理解，也没有进行很好的梳理这才有了上半年的JStorm源码分析，但鉴于时间原因，对JStorm的源码的阅读，也仅仅停留在Nimbus、Supervisor启动、Topology的提交阶段。因此正好利用这个难得的学习时间段，系统的研究一下Spark、HBase、ElasticSearch、Kafka这几个大数据组件，正好包括了从数据输入端到计算引擎，再到数据库存储、数据检索整个大数据处理流程。通过近些天的学习，由于公司还没有安排具体的项目进行实践，因而计划在学习过程中，对所学内容在博客上进行一个系统的梳理。有时候静下心来想想，博客更大程度上是写给自己看的，只有不断的梳理知识点，不断的改进与完善，才能真正将知识点转变为自身的内在。近一段时间内，主要会写《Spark系列》、《HBase系列》、《ElasticSearch系列》等内容，更多的是对所学知识的一个梳理与总结。
more >>

一、StormSubmitter.class submitTopology方法

　　在完成Spout类开发->Bolt类开发->通过setSpout和setBolt方法定义Topology结构并createTopology这几个步骤后，最后一步即是调用submitTopology方法，将我们定义的Topology作业提交到JStorm集群中运行。我们代码中调用的submitTopology方法并非在JStom源码中，而是JStorm提供的jstorm-core.jar包中backtype.storm.StormSubmitter.class类的方法。submitTopology方法用于向JStorm集群中提交Topology作业，Topology作业一旦提交成功则会一直运行下去，直到显示的kill掉。
　　1. submitTopology方法中首先会验证参数stormConf是否能进行json序列化，若不能则报异常。
　　2. 然后会调用Utils.readCommandLineOpts()和Utils.readStormConfig()方法，从storm.option、default.yaml和storm.yaml中读取Storm的相关配置，并将配置中%JSTORM_HOME%参数替换为实际真实路径，然后与我们传递的参数stormConf(包含用户在storm整体的个人配置)，共同构成Storm的conf，最后将存有所有相关配置的Map conf转化为Json字符串serConf。
more >>

一、TopologyBuilder.class Topology模版

　　TopologyBuilder提供了Java API的模版，我们通过TopologyBuilder可以建立属于自己的Topology并调用submitTopology方法即可在JStorm集群上启动该Topology。在JStorm源码中，TopologyBuilder.class中有如下注释，为我们提供了建立Topology的模版：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

//集群模式下
  TopologyBuilder builder = new TopologyBuilder();
  
  builder.setSpout("1", new TestWordSpout(true), 5);
  builder.setSpout("2", new TestWordSpout(true), 3);
  builder.setBolt("3", new TestWordCounter(), 3).fieldsGrouping("1", new Fields("word")).fieldsGrouping("2", new Fields("word"));
  builder.setBolt("4", new TestGlobalCount()).globalGrouping("1");
  
  Map conf = new HashMap();
  conf.put(Config.TOPOLOGY_WORKERS, 4);
  
  StormSubmitter.submitTopology("mytopology", conf, builder.createTopology());

//本地模式下
  TopologyBuilder builder = new TopologyBuilder();
  
  builder.setSpout("1", new TestWordSpout(true), 5);
  builder.setSpout("2", new TestWordSpout(true), 3);
  builder.setBolt("3", new TestWordCounter(), 3).fieldsGrouping("1", new Fields("word")).fieldsGrouping("2", new Fields("word"));
  builder.setBolt("4", new TestGlobalCount()).globalGrouping("1");
  
  Map conf = new HashMap();
  conf.put(Config.TOPOLOGY_WORKERS, 4);
  conf.put(Config.TOPOLOGY_DEBUG, true);
  
  LocalCluster cluster = new LocalCluster();
  cluster.submitTopology("mytopology", conf, builder.createTopology());
  Utils.sleep(10000);
  cluster.shutdown();

一、NimbusServer.class main方法

　　运行$JSTORM_HOME/bin/jstorm nimbus即可运行Nimbus启动程序，JStorm会
调用com.alibaba.jstorm.daemon.nimbus包中的NimbusServer.class的main方法。
　　1. 调用Utils.readStormConfig()方法，从default.yaml、storm.yaml和storm.options中读取JStorm的相关配置，返回(Map)conf，后面的许多操作都要用到conf。
　　2. 新建DefaultInimbus实例，DefaultInimbus类实现了INimbus接口，实现了allSlotsAvailableForScheduling方法，在该方法中可以得到整个可以供Nimbus调度的Collection。

1
2
3
4
5
6
7
8
9
10
11

@Override
  public Collection<WorkerSlot> allSlotsAvailableForScheduling(Collection<SupervisorDetails> existingSupervisors, Topologies topologies,
          Set<String> topologiesMissingAssignments) {
      // TODO Auto-generated method stub
      Collection<WorkerSlot> result = new HashSet<WorkerSlot>();
      for (SupervisorDetails detail : existingSupervisors) {
          for (Integer port : detail.getAllPorts())
              result.add(new WorkerSlot(detail.getId(), port));
      }
      return result;
  }

　　3. 新建NimbusServer实例instance，并调用instance.launchServer方法。
more >>

《Java编程思想》第18章——Java I/O系统

1. File类既能代表一个特定文件的名称，又能代表一个目录下的一组文件的名称。如果它指的是一个文件集，我们就可以对此集合调用list()方法，这个方法会返回一个字符数组。
2. 通过继承，任何自InputStream或Reader派生而来的类都含有名为read()的基本方法，用于读取单个字节或者字节数组。同样，任何字OuputStream或Writer派生而来的类都含有名为write()的基本方法，用于写单个字节或自己数组。但是我们不会用到这些方法，它们之所以存在是因为别的类可以使用它们，以便提供更有用的接口。因此，我们很少使用单一的类来创建流对象，而是通过叠合多个对象来提供所期望的功能。
3. 实际上，Java中“流”类库让人迷惑的主要原因就在于：创建单一的结果流，却需要创建多个对象。
4. System.setIn(InputStream)可以对标准输入重定向，System.setOut(PrintStream),System.setErr(PrintStream)是对标准输出和错误I/O流进行重定向。
5. 要序列化一个对象，首先要创建某些OutputStream对象，然后将其封装在一个ObjectOutputStream对象内。这时，只需要调用writeObject()即可将对象序列化，并将其发送给OutputStream(对象序列化是基于字节的，因此要使用InputStream和OutputStream继承层次结构)。要反向进行该过程(即将一个序列还原为一个对象)，需要将一个InputStream封装在ObjectInputStream内，然后调用readObject()。我们最后获得的是一个引用，它指向一个向上转型的Object，所以必须向下转型才能直接设置它们。 more >>

《Java编程思想》第10章——内部类

1. 在拥有外部类对象之前是不可能创建内部类对象的。这是因为内部类对象会暗暗地连接到创建它的外部类对象上。
2. 接口的所有成员自动被设置为public。
3. 匿名类不可能有构造器。

《Java编程思想》第11章——持有对象

1. 如果一个类没有显式地声明继承自哪个类，那么它自动地继承自Object。
2. 通过使用泛型，就可以在编译期防止将错误类型的对象放置到容器中。
3. 你可以将Apple的子类型添加到被指定为保存Apple对象的容器中。
4. 你可以直接使用Arrays.asList()的输出，将其当作List，但是在这种情况下，其底层表示的是数组，因此不能调整尺寸。
5. 基本的ArrayList，长于随机访问元素，但是在List的中间插入和移除元素时较慢。LinkedList在List中间进行插入和删除的操作代价较低，并提供了优化的顺序访问，但在随机访问方面相对比较慢。
6. subList()所产生的列表的幕后就是初始化列表，因此，对所返回的列表进行修改，会直接反映到原初始列表中，反之亦然。 more >>

一、Supervisor.class main方法

　　JStorm源码版本：2.1.0
　　在Linux中输入$JSTORM_HOME/bin/jstorm supervisor命令，
即可运行supervisor启动程序，系统会调用com.alibaba.jstorm.daemon.supervisor包中Supervisor.class的main方法。在main方法中，首先构造Supervisor实例，并调用该实例的run方法。

1
2
3
4
5

public static void main(String[] args) {
    JStormServerUtils.startTaobaoJvmMonitor();
    Supervisor instance = new Supervisor();
    instance.run();
}

一、JStorm简述

　　JStorm在使用自带的集群管理中，主要包括Nimbus、Zookeeper、Supervisor、Worker四部分，其中Nimbus作为调度器，其功能主要为调度管理
topology，通过Zookeeper这一协调器，实时监测Supervisor发送过来的心跳包，当Supervisor出错时，Nimbus可以将故障节点上运行的task重新分配到其他正常节点上，实现JStorm集群较高的容错性。Supervisor管理节点上的workers，当某个worker出错时，Supervisor可以将该worker上运行的tasks，调度到其他worker上运行。Worker是Supervisor上运行的进程，一个Worker上面可运行多个task，每个Worker与节点的Port相对应。Zookeeper上存储了每个topology的信息、代码以及JStorm的的一些配置信息。Nimbus通过Zookeeper获得每个worker的心跳包，以及每个节点的信息，Supervisor通过Zookeeper获得每个Topology的信息，以及需要节点运行的task信息和代码。
more >>