今天是农历腊月二十八，时间快的让人猝不及防，又是一年春节，前天刚刚结束在北京为期50天的封闭开发回到沈阳公司，趁着这个闲暇时间简单总结下自己在即将过去的2017年中的工作与生活，并展望下2018年，开启新的篇章。

1. 2017年工作总结

依然清晰记得去年春节的时候，公司让每位员工写下各自2017年KPI，我当时还是一个只会写Storm实时分析的初级开发人员，充满了对周围Spark高级工程师的崇拜，所以我在KPI写的是：1.深入了解Storm内部机制，做到不仅仅会使用Storm，还要做到知其所以然；2. 学习Spark，能够自己开发Spark离线分析程序和实时分析程序。
现在回首过去的2017年感慨颇多，虽然我已经离开了当初的公司，但在2017年我一直在按照当初的KPI努力。

1. 2017年3月，我阅读了Storm的部分源码，了解了storm应用程序的启动流程，了解了Nimbus/Supervisor与Zookeeper之前通过心跳包完成数据/任务同步与状态监控，了解了Supervisor与Worker通过节点本地磁盘实现数据交换/任务分配与状态监控。
2. 2017年4月，我通过Spark官方文档学习了Spark离线开发并在君哥的指导下慢慢独自开始负责一部分Spark离线报表的产出工作，但当时也只是停留在使用阶段，不了解Spark的一些细节以及具体配置。
3. 2017年5~6月，我在黎叔的指导下开始负责反作弊平台的一部分工作，主要是使用Zeppelin运行Spark Sql进行反作弊平台的前期数据挖掘工作，期间学会了Zeppelin的使用与安装。
4. 2017年8~10月，我更换了工作开始在新的公司继续深入了解Spark/HBase/Hive/ElasticSearch等大数据组件的使用，并与另一个同事搭建了一个我们自己的大数据集群，在5台虚拟机上安装了Hadoop/Spark/Hive/HBase等大数据组件，并在期间对公司员工进行了一个小型的Spark技术分享，这个过程使我能够静下心来好好沉淀一下，对Spark的一些关键概念与主要结构有了更深入的理解，并对其他大数据组件有了更多的了解，大大扩展了我在大数据领域的知识面。更为重要的是，通过自己动手搭建一套大数据开发集群，使我对各大数据组件之前的联系有了一个较为深入的了解。
5. 2017年11~12月，正好有个SparkStreaming的项目，我利用这个难得的机会，把我8~10月份在Spark方面的积累通通在这个项目中进行了实践，包括SparkStreming实时分析开发，CheckoutPoint机制，Spark应用程序在Yarn的重启配置等，以及Spark读取Kafka等内容，虽然项目不大，但给了我一个很好的实践机会。
6. 2018年1月~至今，北京总公司正好有个比较大的大数据开发项目，因为之前看了很多理论知识，一直想找个实践的机会的大展拳脚，于是便排除困难，去北京出差50年进行封闭开发去了(不得不说北京996的工作强度的确不小，让我现在一点都不羡慕北京IT的工作了)。在北京的封闭开发中，我主要负责标签体系中Spark离线标签产出功能模块，在这个功能模块中，我通过Spark操作Hive/HBase/ElasticSearch等大数据组件，我是真正的将前期积累的理论知识全部无一例外的实践了一遍，除了使用Scala还学会了使用Java进行Spark开发。虽然工作较累，但与收获相比还是值得的。
   现在，虽然我还不是大数据方面的专家大神，但我完成了去年制定的2017kPI，对大数据各组件均有了一定了解，无论是大数据离线开发还是实时开发，都能够独自完成，算是及格了吧。
   仔细算来，自己工作已经一年半，越来越体会到，在学校老师一直教导我们待人接物要谦逊温和，然而现实社会就是如此残酷，处处都是谦逊温和之人吃亏，现在的人不会认为谦逊是一种美德，反而是一种老实可欺的表现。也许是还没到达那个高度吧，不仅没有自傲的资格，连谦逊的资格都没有，需要处处充满狼性，处处与人斗，你退一步别人都会认为你是可欺的。呵呵，就是这么滑稽工作技能需要提升，生活方面性格方面也必须要努力改变。。还是太年轻，努力吧自己，奋斗吧少年，还差的远呢。
   (PS:我上家公司是一个非常好的公司，我当时所在的团队也是一个非常非常不错的团队，感谢杰哥，黎叔，君哥对我照顾，带我走进大数据领域，虽然只待了区区一年，但作为我的第一份工作，收获巨大，难忘的美好回忆。)

   2. 2018年工作展望

   2018年有好多好多想要做的事情，有好多好多需要学习的东西，想想就兴奋，哈哈，程序猿就是这么苦逼，学海无涯啊，苦中作乐吧。2018年主要工作(学习)核心：
7. 需要学学Python，因为机器学习和深度学习都需要Python语言；
8. Spark源代码阅读，好奇Spark源码，决定一探究竟；
9. 需要学学机器学习，学会使用TensorFlow进行机器学习开发；
10. 需要学学Spring与Spring Boot开发，沈阳纯粹大数据开发的岗位不像北京等一线城市那么多，所以需要进一步扩大自己的知识面，而Spring与Spring Boot的确是一个不错的东西，值得学习一下。
    其他方面，我以后不能总像个孩子那样，充满童真了，也不能那么佛系了，毕竟做了父亲，有了更多的压力与责任，更需要一个成熟有担当的自己！加油吧，趁年轻，多尝试自己畏惧的东西，别等30岁了还没有成为自己想成为的那个人，看不起自己。