大数据处理技术-基于hadoop的实践

推荐

1，对云计算、分布式数据存储于处理、大数据等感兴趣的朋友
2，传统的数据库，例如Oracle、MaySQL、DB2等的管理人员
3，Java、C等任意一门编程语言的开发者；
4，网站服务器端的开发人员
5，在校大学生、中专生或者刚毕业的学生
6，云计算大数据从业者；
7，熟悉Hadoop生态系统，想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友；
8，系统架构师、系统分析师、高级程序员、资深开发人员；
9，牵涉到大数据处理的数据中心运行、规划、设计负责人；
10，政府机关，金融保险、移动和互联网等大数据来源单位的负责人；
11，高校、科研院所涉及到大数据与分布式数据处理的项目负责人；
12，数据仓库管理人员、建模人员，分析和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员；
对云计算有强烈的兴趣，能够看懂基本的Java语法。
直接上手Hadoop工作，具备直接胜任Hadoop开发工程师的能力；轻松驾驭以Spark为核心的云计算大数据实战技术，从容解决95%以上的云计算大数据业务需求；

时间 内容















第一天 第1个主题：Hadoop三问（彻底理解Hadoop）
1、Hadoop为什么是云计算分布式大数据的事实开源标准软件框架？
2、Hadoop的具体是如何工作？
3、Hadoop的生态架构和每个模块具体的功能是什么？

第2个主题：Hadoop集群与管理（具备构建并驾驭Hadoop集群能力）
1、 Hadoop集群的搭建
2、 Hadoop集群的监控
3、 Hadoop集群的管理
4、集群下运行MapReduce程序

第3个主题：彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS

第4个主题：彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信

第5个主题：彻底掌握MapReduce（从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力）
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行

第6个主题：彻底掌握MapReduce（具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力）
1、Hadoop是如何把HDFS文件转化为键值对的？
2、源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、源码剖析转化为键值对后供Map调用的过程实现

第7个主题：彻底掌握MapReduce（具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力）
1、Hadoop内置计数器及如何自定义计数器
2、Combiner具体的作用和使用以及其使用的限制条件
3、Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、自定义排序算法
6、 Hadoop内置的分组算法
7、自定义分组算法
8、 MapReduce常见场景和算法实现

第8个主题：某知名电商公司Hadoop实施全程揭秘（具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力）
通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程


时间 内容














第二天 第9个主题：YARN（具备理解和使用YARN的能力）
1、YARN的设计思想
2、YARN的核心组件
3、YARN的共组过程
4、YARN应用程序编写

第10个主题：ResourceManager深度剖析（具备深刻理解ResourceManager的能力）
1、ResourceManager的架构
2、ClientRMService 与AdminService
3、NodeManager
4、 Container
5、 Yarn的 HA机制

第11个主题：NodeManager深度剖析（具备掌握NodeManager及Container的能力）
1、NodeManager架构
2、Container Management
3、Container lifecycle
4、资源管理与隔离

第12个主题：MapReduce的经典案例纯代码实战（初级）
1 MapReduce通过采集的气息温度数据分析每年的最高温度代码实战
2 MapReduce数据去重案例代码案例实战
3 MapReduce数据排序代码案例实战
4MapReduce平均成绩代码案例实战
第13个主题：MapReduce的经典案例纯代码实战（进阶1）
1 MapReduce求最大最小值案例代码实战
2 MapReduce TopN案例实战
3 MapReduce日志分析案例实战

第14个主题：MapReduce的经典案例纯代码实战（进阶2）
1 MapReduce Join操作案例代码实战
2 MapReduce Join优化案例实战
3 MapReduce 二次排序代码案例实战

第15个主题：MapReduce的经典案例纯代码实战（高级1）
1 MapReduce 自动连接操作案例代码实战
2 MapReduce 倒排索引案例实战
3 MapReduce 多维度排序代码案例实战

第16个主题：MapReduce的经典案例纯代码实战（高级2）
1 MapReduce MultipleInputs案例代码实战
2 MapReduce MultipleOutputs案例实战
3 MapReduce ChainMaper、ChainReducer代码案例实战

第12个主题：Spark的架构设计
1 Spark生态系统剖析
2 Spark的架构设计剖析
3 RDD计算流程解析
4 Spark的出色容错机制

Spark、Docker、Android技术中国区布道师。
• Spark亚太研究院院长和首席专家，移动互联网、云计算和大数据技术领域集大成者。
• 当今云计算领域最火爆的技术Docker源码级专家和Docker技术在中国的最早实践者之一。
• Cassandra和H技术在中国的最早实践者之一。
• 在Spark、Hadoop、Android、Docker等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到1.1.0共18个版本的Spark源码。Spark最佳畅销书《大数据spark企业级实战》作者，电子书《Spark GraphX大规模图计算和图挖掘》、《Spark实战高手之路》的作者，从2014年6月24日开始，在网上开启了免费的Spark公开课《决胜大数据时代Spark100期公益大讲堂》。
• Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引擎中的研发等，著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等；
• 国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。
• 多款浏览器定制者，中国大陆HTML5的技术引领者。