Hadoop•Spark技术实战训练营

hadoop、Spark技术工作人员

课 程 收 益：
>>如何认识Hadoop生态系统，如何选择最适合的发行版本
>>HDFS的工作原理介绍与使用技巧
>>深入解析YARN架构，以及如何进行MR程序编写
>>基于hbase与hive的数据处理技巧
>>Spark原理简介与Spark on YARN使用技巧

课程大纲：
第一章：Hadoop企业级实施方案
1、 Hadoop产生背景
2、 Hadoop在大数据、云计算中的位置和关系
3、Hadoop企业级应用案例介绍
4、各Hadoop发行版的特点介绍
5、 Hadoop发行版的选择策略

第二章： Hadoop生态系统介绍
1、Hadoop子项目介绍
2、Hadoop系统集成

第三章：分布式数据存储
1、HDFS原理与组成
2、副本存放策略
3、 NameNode Federation和HA特性
4、FsShell使用
5、 Native Hadoop
6、 Hadoop IO
l
第四章：分布式数据计算
1、 MR计算模型
2、 MR作业的执行过程
3、Yarn模型
4、 序列化、RPC
5、 MapReduce的类型与格式
6、RecordReader、Combiner、Partitioner等组件
7、MR实现join
8、 MapReduce优化
9、编程实战

第五章： Hbase基础应用
1、 Hbase客户端API使用
2、 客户端缓存
3、 过滤器使用
4、 实现MR对Hbase的数据访问
5、 聚合，多表join的MR实现

第六章：Hbase原理介绍
1、 数据结构B+树、LSM树介绍；
2、数据存储格式HFile格式
3、 WAL机制
4、LogEdit的生命周期与内部机制
5、 Coprocessor原理与实现
6、 二级索引HIndex原理
7、 性能调优

第七章：Hive基础应用
1、数据加载、修改表属性
2、 分区操作
3、Hive高级查询语句HQL

第八章：Hive原理与高级应用
1、 内置函数使用
2、自定义UDF和UDAF实战
3、hive调优与安全

第九章：Hbase与Hive整合
1、日志分析系统
2、二级索引构建
3、实时SQL的构建

第十章：Spark生态系统与原理架构
1、Spark运行模式
2、 RDD
3、 Spark运行时模型简介
4、缓存策略介绍
5、 transformation
6、 action
7、lineage
8、容错处理
9、 宽依赖与窄依赖
20、集群配置

第十一章：Spark使用
1、 Spark on Yarn原理
2、 Spark on Yarn案例分析

第十二章：SQL on Hadoop技术
1、 Hive
2、 Tez/Stinger
3、 Impala
4、 Spark SQL
5、 Presto
6、 Phoenix



课 程 九 大 亮 点：
>>网络牛师Louis零距离VIP专享面授课程
>>当天面授课程视频，便于您随时复习
>>价值1199元牛师Louis精华延伸视频课程（10小时）
>>价值899元Hadoop应用开发实战视频课程（40课时）
>>价值399元大数据解决方案及商业应用案例剖析视频课程（10课时）
>>课后专享Louis老师在线答疑平台，无需等待，在线问实时答
>>智能高速稳定安全易操作的企业级软件RedHadoop1.3及2.5抢先试用
>>hadoop相关电子课程书籍（《hadoop权威指南》《hadoop实战》《hbase权威指南》《hbase实战》《Programming Hive》）
>>数十家大中型金融、电信企业依托长虹佳华大数据就业平台，虚位以待，期待您的加入


形 式：线下面授课程+课后视频学习+答疑平台问题讨论+全面的软件技术支持


时 间：2014年7月26日 09:30-17:30 全天（含午餐）
地 点：北京丰台区南四环西路188号长虹科技大厦

>>5年以上IT行业从业经验，资深大数据处理专家，Hadoop源代码贡献者
>>曾在IBM负责大数据产品的研发和架构工作，Hadoop生态系统的移植以及性能优化的研发，现今主要负责PB级数据存储与实时计算项目
>>Hadoop资深讲师，线上同时开设七门大课，累计上课300小时，累计学员已达到500名，在传道授业解惑中有很好的口碑，学员的良师益友。