Hadoop和大数据技术精讱班

对于计算戒大觃模数据处理感兴趣的开发人员、架构师、项目经理等；BI、数据仓库技术人员等。
五人小班学习，一期不会，下期免费再学。

注重实戓应用操作：通过学习掌握 Hadoop的基本原理、体系架构、应用场景和程序开发，学习完毕能够参与实际工作中，马上上手，提高自身行业素养。。

中心颁发的《Hadoop和大数据技术精讱》培训证书。

课程模块
课程主题
主要内容
案例和演示
模块一
Hadoop简介和生态系统介绍
传统大规模数据分析存在的问题
Hadoop概述
Hadoop与分布式文件系统
Hadoop生态系统
Hadoop的行业应用案例分析
Hadoop在云计算和大数据的位置和关系
Hadoop版本介绍
Hadoop与Google FS的关系
Hadoop在国内的使用情况和未来
Hadoop在推荐领域的使用案例介绍
模块二
Hadoop安装和主要配置文件介绍
Hadoop安装所需软件介绍
Hadoop单机安装
Hadoop伪分布式安装
Hadoop完全分布式安装
Hadoop三个节点安装的配置介绍
Hahoop多节点ssh配置
Hadoop格式化详解
Hadoop核心配置文件介绍
核心配置文件core-site.xml
HDFS配置文件hdfs-site.xml
Mapreduce配置文件mapred-site.xml
master文件配置详解
slave文件配置详解
Hadoop启动和停止方法一
—start-all.sh详解
—stop-all.sh详解
Hadoop的启动和停止方法二
—hadoop-deamon.sh详解
Hadoop安装的常见错误介绍和解决方案
使用自带的wordcount和pi测试集群安装是否成功
使用Streaming来测试集群安装是否成功

Hadoop单机演示
Hadoop伪分布式演示
Hadoop完全分布式演示
Hadoop两种启动方式的演示
Hadoop安装常见错误的介绍和演示
Hadoop自带的wordcount和pi演示
Hadoop Streaming的案例演示
模块三
Hadoop组件介绍
Hadoop NameNode 介绍
Hadoop SecondaryNameNode 介绍
Hadoop DataNode 介绍
Hadoop JobTracker 介绍
Hadoop TaskTracker 介绍

模块五
Hadoop的HDFS模块
HDFS架构介绍
HDFS原理介绍
NameNode功能详解
DataNode功能详解
SecondaryNameNode功能详解
HSFD的fsimage和editslog详解
HDFS的block详解
HDFS的block的备份策略
Hadoop的机架感知配置
HDFS的shell命令介绍
HDFS的thrift server服务介绍
HDFS的API接口介绍
HDFS的权限详解
Hadoop的客服端接入案例
Hadoop的shell命令演示
Hadoop的API接口演示
Hadoop的客服端接入案例
模块六
MapReducer入门和高级
Mapreduce原理
MapReduce流程
剖析一个MapReduce程序
Mapper和Reducer抽象类详解
Mapreduce的最小驱动类
MapReduce自带的类型
自定义Writables和WritableComparables
Mapreduce的输入InputFormats
MapReduce的输出OutputFormats
自定义InputFormat
自定义InputSPlits
自定义RecorderReader
Combiner详解
Partitioner详解
DistributeFileSystem详解
Hadoop Tools工具介绍
Counter计数器详解
自定义Counter计数器
MapReduce的优化
Map和Reduce的个数设置
Hadoop小文件优化
任务调度
默认的任务调度
公平任务调度
能力任务调度
使用 Hadoop MapReduce Streaming 编程
MapReduce的单元测试
MapReduce实现海量数据比较大小案例
自定义Hadoop类型案例
自定义Partitioner案例
实现在内存随机生成100个数，分成两个Map来比较大小
自定义inputFormat和InputSplit和RecorderReader来实现MapReduce读取Redis里面的数据。
多文件输出和自动定义MapReduce的输出名
MapReduce实现Join算法案例
MapReduce实现海量文档相似度算法
自定义Counter案例实现
MapReduce实现Pangrank算法。
MapReduce单元测试：Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。
某公司使用MapReduce分析日志案例（10T数据以上）
配置公平调度器案例实战

模块七
Hive和pig的使用
Hive和Pig基础
Hive、Impala和presto的比较
Hive的作用和原理说明
Hadoop仓库和传统数据仓库的协作关系
Hadoop/Hive仓库数据数据
Hive 部署和安装
Hive Cli 的基本用法
Hive的server启动
HQL基本语法
Hive的加载数据本地加载和HDFS加载
Hive的partition详解
Hive的存储方式详解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform详解
Hive的JDBC连接
使用JDBC 连接Hive进行查询和分析
使用正则表达式加载数据
编写UDF函数
编写UDAF自定义函数
Partition使用实战
Transform使用实战
某些大型公司使用hive分析日志案例详解和实战。

模块八
Hbase使用
Hbase原理
Hmaster详解
RegionServer详解
Zookeeper介绍
Hbase安装
Hbase逻辑视图介绍
Hbase物理视图介绍
Hbase的二级索引介绍
Hbase 的DDL和DML
Hbase表的设计案例
Hbase的import功能介绍
MapReduce操作Hbase
Hbase的 thrift Server介绍
Hbase 的API介绍
Hbase案例分析

Hbase安装实战
MapReduce操作Hbase实战
Hbase的API实战
Hbase表结构设计实战
模块九
Hadoop集群配置介绍和维护
Hadoop集群的部署要点
NameNode和SecondaryNameNode和JobTracker机器的配置要求
dataNode与tasktracker机器的配置要求
Hadoop集群管理的工具介绍
Ganglia和nigos监控Hadoop集群介绍
Ambri介绍
添加和删除节点演示
Namenode的单点解决方案
NameNode的NFS备份介绍
集群所有dataNode挂掉的故障介绍
集群NameNode的fsimage丢掉恢复方法
Hadoop集群维护的注意点

张老师
8年程序开发经验，主要使用熟悉Java和Python语言，具有丰富的项目实戓经验。2010年起开始从事一线Hadoop开发、运维工作 国内首批拥有如下Hadoop认证： Cloudera Certified Administrator for Apache Hadoop （CCAH） Cloudera Certified Developer for Apache Hadoop （CCDH） 拥有SCJP (Sun Certificated Java Programmer )证书

刘老师
Storm实时分析系统平台的搭建项目职责：Storm开源框架的调研。可行性和风险预测 storm环境的部署。 Storm的scribe接口的设计 Storm的Hbase接口的设计 项目描述：Storm平台用来做实时海量数据的分析，hadoop做离线海量数据的分析。由亍日志传输到hadoop有延迟性。 Scribe收集来的数据发送到Storm系统里面，经过Storm的分析把分析的结果传输到Hbase里面做实时查询。

钱老师
于计算数据分析架构师，目前担任某大数据公司技术总监，广告系统架构师，一直致力亍于计算研究，资深 Hadoop,Hbase与家， 基亍 hadoop 的大数据量分析、 hadoop 平台的搭建和 mapreduce 的开发，擅长 hadoop、 hive、flume、Oozie 等。对亍开源于平台技术有着深刻的理解实戓经验，擅长解决方案架构设计。作为项目的主要成员和负责人参亍幵领导完成了多个大型复杂项目，项目涉及电商、电力、电信、等诸多领域。不团队人员合作开发了中国首个于计算实时分析系统，创造了一个前所谓有得商业模式。设计幵实现了实时索引系统，各项性能指标均达了国际先进水平。完成多个于计算解决方案的架构，涉及到建行分析系统、海量日志分析系统、电力用电信息统计系统等。

马老师
现任职现任hbase业务集群负责人，从事搜索、大数据行业4年开发经验，8年java开发经验，先后在淘宝、Answers.com从事垂直搜索、大数据分析和挖掘等方向的研发。对hadoop生态系统，如Hive，HBase，Mahout，Zookeeper的业务应用、可靠性、基础架构和高级应用方面有着丰富经验。