大数据处理与优化最佳实践

软件工程师
数据库开发人员
网络后台开发人员
运维人员

运维人员实战案例驱动教学：通过一个大型数据采集及分析商业系统的真实案例讲解海量数据的解决方案在项目中的具体场景及应用；
掌握大数据处理三大核心：NoSQL的架构应用， Hadoop的核心体制及实践， HBase的核心架构及实践，Hadoop与HBase的统一架构过程实践；
沙盘演练：通过实践的项目案例进行沙盘演练， 保障大数据处理的项目落地问题

获由国信高级技术培训中心颁发的“大数据处理与优化最佳实践”培训合格证

第一天
一、海量数据处理系统的架构设计
这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。
 海量数据处理的系统场景
 大数据时代的数据架构解决方案
 海量数据处理的架构汇总
 8种海量数据处理的架构设计比较
 分布式系统架构的海量数据处理设计
 海量数据处理设计
典型案例分析：结合一个500强实时数据系统的实例案例进行分析，详细分析海量数据处理的架构设计
二、NoSQL的实践应用
NoSQL综述解决的实际问题
关系数据库暴露的问题
 High performance并发要求
 Huge Storage的存取
 High Scalability的服务器分布要求
 High Availability的服务器健壮要求
关系型数据库失效的场景
NoSQL与关系型数据库设计理念比较
NoSQL设计模型分析
 K-V模型的Column设计
 Document模型的B Tree设计
 Object模型的基于Object数据访问设计
NoSQL实例分析
 Apache Hbase架构解析
 Facebook Cassandra架构解析
 Google BigTable架构解析
典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析NoSQL的综合开源架构应用多种NoSQL的产品集合应用
三、进入Hadoop的精彩世界
文件存储-HDFS
HDFS-工作原理
数据计算MapReduce
MapReduce工作原理
SQL分析-Hive
海量实时读写-HBase
工作流调度-Ooize
分布式协调系统—Zookeeper

第二天
四、Hadoop部署与编程
Hadoop版本介绍与选择
Hadoop部署实践
Hadoop安装文件构成与配置体系
机器硬件建议配置
系统环境配置
基本参数配置与说明
进程分布规划与启动
Hadoop基本使用操作
HDFS
权限
MapReduce
HDFS编程
开发环境准备
读文件
写文件
Hadoop系统容灾策略
Hadoop资源调度策略
Hadoop安全
Hadoop系统监控与报警策略
五、Hive架构及实践案例沙盘演练
Hive系统部署与搭建
Hive工作机制
基于Hive的网站日志分析示例
Hive的用户自定义函数开发
Hive底层数据文件与数据压缩选择
 gzip
 bz2
 lzo
 rcfile
Hive运行参数调优
Hive程序编写性能建议
 MapJoin
 数据倾斜
 Join顺序
 UDF编写注意事项
 快速获取结果TopN
通过Explain观察Hive行为
典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析Hive的架构应用、性能调优及其使用场景与整体系统架构的结合

第三天
六、Hadoop集群架构搭建及实践案例沙盘演练
Hadoop集群架构搭建方法
Hadoop集群架构性能管理
HDFS，NameNode，DataNode的调优和节点扩展最佳实践
主要调优工具和性能监控工具
Hadoop集群对于硬件的要求和选型
Hadoop集群中对硬件、操作系统的调优方法
实际案例分析
基于Hadoop的集群解决方案
典型案例分析：结合一个大型商业系统的实例案例分析及演练Hadoop集群架构搭建过程
七、MapReduce架构及实践案例沙盘演练
MapReduce剖析
 MapReduce的原理和运行过程
 构建MapReduce的开发环境
MapReduce案例实战
 使用MapReduce的Java接口实现经典的WordCount
 wordcount运行过程解析
 MapReduce实现数据去重操作
 MapReduce实现数据排序
 MapReduce实现数据平均数据的计算
典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析MapReduce的架构应用、性能调优及其使用场景与整体系统架构的结合
八、HBase架构及实践案例沙盘演练
为什么实用Hadoop/HBase
Hadoop的架构体系与HBase的应用关系
HBase的核心设计机制
HBase的使用场景？什么情况下使用HBase，为什么使用HBase，HBase使用带来的实践价值
关系型数据库与HBase
HBase的Client端
HBase架构分析
基于HBase项目架构设计
HBase开发环境搭建
入库和查询的设计与实现
统计功能的设计与实现
案例演练HBase的主体特性
 Features:Scalability实现
 HBaseFeatures:Column-Oriented实现
 High Performance Random R/W实现
 HBase Features: Scan Search实现
 HBase Features: High‐Availability实现
典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析HBase的开源架构应用及其使用场景与整体系统架构的结合

国信高级研发管理顾问，曾在多个全球500强研发中心服务近15年时间，参与多个全球协作的大型研发过程，积累了丰富的研发设计及管理的实战经验。
近15年从事研发管理、产品管理及高端架构设计方面的工作。杜先生同时是微软企业护航专家。具有10多款大中型产品的研发管理、设计、实施及质量管理经验，包括可口可乐GKPMS，Schlumberger Horizon（全球下一代能源勘探开发平台）Viewers，RTPM（全球实时油藏分析与管理平台），Dolphin（面向全球的中间件开发平台），中国移动BI个性化客户沟通项目， CCM-Customer Communication Management（全球最大个性化客户沟通产品），Sagent（全球著名BI产品）。