海量数据处理和优化_公开课

培训受众:

各类软件研发中心的软件设计师、数据架构师, 项目经理,技术总监,开发人员。

课程收益:

本课程注重实战,采用案例贯穿方式完成实践，收集了大量的真实案例，针对海量数据进行深入研讨并最终形成培训教程。本次培训从数据架构开始讲解，通过大量的真实案例，涵盖了数据架构，数据同步，数据层敏捷开发等内容，详细地介绍了海量数据的处理和优化的前沿技术。

培训颁发证书:

培训结束，对理论、实践双项考核成绩合格者，颁发中国信息产业培训网的培训证书。

课程大纲

海量数据处理和优化(课程大纲)
时间授课内容
第一部分数据架构一、数据拆分
1. 数据现状
2. 连接数问题
3. 数据垂直拆分
4. 垂直拆分的问题和解决方案
5. 异构的读写分离
6. 数据水平拆分
7. 水平拆分的问题和解决方案
8. 一些案例分析
9. 拆分难题
二、多种存储方案
1. 引入NOSQL数据库
2. 图片服务器分离
3. 开源的分布式文件系统介绍和使用
4. 图片处理和缓存
5. HDFS介绍
6. CDN介绍和详解
第二部分数据同步方案一、并发的日志解析方案
1. 情景分析
2. 整体结构设计
3. 线程池处理
4. 代码实现
二、实时数据传输平台
1. 主要逻辑（发布数据，订阅数据）
2. 实时数据传输平台架构
3. 实时数据传输平台结构分析
4. 代码分享
三、Dbsync同步工具的使用
1、 Dbsync介绍
2、架构解析
3、使用详解
四、异构的数据库/文件系统之间的高速交换工具
1、开源工具介绍
2、特点和结构模式
3、使用和插件开发
第三部分分布式缓存系统一、Memcached
1. Memcached简介
2. Memcached简单用途
3. Memcached特点
4. Memcached优点和限制
5. Memcached Java客户端
6. Memcached Java 客户端优化
第四部分 Mysql性能优化、Oracle性能优化一、Mysql性能优化
1. Mysql性能优化引言
2. 数据库设计和查询优化
3. Schema Design
4. 标准化
5. 数据类型
6. 正确使用索引
7. 查询缓存
8. 服务器端优化
9. 存储引擎优化
10. 临时表
11. 线程池
12. 引入非关系数据库
13. 新技术

二、Oracle性能优化
1、常用SQL技巧
2、表的连接方式
3、有效的使用索引
4、Oracle的优化器与执行器
5、Oracle 11g中的执行计划管理
6、Oracle 11g中的数据库重演和SQL重演
7、Oracle的性能顾问
第五部分数据层开发一、数据服务平台设计
1. 数据架构分析
2. 问题
3. 解决方案
4. 数据服务平台特性
二、数据服务平台实现
1. 模型数据映射实现
2. 统一查询更新API
3. 性能优化策略
4. 热点缓存平台
5. 异步并行化机制
6. 并发控制，自我保护

培训师介绍

曾担任淘宝研发技术总监，精通软件设计的理论、实践和工具，有10年以上的大型项目研发及项目管理经验，曾经策划多个大型项目与网站的架构，主持过访问量达亿级大型网站，熟悉大型网站的优化与运维，掌握开发平台开发技术Java，熟悉各种数据库平台-Oracle、MySql等，熟悉各种中间件框架平台，研究过大量开源的框架平台，经过多年实践形成自己架构风格，亲自参与实施项目：国电调试所项目管理系统，中科院子午工程数据与通信系统，某大型电子商务网站架构、项目管理、性能优化，苏州金莱克洁具有限公司ERP项目，苏州海关保税加工辅助核销系统等

本课程名称： 海量数据处理和优化

查看更多：语言公开课

上一篇：利润中心型人力资源管理模式公开课

下一篇：项目管理实战演练——我的项目我做主

与海量数据相关的最新课程

•宫同昌老师：《销售数据分析》(2022-04-26 北京市)

•精准利润管理(2019-07-19 上海市)

•时尚买手的关键技能(2019-06-29 广州市)

•用数据驱动人力资源效能提升(2016-01-15 上海市)

•上海淘宝培训-品牌营销沙龙(2015-11-23 上海市)

•《总裁的财务管理智慧-倍增利润...(2015-08-15 上海市)

•高效办公与数据统计分析－EXC...(2015-04-18 上海市)