大数据建模与分析挖掘应用

部署数据分析挖掘工具Hadoop Mahout和Spark MLlib
■大数据分析挖掘项目的数据集成操作训练
1.日志数据解析和导入导出到数据仓库的操作训练
2.从原始搜索数据集中抽取、集成数据，整理后形成规范的数据仓库
3.数据分析挖掘模块从大型的集中式数据仓库中访问数据，一个数据仓库面向一个主题，构建两个数据仓库
4.同一个数据仓库中的事实表数据，可以给多个不同类型的分析挖掘任务调用
5.去除噪声
■项目数据集加载ETL到Hadoop Hive数据仓库并建立多维模型
■基于Hadoop的大型数据仓库管理平台HIVE数据仓库集群的多维分析建模应用实践
6.基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
7.Hive数据仓库集群的平台体系结构、核心技术剖析
8.Hive Server的工作原理、机制与应用
9.Hive数据仓库集群的安装部署与配置优化
10.Hive应用开发技巧
11.Hive SQL剖析与应用实践
12.Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
13.Hive数据仓库报表设计
14.将原始的日志数据集，经过整理后，加载至Hadoop + Hive数据仓库集群中，用于共享访问利用HIVE构建大型数据仓库项目的操作训练实践
■Spark大数据分析挖掘平台实践操作训练
15.Spark大数据分析挖掘平台的部署配置
16.Spark数据分析库MLlib的开发部署
17.Spark数据分析挖掘示例操作，从Hive表中读取数据并在分布式内存中运行
第二天
■聚类分析建模与挖掘算法的实现原理和技术应用
18.聚类分析建模与算法原理及其在Spark MLlib中的实现与应用，包括：
a)Canopy聚类（canopy clustering）
b)K均值算法（K-means clustering）
c)模糊K均值（Fuzzy K-means clustering）
d)EM聚类，即期望最大化聚类（Expectation Maximization）
e)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
19.Spark聚类分析算法程序示例
■基于Spark MLlib的聚类分析算法，实现日志数据集中的用户聚类
■分类分析建模与挖掘算法的实现原理和技术应用
20.分类分析建模与算法原理及其在Spark MLlib中的实现与应用， 包括：
f)Spark决策树算法实现
g)逻辑回归算法（logistics regression）
h)贝叶斯算法（Bayesian与Cbeyes）
i)支持向量机（Support vector machine）
j)以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
21.Spark客户资料分析与给用户贴标签的程序示例
22.Spark实现给商品贴标签的程序示例
23.Spark实现用户行为的自动标签和深度技术
■基于Spark MLlib的分类分析算法模型与应用操作
■关联分析建模与挖掘算法的实现原理和技术应用
24.预测、推荐分析建模与算法原理及其在Spark MLlib中的实现与应用，包括：
k)Spark频繁模式挖掘算法（parallel FP Growth Algorithm）应用
l)Spark关联规则挖掘（Apriori）算法及其应用
m)以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
25.Spark关联分析程序示例
■基于Spark MLlib的关联分析操作
第三天
■推荐分析挖掘模型与算法技术应用
26.推荐算法原理及其在Spark MLlib中的实现与应用，包括：
a)Spark协同过滤算法程序示例
b)Item-based协同过滤与推荐
c)User-based协同过滤与推荐
d)交叉销售推荐模型及其实现
■推荐分析实现步骤与操作（重点）
■回归分析模型与预测算法
27.利用线性回归（多元回归）实现访问量预测
28.利用非线性回归预测成交量和访问量的关系
29.基于R+Spark实现回归分析模型及其应用操作
30.Spark回归程序实现异常点检测的程序示例
■回归分析预测操作例子
■图关系建模与分析挖掘及其链接分析和社交分析操作
31.利用Spark GraphX实现网页链接分析，计算网页重要性排名
32.实现信息传播的社交关系传递分析，互联网用户的行为关系分析任务的操作训练
■图数据的分析挖掘操作，实现微博数据集的社交网络建模与关系分析
■神经网络与深度学习算法模型及其应用实践
33.神经网络算法Neural Network的实现方法和挖掘模型应用
34.基于人工神经网络的深度学习的训练过程
a)传统神经网络的训练方法
b)Deep Learning的训练方法
35.深度学习的常用模型和方法
a)CNN（Convolutional Neural Network）卷积神经网络
b)RNN（Recurrent Neural Network）循环神经网络模型
c)Restricted Boltzmann Machine(RBM)限制波尔兹曼机
36.基于Spark的深度学习算法模型库的应用程序示例
■基于Spark或TensorFlow神经网络深度学习库实现文本与图片数据挖掘
■项目实践
37.日志分析系统与日志挖掘项目实践
a)Hadoop，Spark，ELK技术构建日志数据仓库
b)互联网微博日志分析系统项目
38.推荐系统项目实践
a)电影数据分析与个性化推荐关联分析项目
■项目数据集和详细的实验指导手册由讲师提供
■培训总结
39.项目方案的课堂讨论，讨论实际业务中的分析需求，剖析各个环节的难点、痛点、瓶颈，启发出解决之道；完成讲师布置的项目案例，巩固学过的大数据分析挖掘处理平台技术知识以及应用技能■讨论交流
■两个完整的项目任务和实践案例（重点）
1.日志分析建模与日志挖掘项目实践
a)Hadoop，Spark，并结合ELK技术构建日志分析系统和日志数据仓库
b)互联网微博日志分析系统项目
2.推荐系统项目实践
a)电影数据分析与个性化推荐关联分析项目
b)电商购物篮分析项目
Hadoop，Spark，可结合Oryx分布式集群在个性化推荐和精准营销项目。
■项目的阶段性步骤贯穿到三天的培训过程中，第三天完成整个项目的原型