33. 神经网络算法Neural Network的实现方法和挖掘模型应用 34. 基于人工神经网络的深度学习的训练过程 a) 传统神经网络的训练方法 b) Deep Learning的训练方法 35. 深度学习的常用模型和方法 a) CNN(Convolutional Neural Network)卷积神经网络 b) RNN(Recurrent Neural Network)循环神经网络模型 c) Restricted Boltzmann Machine(RBM)限制波尔兹曼机 36. 基于Spark的深度学习算法模型库的应用程序示例
基于Spark或TensorFlow神经网络深度学习库实现文本与图片数据挖掘
项目实践
37. 日志分析系统与日志挖掘项目实践 a) Hadoop,Spark,ELK技术构建日志数据仓库 b) 互联网微博日志分析系统项目 38. 推荐系统项目实践 a) 电影数据分析与个性化推荐关联分析项目
张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
课程介绍 评价详情(0)
培训受众:
1.大数据分析应用开发工程师
2.大数据分析项目的规划咨询管理人员
3.大数据分析项目的IT项目高管人员
4.大数据分析与挖掘处理算法应用工程师
5.大数据分析集群运维工程师
6.大数据分析项目的售前和售后技术支持服务人员
课程大纲
业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案
2.
业界数据仓库与数据分析挖掘平台软件工具
3.
Hadoop数据仓库工具Hive
4.
Spark实时数据仓库工具SparkSQL
5.
Hadoop数据分析挖掘工具Mahout
6.
Spark机器学习与数据分析挖掘工具MLlib
7.
大数据分析挖掘项目的实施步骤
部署数据分析挖掘工具Hadoop Mahout和Spark MLlib
日志数据解析和导入导出到数据仓库的操作训练
2.
从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库
3.
数据分析挖掘模块从大型的集中式数据仓库中访问数据,一个数据仓库面向一个主题,构建两个数据仓库
4.
同一个数据仓库中的事实表数据,可以给多个不同类型的分析挖掘任务调用
5.
去除噪声
基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
7.
Hive数据仓库集群的平台体系结构、核心技术剖析
8.
Hive Server的工作原理、机制与应用
9.
Hive数据仓库集群的安装部署与配置优化
10. Hive应用开发技巧
11. Hive SQL剖析与应用实践
12. Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
13. Hive数据仓库报表设计
14. 将原始的日志数据集,经过整理后,加载至Hadoop + Hive数据仓库集群中,用于共享访问
16. Spark数据分析库MLlib的开发部署
17. Spark数据分析挖掘示例操作,从Hive表中读取数据并在分布式内存中运行
a)
Canopy聚类(canopy clustering)
b)
K均值算法(K-means clustering)
c)
模糊K均值(Fuzzy K-means clustering)
d)
EM聚类,即期望最大化聚类(Expectation Maximization)
e)
以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
19. Spark聚类分析算法程序示例
f)
Spark决策树算法实现
g)
逻辑回归算法(logistics regression)
h)
贝叶斯算法(Bayesian与Cbeyes)
i)
支持向量机(Support vector machine)
j)
以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
21. Spark客户资料分析与给用户贴标签的程序示例
22. Spark实现给商品贴标签的程序示例
23. Spark实现用户行为的自动标签和深度技术
k)
Spark频繁模式挖掘算法(parallel FP Growth Algorithm)应用
l)
Spark关联规则挖掘(Apriori)算法及其应用
m)
以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
25. Spark关联分析程序示例
a)
Spark协同过滤算法程序示例
b)
Item-based协同过滤与推荐
c)
User-based协同过滤与推荐
d)
交叉销售推荐模型及其实现
28. 利用非线性回归预测成交量和访问量的关系
29. 基于R+Spark实现回归分析模型及其应用操作
30. Spark回归程序实现异常点检测的程序示例
32. 实现信息传播的社交关系传递分析,互联网用户的行为关系分析任务的操作训练
34. 基于人工神经网络的深度学习的训练过程
a)
传统神经网络的训练方法
b)
Deep Learning的训练方法
35. 深度学习的常用模型和方法
a)
CNN(Convolutional Neural Network)卷积神经网络
b)
RNN(Recurrent Neural Network)循环神经网络模型
c)
Restricted Boltzmann Machine(RBM)限制波尔兹曼机
36. 基于Spark的深度学习算法模型库的应用程序示例
a)
Hadoop,Spark,ELK技术构建日志数据仓库
b)
互联网微博日志分析系统项目
38. 推荐系统项目实践
a)
电影数据分析与个性化推荐关联分析项目
周老师
中国科学院通信与信息系统专业博士。北京邮电大学移动互联网与信息化实验室特聘研究员、对外经贸大学信息学院特聘兼职教师、中国移动集团高级培训讲师,长期从事大数据、4G、移动互联网安全、管理及大数据精确营销等研究方向。国内顶级信息系统架构师,金牌讲师,技术顾问,移动开发专家。拥有丰富的通信信息系统设计、开发经验及培训行业经验,先后为全国超过15家省移动公司,超过30家地市移动公司有过项目开发合作及授课,担任多个大型通信项目的总师。
张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
课程对象
2.大数据分析项目的规划咨询管理人员
3.大数据分析项目的IT项目高管人员
4.大数据分析与挖掘处理算法应用工程师
5.大数据分析集群运维工程师
6.大数据分析项目的售前和售后技术支持服务人员
本课程名称: 大数据建模与分析挖掘应用
查看更多:职业技能公开课