大数据分析及可视化技术应用实战

一、培训收益

通过此次课程培训，可使学习者获得如下收益：

1.理解和掌握数据分析基础及实战;

2.理解数据挖掘理论及核心技术;

3.掌握数据挖掘算法原理及实现;

4.掌握数据挖掘建模实战;

5.掌握Python应用实战;

二、培训特色

1.本课程尽量避开数学公式，按照“讲清思想方法原理—结合具体案例—Python语言实现细节”思路，让即使是零基础的学员，掌握数据挖掘和可视化的基本思路和模式，打下未来深入的良好基础，能在工作和学习中结合具体问题立马上手操作解决;

2.课程注重学练结合的方法，充分调动大家思考的积极性，在做中掌握相关知识和技能;

3.课程紧紧抓住基于Python语言的数据挖掘和可视化的重点和难点，详细的分析和讲解，在理解难、容易出错的地方反复提醒，以便学员在课后容易的进行自己复习和相关拓展。

三、授课大纲

第一天上午数据分析基础及实战第一讲Python基础

讲解Python背景、国内发展状况、基础语法、数据结构及绘图操作等内容。特别针对向量计算这块，着重介绍Python在这方面的优势及用法。

第二讲统计分析基础

讲解统计分析基础，包括统计学基本概念，假设检验，置信区间等基础，并结合数据案例说明其使用场景和运用方法。介绍数据分析流程和常见分析思路，并结合案例进行讲解。

第三讲Python数据处理基础

从数据接入、数据统计、数据转换等几个方面进行讲解。数据接入包含接入MySQL、Oracle、Hadoop等常见数据库操作;数据统计包含Pandas包的具体用法和讲解。

第一天下午数据挖掘理论及核心技术第四讲数据挖掘基础

讲解数据挖掘基本概念，业务理解、数据理解、数据准备、建立模型、模型评估、模型部署各环节的工作内容及相关技术;结合业界经典场景，讲解数据挖掘的实施流程和方法体系。

第五讲数据挖掘核心技术

细致讲解抽样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术原理，并结合案例讲解其具体实现和用法。尤其针对样本平衡，重点讲解人工合成、代价敏感等算法;针对特征选择，重点讲解特征选择的核心思路，并结合Python进行案例演示。

第六讲Python数据挖掘工具

讲解Orange数据挖掘工具的用法，包括各项功能的具体使用。

第二天上午数据挖掘算法原理及实现第七讲特征降维算法及Python实现

讲解主成分及因子分析原理，并结合案例进行Python实现。

第八讲关联规则算法及Python实现

讲解Apriori关联规则算法原理，并结合案例进行Python实现。

第九讲决策树算法及Python实现

讲解ID3、C4.5、C5.0以及CART决策树算法的实现原理，并结合案例进行Python实现。

第十讲聚类算法及Python实现

讲解Kmeans、系统聚类算法原理，并结合Python进行案例讲解。

第二天下午数据挖掘建模实战

第十一讲基于乳腺癌数据进行降维分析并建立分类模型

实战部分：基于乳腺癌数据进行降维处理，并尝试建立分类评估模型。旨在通过该模型，并潜在的乳腺癌患者进行识别。

第十二讲基于在线零售数据建立关联规则模型

实战部分：基于在线零售数据，经过一定的处理，对该数据进行关联规则建模，旨在从此数据中挖掘出潜在的规则，对业务运营进行指导决策。

第十三讲LendingClub信贷违约分析案例

实战部分：基于Lending

Club信贷违约数据，尝试从多个不同的维度进行数据分析，旨在发现一些有价值的信息，同时基于该数据，经过一定的处理，建立信贷违约识别模型，旨在对信贷业务办理提供模型支持，降低违约风险。

第十四讲航空公司客户分群案例

实战部分：基于航空公司的业务诉求，结合历史乘客数据，建立客户分群模型，旨在对客户进行差异化营销活动，提高客户粘性和价值转化。

第三天上午Python应用实战(一)第十五讲Python自然语言处理原理及案例

讲解自然语言处理基本概念和技法，包含分词、关键字提取、文摘提取、文本分类、主题模型、word2vec等内容。并使用Python进行案例讲解。

第十六讲Python网络爬虫及案例

讲解爬虫实现的基本原理，并介绍requests、lxml、BeautifulSoup、grab、scrapy、pyspider

、cola等包和框架的使用，同时结合真实案例进行演示。

第十七讲社交关系图分析及Python案例

讲解社交关系图分析的基本原理和使用场景，介绍networkx、igraph包的用法，此外，介绍neo4j数据库，并结合py2neo包进行讲解，通过具体的案例，讲解社交关系图的构建和具体实现过程。

第三天下午Python应用实战(二)第十八讲数据分析图表及Python案例

讲解常用的数据分析图表及其使用场景，同时结合matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等包进行案例讲解。

第十九讲使用Notebook编写数据分析报告

讲解使用Notebook编写数据分析报告的具体方法，并结合案例讲解其用法。

第二十讲Dash可视化开发实战

介绍Dash的UI、Server、Reactivity、控件等内容，同时讲解一个用Dash实现数据分析功能(兼图表)的实际案例，搭建服务器，在企业内部实现轻量级数据分析应用。

第四天学习考核与业内经验交流