大数据技术与应用基础PDF|Epub|txt|kindle电子书版本网盘下载

大数据技术与应用基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据概述1

1.1大数据的发展1

1.2大数据的概念及特征2

1.2.1大数据的概念2

1.2.2大数据的特征2

1.3大数据的产生及数据类型3

1.3.1大数据的产生3

1.3.2数据类型3

1.4大数据计算模式和系统4

1.5大数据的主要技术层面和技术内容4

1.6大数据的典型应用6

1.7本章小结7

第2章 数据获取8

2.1 Scrapy环境搭建8

2.2爬虫项目创建8

2.3采集目标数据项定义10

2.4爬虫核心实现11

2.5数据存储15

2.6爬虫运行17

2.7本章小结18

第3章Hadoop基础19

3.1 Hadoop概述19

3.2 Hadoop原理20

3.2.1 Hadoop HDFS原理20

3.2.2 Hadoop MapReduce原理21

3.2.3 Hadoop YARN原理22

3.3 Hadoop的安装与配置24

3.4 Hadoop生态系统简介46

3.5本章小结47

第4章HDFS基本应用48

4.1实战命令行接口48

4.2实战Java接口52

4.3数据流60

4.3.1数据流简介60

4.3.2数据流读取61

4.3.3数据流写入62

4.4本章小结64

第5章MapReduce应用开发65

5.1配置Hadoop MapReduce开发环境65

5.1.1系统环境及所需文件65

5.1.2安装Eclipse65

5.1.3向Eclipse中添加插件66

5.2编写和运行第一个MapReduce程序前的准备69

5.2.1系统环境及所需要的文件69

5.2.2建立运行MapReduce程序的依赖环境69

5.2.3建立编写MapReduce程序的依赖包70

5.3 MapReduce应用案例78

5.3.1单词计数78

5.3.2数据去重82

5.3.3排序85

5.3.4单表关联89

5.3.5多表关联95

5.4本章小结102

第6章 分布式数据库HBase103

6.1 HBase简介103

6.2 HBase接口103

6.3安装HBase集群104

6.3.1系统环境104

6.3.2安装ZooKeeper104

6.3.3安装HBase106

6.4 HBase Shell108

6.5 HBase API110

6.6 HBase综合实例113

6.7本章小结118

第7章 数据仓库工具Hive119

7.1 Hive简介119

7.2 Hive接口实战119

7.3 Hive复杂语句实战124

7.4 Hive综合实例127

7.4.1准备数据127

7.4.2在Hive上创建数据库和表128

7.4.3导入数据129

7.4.4算法分析与执行HQL语句130

7.4.5运行结果分析131

7.5本章小结132

第8章 开源集群计算环境Spark133

8.1 Spark简介133

8.2 Spark接口实战133

8.2.1环境要求133

8.2.2 IDEA使用和打包134

8.3 Spark编程的RDD137

8.3.1 RDD137

8.3.2创建RDD138

8.3.3 RDD中与Map和Reduce相关的API138

8.4 Spark实战案例——统计1000万人口的平均年龄141

8.4.1案例描述141

8.4.2案例分析143

8.4.3编程实现143

8.4.4提交到集群运行144

8.4.5监控执行状态144

8.5 Spark MLlib实战——聚类实战145

8.5.1算法说明145

8.5.2实例介绍145

8.5.3测试数据说明146

8.5.4程序源码146

8.5.5运行脚本148

8.6本章小结150

第9章 流实时处理系统Storm152

9.1 Storm概述152

9.1.1 Storm简介152

9.1.2 Storm主要特点152

9.2 Storm安装与配置153

9.3本章小结160

第10章 企业级、大数据流处理Apex161

10.1 Apache Apex简介161

10.2 Apache Apex开发环境配置161

10.2.1部署开发工具161

10.2.2安装Apex组件162

10.2.3创建Top N Words应用164

10.3运行TopN Words应用166

10.3.1开启Apex客户端166

10.3.2执行166

10.4本章小结167

第11章 事件流OLAP之Druid168

11.1 Druid简介168

11.2 Druid应用场所168

11.3 Druid集群169

11.4 Druid单机环境170

11.4.1安装Druid170

11.4.2安装ZooKeeper170

11.4.3启动Druid服务171

11.4.4批量加载数据172

11.4.5加载流数据175

11.4.6数据查询177

11.5本章小结180

第12章 事件数据流引擎Flink181

12.1 Flink概述181

12.2 Flink基本架构181

12.3单机安装Flink182

12.4 Flink运行第一个例子184

12.5 Flirik集群部署187

12.5.1环境准备187

12.5.2安装和配置187

12.5.3启动Flink集群188

12.5.4集群中添加JobManager/TaskManager189

12.6本章小结189

第13章 分布式文件搜索Elasticsearch190

13.1 Elasticsearch简介190

13.2 Elasticsearch单节点安装192

13.3插件Elasticsearch-head安装193

13.4 Elasticsearch的基本操作195

13.5综合实战199

13.6本章小结202

第14章 实例电商数据分析203

14.1背景与挖掘目标203

14.2分析方法与过程203

14.2.1数据收集203

14.2.2数据预处理206

14.2.3导入数据到 Hadoop206

14.2.4数据取样分析209

14.3本章小结211

参考文献212