Spark零基础实战PDF|Epub|txt|kindle电子书版本网盘下载

Spark零基础实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Scala光速入门1

1.1 Scala基础与语法入门实战1

1.1.1 Scala基本数据类型1

1.1.2 Scala变量声明2

1.1.3 算术操作符介绍2

1.1.4 条件语句5

1.1.5 循环6

1.1.6 异常控制8

1.2 Scala中Arra y、Map等数据结构实战10

1.2.1 定长数组和可变数组10

1.2.2 数组常用算法10

1.2.3 Map映射11

1.2.4 Tuple元组12

1.2.5 List列表12

1.2.6 Set集合14

1.2.7 Scala集合方法大全15

1.2.8 综合案例及Spark源码解析17

1.3 小结18

第2章 Scala面向对象彻底精通及Spark源码阅读19

2.1 Scala面向对象详解19

2.1.1 Scala中的class、object初介绍19

2.1.2 主构造器与辅助构造器22

2.1.3 类的字段和方法彻底精通23

2.1.4 抽象类、接口的实战详解24

2.1.5 Scala Option类详解26

2.1.6 object的提取器27

2.1.7 Scala的样例类实战详解27

2.2 Scala综合案例及Spark源码解析28

2.3 小结29

第3章 Scala函数式编程彻底精通及Spark源码阅读30

3.1 函数式编程概述30

3.2 函数定义35

3.3 函数式对象37

3.4 本地函数41

3.5 头等函数42

3.6 函数字面量和占位符43

3.6.1 Scala占位符43

3.6.2 函数字面量43

3.6.3 部分应用函数44

3.7 闭包和Curring46

3.8 高阶函数49

3.9 从Spark源码角度解析Scala函数式编程55

3.10 小结57

第4章 Scala模式匹配、类型系统彻底精通与Spark源码阅读58

4.1 模式匹配语法58

4.2 模式匹配实战59

4.2.1 模式匹配基础实战59

4.2.2 数组、元祖实战59

4.2.3 Option实战60

4.2.4 提取器60

4.2.5 Scala异常处理与模式匹配61

4.2.6 sealed密封类62

4.3 类型系统62

4.3.1 泛型62

4.3.2 边界63

4.3.3 协变与逆变63

4.4 Spark源码阅读64

4.5 小结65

第5章 Scala隐式转换等彻底精通及Spark源码阅读66

5.1 隐式转换66

5.1.1 隐式转换的使用条件66

5.1.2 隐式转换实例66

5.2 隐式类68

5.3 隐式参数详解68

5.4 隐式值69

5.5 Spark源码阅读解析69

5.6 小结70

第6章 并发编程及Spark源码阅读71

6.1 并发编程彻底详解71

6.1.1 actor工作模型71

6.1.2 发送消息72

6.1.3 回复消息74

6.1.4 actor创建74

6.1.5 用上下文context创建actor75

6.1.6 用ActorSystem创建actor76

6.1.7 用匿名类创建actor76

6.1.8 actor生命周期77

6.1.9 终止actor78

6.1.10 actor实战80

6.2 小结82

第7章 源码编译83

7.1 Windows下源码编译83

7.1.1 下载Spark源码83

7.1.2 Sbt方式84

7.1.3 Maven方式89

7.1.4 需要注意的几个问题90

7.2 Ubuntu下源码编译92

7.2.1 下载Spark源码93

7.2.2 Sbt方式95

7.2.3 Maven方式96

7.2.4 make-distribution.sh脚本方式98

7.2.5 需要注意的几个问题99

7.3 小结100

第8章 Hadoop分布式集群环境搭建101

8.1 搭建Hadoop单机环境101

8.1.1 安装软件下载101

8.1.2 Ubuntu系统的安装101

8.1.3 Hadoop集群的安装和设置109

8.1.4 Hadoop单机模式下运行WordCount示例113

8.2 Hadoop伪分布式环境115

8.2.1 Hadoop伪分布式环境搭建115

8.2.2 Hadoop伪分布式模式下运行WordCount示例117

8.3 Hadoop完全分布式环境120

8.3.1 Hadoop完全分布式环境搭建120

8.3.2 Hadoop完全分布式模式下运行WordCount示例123

8.4 小结125

第9章 精通Spark集群搭建与测试127

9.1 Spark集群所需软件的安装127

9.1.1 安装JDK127

9.1.2 安装Scala130

9.2 Spark环境搭建132

9.2.1 Spark单机与单机伪分布式环境132

9.2.2 Spark Standalone集群环境搭建与配置135

9.2.3 Spark Standalone环境搭建的验证136

9.3 Spark集群的测试137

9.3.1 通过spark-shell脚本进行测试137

9.3.2 通过spark-submit脚本进行测试145

9.4 小结145

第10章 Scala IDE开发Spark程序实战解析146

10.1 Scala IDE安装146

10.1.1 Ubuntu系统下安装146

10.1.2 Windows系统下安装147

10.2 ScalaIDE开发重点步骤详解148

10.3 Wordcount创建实战152

10.4 Spark源码导入Scala IDE154

10.5 小结164

第11章 实战详解IntelliJ IDEA下的Spark程序开发165

11.1 IDEA安装165

11.1.1 Ubuntu系统下安装165

11.1.2 Windows系统下安装167

11.2 IDEA开发重点步骤详解168

11.2.1 环境配置168

11.2.2 项目创建170

11.2.3 Spark包引入174

11.3 Wordcount创建实战174

11.4 IDEA导入Spark源码177

11.5 小结183

第12章 Spark简介184

12.1 Spark发展历史184

12.2 Spark在国内外的使用185

12.3 Spark生态系统简介188

12.3.1 Hadoop生态系统189

12.3.2 BDAS生态系统195

12.3.3 其他199

12.4 小结199

第13章 Spark RDD解密200

13.1 浅谈RDD200

13.2 创建RDD的几种常用方式204

13.3 Spark RDD API解析及其实战206

13.4 RDD的持久化解析及其实战217

13.5 小结218

第14章 Spark程序之分组TopN开发实战解析219

14.1 分组TopN动手实战219

14.1.1 Java之分组TopN开发实战219

14.1.2 Scala之分组TopN开发实战226

14.2 Scala之分组TopN运行原理解密232

14.2.1 textFile232

14.2.2 map234

14.2.3 groupByKey234

14.3 小结237

第15章 Master HA工作原理解密238

15.1 Spark需要Master HA的原因238

15.2 Spark Master HA的实现238

15.3 Spark和ZOOKEEPER的协同工作机制240

15.4 ZOOKEEPER实现应用实战242

15.5 小结247

第16章 Spark内核架构解密248

16.1 Spark的运行过程248

16.1.1 SparkContext的创建过程248

16.1.2 Driver的注册过程249

16.1.3 Worker中任务的执行254

16.1.4 任务的调度过程255

16.1.5 Job执行结果的产生257

16.2 小结259

第17章 Spark运行原理实战解析260

17.1 用户提交程序Driver端解析260

17.1.1 SparkConf解析263

17.1.2 SparkContext解析264

17.1.3 DAGScheduler创建271

17.1.4 TaskScheduler创建272

17.1.5 SchedulerBackend创建273

17.1.6 Stage划分与TaskSet生成274

17.1.7 任务提交280

17.2 Spark运行架构解析283

17.2.1 Spark基本组件介绍283

17.2.2 Spark的运行逻辑285

17.3 Spark在不同集群上的运行架构291

17.3.1 Spark在Standalone模式下的运行架构291

17.3.2 Spark on yarn的运行架构294

17.3.3 Spark在不同模式下的应用实战297

17.4 Spark运行架构的实战解析300

17.5 小结307