Hadoop开源云计算平台PDF|Epub|txt|kindle电子书版本网盘下载

Hadoop开源云计算平台PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云计算背景与Hadoop1

1.1 云计算起源与发展历程1

1.2 云计算定义与体系2

1.3 云计算关键技术4

1.3.1 虚拟化技术4

1.3.2 分布式计算和并行计算4

1.3.3 分布式存储5

1.3.4 分布式海量数据管理5

1.4 Hadoop与云计算6

1.5 谁在使用Hadoop6

1.5.1 外国Hadoop应用6

1.5.2 国内Hadoop应用8

第2章 Hadoop概述10

2.1 Hadoop起源及简介10

2.2 Hadoop发展历程与现状11

2.3 Hadoop的总体结构与模块简介11

2.4 小结15

第3章 Hadoop伪分布式文件系统16

3.1 引言16

3.2 HDFS构架设计17

3.2.1 前提和设计目标17

3.2.2 NameNode和DataNode18

3.2.3 文件系统的命名空间18

3.2.4 数据复制19

3.2.5 副本存放19

3.2.6 副本选择20

3.2.7 安全模式20

3.2.8 文件系统元数据的持久化20

3.2.9 通信协议21

3.2.10 健壮性21

3.2.11 数据组织22

3.2.12 可访问性23

3.2.13 空间的回收24

3.3 Hadoop分布式文件系统的使用24

3.3.1 Web接口25

3.3.2 shell命令25

3.3.3 dfsadmin命令25

3.3.4 Secondary NameNode26

3.3.5 Rebalancer27

3.3.6 机架感知27

3.3.7 安全模式27

3.3.8 fsck28

3.3.9 升级和回滚28

3.3.10 文件权限和安全性28

3.3.11 可扩展性28

3.4 HDFS权限管理29

3.4.1 用户身份29

3.4.2 理解系统的实现29

3.4.3 超级用户30

3.4.4 Web服务器30

3.4.5 在线升级30

3.4.6 配置参数30

3.5 HDFS配额管理31

3.6 Hadoop文件归档31

3.7 HDFS的缺点32

3.8 小结33

第4章 Hadoop FS shell34

4.1 引言34

4.2 FS shell34

4.3 小结40

第5章 Hadoop Map/Reduce41

5.1 Map/Reduce简介41

5.2 Map/Reduce编程思想42

5.3 Map/Reduce引例43

5.4 Map/Reduce核心功能50

5.4.1 Mapper50

5.4.2 Reducer51

5.4.3 Partitioner52

5.4.4 Reporter52

5.4.5 OutputCollector53

5.4.6 作业配置53

5.4.7 任务的执行和环境53

5.4.8 作业的提交与监控55

5.4.9 作业的输入56

5.4.10 作业的输出58

5.4.11 其他有用的特性60

5.5 小结63

第6章 Hadoop流与管道机制65

6.1 概述65

6.2 Hadoop流65

6.2.1 Hadoop流工作机制65

6.2.2 Hadoop流相关选项67

6.2.3 流应用举例70

6.3 Hadoop管道机制71

6.4 小结73

第7章 Hadoop输入和输出74

7.1 Map/Reduce输入与输出74

7.2 HDFS的输入和输出75

7.2.1 从HDFS读取文件75

7.2.2 给HDFS写入文件76

7.3 小结77

第8章 Hadoop常用命令78

8.1 Hadoop命令概述78

8.2 用户命令79

8.2.1 archive79

8.2.2 distcp80

8.2.3 fs83

8.2.4 fsck83

8.2.5 jar84

8.2.6 job84

8.2.7 pipes85

8.2.8 version85

8.2.9 CLASSNAME85

8.3 Hadoop管理员命令85

8.3.1 balancer86

8.3.2 daemonlog86

8.3.3 datanode86

8.3.4 dfsadmin87

8.3.5 jobtracker88

8.3.6 namenode88

8.3.7 secondarynamenode88

8.3.8 tasktracker89

8.4 小结89

第9章 Hadoop部署与开发90

9.1 概述90

9.2 Hadoop运行环境90

9.2.1 Hadoop硬件配置90

9.2.2 Hadoop集群大小91

9.2.3 虚拟化基础承载Hadoop91

9.2.4 软件需求和系统需求92

9.3 Hadoop单机部署92

9.3.1 安装所需软件92

9.3.2 本地模式93

9.3.3 Hadoop伪分布式模式93

9.4 Hadoop的完全分布式部署95

9.4.1 相关配置96

9.4.2 Hadoop启动与停止101

9.5 Hadoop部署示例102

9.5.1 配置文件102

9.5.2 启动Hadoop与简单测试105

9.6 Hadoop应用程序开发106

9.6.1 安装Hadoop并启动107

9.6.2 安装eclipse环境107

9.6.3 开发实例109

9.7 小结117

第10章 Zookeeper118

10.1 概述118

10.2 Zookeeper的安装119

10.2.1 软件及环境要求119

10.2.2 独立模式119

10.2.3 复制模式120

10.3 Zookeeper的设计目标121

10.4 数据模型和层次名称空间122

10.5 保证123

10.6 简单的API接口123

10.7 Zookeeper实现机制123

10.8 性能124

10.8.1 读写性能测试125

10.8.2 可靠性测试125

10.9 小结126

第11章 HBase127

11.1 HBase简介127

11.2 HBase中的数据模型127

11.3 HBase的体系结构129

11.4 安装部署HBase131

11.4.1 单机安装131

11.4.2 分布式安装部署132

11.5 HBase用户接口135

11.5.1 shell命令行接口135

11.5.2 HBase常用Java接口137

11.6 HBase与RDBMS的简单比较138

11.7 小结140

第12章 Pig141

12.1 Pig简介141

12.2 Pig安装和运行142

12.2.1 Pig的安装142

12.2.2 Pig的运行模式143

12.2.3 运行Pig143

12.3 Pig Latin脚本语言146

12.3.1 数据类型146

12.3.2 Pig Latin语句148

12.3.3 Pig Latin编程示例149

12.4 利用Pig并行处理海量数据153

12.4.1 Pig内置函数153

12.4.2 用户自定义函数UDF154

12.5 小结155

第13章 Hive156

13.1 Hive简介156

13.2 Hive的安装和运行测试157

13.3 HQL语言161

13.3.1 数据类型和对象161

13.3.2 HQL查询语言162

13.4 Hive应用开发169

13.4.1 JDBC170

13.4.2 利用分隔符导入文件170

13.4.3 Deserializer的使用171

第14章 CloudBase173

14.1 数据仓库与CloudBase简介173

14.2 CloudBase系统工作机制简介174

14.3 CloudBase安装部署175

14.3.1 部署构架175

14.3.2 安装CloudBase175

14.3.3 安装CloudBase客户端176

14.4 CloudBase中的ANSI SQL177

14.4.1 数据类型和对象177

14.4.2 ANSI SQL语言简介178

14.4.3 CloudBase相关表操作178

14.5 基于CloudBase的应用开发185

14.5.1 使用JDBC185

14.5.2 利用分隔符导入文件185

14.5.3 UDT的使用186

14.5.4 DataBase Link的使用187

14.6 CloudBase、Hive和HBase的比较187

14.7 小结188

第15章 Mahout189

15.1 Mahout简介189

15.2 Mahout的安装和运行189

15.3 相关算法简介191

15.3.1 分类算法简介191

15.3.2 聚类算法简介193

15.3.3 模式挖掘196

15.3.4 协同过滤196

15.4 并行分类算法分析与实例197

15.4.1 并行分类算法分析197

15.4.2 分类示例203

15.5 并行聚类算法与实例208

15.5.1 并行聚类算法分析208

15.5.2 聚类示例211

15.6 基于Mahout的应用213

15.6.1 应用构架213

15.6.2 应用实例214

参考文献217