写给大忙人的Hadoop 2PDF|Epub|txt|kindle电子书版本网盘下载

写给大忙人的Hadoop 2PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1 背景和概念1

定义Apache Hadoop1

Apache Hadoop的发展简史3

大数据的定义4

Hadoop作为数据湖5

使用Hadoop：管理员、用户或两种身份兼具7

原始的MapReduce7

Apache Hadoop的设计原则8

Apache Hadoop MapReduce示例8

MapReduce的优势10

Apache Hadoop V 1 MapReduce操作11

使用Hadoop V2超越MapReduce13

Hadoop V2 YARN操作设计14

Apache Hadoop项目生态系统16

总结和补充资料18

2 安装攻略21

核心Hadoop服务21

Hadoop配置文件22

规划你的资源23

硬件的选择23

软件的选择24

在台式机或笔记本电脑上安装25

安装Hortonworks HDP 2.2沙箱25

用Apache源代码安装Hadoop32

配置单节点YARN服务器的步骤33

运行简单的MapReduce示例42

安装Apache Pig（可选）42

安装Apache Hive（可选）43

使用Ambari安装Hadoop44

执行Ambari安装45

撤消Ambari安装59

使用Apache Whirr在云中安装Hadoop59

总结和补充资料65

3 HDFS基础知识67

HDFS设计的特点67

HDFS组件68

HDFS块复制71

HDFS安全模式72

机架的识别73

NameNode高可用性73

HDFS NameNode联邦75

HDFS检查点和备份76

HDFS快照76

HDFS NFS网关76

HDFS用户命令77

简要HDFS命令参考77

一般HDFS命令78

列出HDFS中的文件79

在HDFS中创建一个目录80

将文件复制到HDFS80

从HDFS复制文件81

在HDFS中复制文件81

删除在HDFS中的文件81

删除在HDFS中的目录81

获取HDFS状态报告81

HDFS的Web图形用户界面82

在程序中使用HDFS82

HDFS Java应用程序示例82

HDFS C应用程序示例86

总结和补充资料88

4 运行示例程序和基准测试程序91

运行MapReduce示例91

列出可用的示例92

运行Pi示例93

使用Web界面监控示例95

运行基本Hadoop基准测试程序101

运行Terasort测试101

运行TestDFSIO基准102

管理Hadoop MapReduce作业104

总结和补充资料105

5 Hadoop MapReduce框架107

MapReduce模型107

MapReduce并行数据流110

容错和推测执行114

推测执行114

Hadoop MapReduce硬件115

总结和补充资料115

6 MapReduce编程117

编译和运行Hadoop WordCount的示例117

使用流式接口122

使用管道接口125

编译和运行Hadoop Grep链示例127

调试MapReduce131

作业的列举、清除和状态查询131

Hadoop日志管理131

启用YARN日志聚合132

Web界面日志查看133

命令行日志查看133

总结和补充资料135

7 基本的Hadoop工具137

使用Apache Pig137

Pig示例演练138

使用Apache Hive140

Hive示例演练140

更高级的Hive示例142

使用Apache Sqoop获取关系型数据145

Apache Sqoop导入和导出方法145

Apache Sqoop版本更改147

Sqoop示例演练148

使用Apache Flume获取数据流155

Flume的示例演练157

使用Apache Oozie管理Hadoop工作流160

Oozie示例演练162

使用Apache HBase170

HBase数据模型概述170

HBase示例演练171

总结和补充资料176

8 Hadoop YARN应用程序179

YARN分布式shell179

使用YARN分布式shell180

一个简单的示例181

使用更多的容器182

带有shell参数的分布式shell示例183

YARN应用程序的结构185

YARN应用程序框架187

Hadoop MapReduce188

Apache Tez188

Apache Giraph189

Hoya： HBase on YARN189

Dryad on YARN189

Apache Spark189

Apache Storm190

Apache REEF：可持续计算执行框架190

Hamster： Hadoop和MPI在同一集群190

Apache Flink：可扩展的批处理和流式数据处理191

Apache Slider：动态应用程序管理191

总结和补充资料192

9 用Apache Ambari管理Hadoop193

快速浏览Apache Ambari194

仪表板视图194

服务视图197

主机视图199

管理视图201

查看视图201

Admin下拉菜单202

更改Hadoop属性206

总结和补充资料212

10 基本的Hadoop管理程序213

基本的Hadoop YARN管理214

停用YARN节点214

YARN WebProxy214

使用JobHistoryServer215

管理YARN作业215

设置容器内存215

设置容器核心216

设置MapReduce属性216

基本的HDFS管理217

NameNode用户界面217

将用户添加到HDFS219

在HDFS上执行FSCK220

平衡HDFS221

HDFS安全模式222

停用HDFS节点222

SecondaryNameNode223

HDFS快照223

配置到HDFS的NFSv3网关225

容量调度程序背景知识229

Hadoop 2的MapReduce兼容性231

启用应用主控程序的重新启动功能231

计算一个节点的承载容量232

运行Hadoop 1的应用程序233

总结和补充资料235

附录A 本书的网页和代码下载237

附录B 入门流程图和故障排除指南239

入门流程图239

常见的Hadoop故障排除指南239

规则1：不要惊慌239

规则2：安装并使用Ambari244

规则3：检查日志244

规则4：简化情况245

规则5：在互联网上提问245

其他有用的提示246

附录C 按主题列出的Apache Hadoop资源汇总253

常规的Hadoop信息253

Hadoop安装攻略253

HDFS254

示例255

MapReduce255

MapReduce编程255

基本工具256

YARN应用程序框架257

Ambari管理257

基本的Hadoop管理257

附录D 安装HueHadoop GUI259

Hue安装259

安装和配置Hue262

启动Hue263

Hue用户界面263

附录E 安装Apache Spark267

在集群上安装Spark267

在整个集群中启动Spark268

在伪分布式的单节点安装版本中安装和启动Spark270

运行Spark示例271