大数据走向云计算PDF|Epub|txt|kindle电子书版本网盘下载

大数据走向云计算PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云时代1

1.1云计算力量1

1.2云计算概述2

1.2.1云基本特征3

1.2.2云计算简史4

1.2.3云计算演化5

1.2.4云服务形式6

1.2.5云时代谁是主角10

1.3云计算的原动力11

1.3.1芯片与硬件技术12

1.3.2资源虚拟化12

1.3.3面向服务架构13

1.3.4软件即服务13

1.3.5互联网技术14

1.3.6Web技术14

1.4云研究趋势14

1.5云计算技术16

1.5.1虚拟化技术16

1.5.2数据存储技术17

1.5.3资源管理技术19

1.5.4能耗管理技术20

1.5.5云监测技术21

1.6云优势分析23

1.6.1优化产业布局23

1.6.2推进专业分工24

1.6.3提升资源利用率25

1.6.4降低运营成本26

1.6.5产生新创价值26

1.7云业务实施26

1.7.1基础设施层27

1.7.2平台层28

1.7.3实施应用层30

1.8移动云31

1.8.1移动云优势31

1.8.2应用案例31

1.9云标准32

1.9.1云标准定制32

1.9.2云标准主要内容32

1.9.3云计算潜在需求分析33

1.9.4云标准意义34

1.9.5云标准发展趋势34

1.10云安全35

1.10.1云安全发展趋势36

1.10.2云安全难点问题36

1.10.3云安全新增及增强功能37

1.10.4云安全存在问题38

1.11云计算的九大威胁39

第2章 大数据时代41

2.1什么是大数据41

2.2大数据来源42

2.3大数据商业价值43

2.4打造高能效数据中心44

2.5大数据变革45

2.5.1变革公共卫生45

2.5.2变革商业46

2.5.3变革思维48

2.5.4开启重大的时代转型48

2.6大数据的核心51

2.7大数据的挑战51

2.8大数据的现状53

2.9大数据推进力55

2.10大数据存储56

2.11大数据治理57

2.12大数据未来五年路线58

2.13大数据的应用59

第3章 大数据走向云端63

3.1时代双雄63

3.2“大数据”走进云端64

3.3云计算与大数据的联系66

3.3.1云与大数据的联系66

3.3.2大数据和云计算的不同之处67

3.4数据向云计算迁移67

3.4.1迁移过程67

3.4.2数据的丢失与备份67

3.4.3迁移应注意问题68

3.4.4管理与监控68

3.5云延伸68

3.5.1云计算的延伸69

3.5.2网络管理维护优化69

3.5.3用户行为分析69

3.5.4个性化推荐70

3.5.5数据云服务（DaaS）70

3.6云计算与大数据挑战与机遇并存70

第4章 云下的大数据工程72

4.1信息所需求的新生力量72

4.1.1技术因素72

4.1.2商业模式因素73

4.2信息系统工程73

4.2.1云计算基本思想73

4.2.2云计算实现74

4.3信息系统工程架构转变81

4.3.1竖井式的信息系统81

4.3.2逐渐完善的系统需求83

4.3.3全新的系统架构86

4.3.4新型企业信息系统模块87

4.4商业变革因素92

4.4.1零售企业的流程再造92

4.4.2IT资源使用新方式94

4.4.3整合的新平台95

4.4.4转型新思路96

4.4.5创新的新动力97

4.5信息工业革命97

4.5.1解放生产力97

4.5.2云计算改变信息生活98

4.5.3推动社会变革100

4.6云计算机遇102

4.6.1私有云发展更快103

4.6.2数据集中105

4.6.3企业的“云”机遇106

4.6.4中国“云”企业的机遇挑战107

第5章 搭建云计算开发环境109

5.1 Hadoop环境搭建109

5.1.1在Linux下安装Hadoop109

5.1.2 Hadoop安装步骤110

5.1.3在Windows下安装Hadoop115

5.2 Hadoop的优点120

5.3 HBase环境搭建121

5.3.1 HBase的系统框架121

5.3.2 HBase的模型123

5.3.3 HBase的安装配置126

5.4 ZooKeeper环境搭建128

5.4.1 ZooKeeper的原理128

5.4.2 Zookeeper的特点128

5.4.3 Zookeeper的安装129

5.5 MapReduce概述131

5.5.1 MapReduce实现机制131

5.5.2 MapReduce执行流程132

5.5.3 MapReduce映射和化简133

5.6 Pig环境搭建133

5.6.1 Pig概述133

5.6.2 Pig安装134

第6章 分布式文件系统135

6.1分布式文件系统概述135

6.1.1发展史135

6.1.2实现方法136

6.1.3研究状况136

6.2分布式文件系统类型137

6.2.1网络文件系统137

6.2.2 Andrew文件系统142

6.2.3分布式文件系统143

6.3 xFS概述144

6.3.1 xFS体系结构144

6.3.2 xFS通信145

6.3.3 xFS进程145

6.3.4 xFS缓存147

6.3.5 xFS容错性147

6.3.6 xFS安全性148

6.3.7 xFS特性148

6.3.8 xFS性能考虑149

6.4 DAFS概述149

6.4.1 DAFS基本原理150

6.4.2 DAFS设计目的150

6.4.3文件访问方式151

6.4.4实现客户端151

6.5 GFS概述152

6.5.1文件系统架构153

6.5.2 GFS的特点154

6.5.3文件系统的容错性155

6.5.4系统管理技术155

6.6 GPFS共享文件156

6.6.1 GPFS概述156

6.6.2 GPFS特性158

6.6.3 GPFS的高性能和可扩展性159

6.7 Lustre并行文件系统159

6.7.1 Lustre概述159

6.7.2 Lustre组成部分161

6.8分布式锁服务Chubby162

6.8.1 Paxos算法163

6.8.2 Chubby目标设计164

6.8.3 Chubby中的Paxos165

6.8.4 Chubby文件系统167

6.8.5 Chubby通信协议168

6.8.6正确性和性能170

6.9分布式结构数据表171

6.9.1 Bigtable设计目标171

6.9.2 Bigtable数据模型172

6.9.3 Bigtable系统架构173

6.9.4 Bigtable功能174

6.9.5 Bigtable主服务器174

6.9.6 Bigtable组件175

6.9.7性能优化179

第7章 并行计算181

7.1并行计算概述181

7.2 MapReduce基础183

7.2.1编程模型183

7.2.2执行过程184

7.2.3映射和化简185

7.2.4数据类型185

7.2.5 Map类和Reduce类186

7.2.6 Job对象配置187

7.3 MapReduce模板188

7.4 MapReduce计算流程191

7.4.1作业的提交191

7.4.2 Map任务的分配192

7.4.3 Map任务的执行193

7.4.4 Reduce任务的分配与执行194

7.5 MapReduce数据流优化194

7.5.1 MapReduce输入与输出194

7.5.2流机制195

7.5.3管道机制196

7.5.4数据流优化197

7.6 MapReduce数据类型198

7.6.1数据内置输入格式198

7.6.2数据定制输入格式199

7.6.3数据定制输出格式201

7.7 MapReduce使用算法203

7.7.1向量乘法实现203

7.7.2内存处理203

7.7.3关系运算204

7.8参数/数据文件的传递与使用208

7.8.1传递全局作业参数208

7.8.2查询全局MapReduce作业属性209

7.8.3全局数据文件的传递210

第8章 大数据存储仓库212

8.1数据仓库212

8.1.1 RDBMS扩展到HBase212

8.1.2列数据库213

8.1.3 HBase的特点215

8.2 HBase数据库216

8.2.1 HBase集群架构216

8.2.2 HBase系统架构219

8.3 HBase模型219

8.3.1逻辑模型219

8.3.2物理模型220

8.4 HBase接口221

8.4.1 HBase访问接口221

8.4.2 shell命令接口221

8.4.3 HBase Java接口222

8.5 HBase基本操作224

8.5.1 HBase存储格式225

8.5.2 HBase读写流程225

8.5.3 HBase表操作226

第9章 分布式锁231

9.1 ZooKeeper基本概述231

9.1.1 ZooKeeper基本原理231

9.1.2统一命名服务235

9.1.3配置管理235

9.1.4集群管理236

9.1.5分布式锁237

9.1.6共享锁（Locks）238

9.1.7队列238

9.2 ZooKeeper角色239

9.2.1系统模型239

9.2.2数据模型240

9.2.3 ZooKeeper的特性241

9.2.4 ZooKeeper的一致性242

9.3 ZooKeeper接口与编程242

9.3.1 ZooKeeper接口243

9.3.2 ZooKeeper编程实现244

9.4性能246

9.4.1读/写性能测试246

9.4.2可靠性测试246

9.5 ZooKeeper的典型应用247

9.5.1数据发布与订阅应用248

9.5.2负载均衡应用248

9.5.3分布式通知249

第10章 数据挖掘250

10.1数据挖掘概述250

10.1.1数据挖掘起源251

10.1.2数据挖掘作用252

10.1.3定义数据挖掘254

10.1.4哈希函数255

10.1.5索引257

10.1.6实现数据挖掘步骤257

10.2 PageRank工具258

10.2.1 PageRank概述258

10.2.2 PageRank定义259

10.2.3 PageRank相关算法262

10.2.4影响PageRank的因素263

10.3关联分析263

10.3.1关联分析原理及算法264

10.3.2数据关联推测功能264

10.3.3基于用户行为分析的关联推荐264

10.3.4数据关联注意问题266

10.4聚类分析266

10.4.1聚类分析作用266

10.4.2聚类的典型要求267

10.4.3聚类分析算法268

10.4.4在数据挖掘中的应用269

10.5分类分析281

10.5.1决策树法281

10.5.2神经网络283

10.6异常挖掘284

10.6.1异常挖掘概述284

10.6.2异常挖掘的方法285

10.7特异群组分析288

10.7.1特性群级挖掘根源288

10.7.2何为特异群组挖掘289

10.7.3与聚类、异常挖掘的差异289

10.8矩估计293

10.8.1二阶矩估计的AMS算法293

10.8.2高阶矩估计294

10.8.3无限流的处理294

10.9衰减窗口295

10.9.1定义衰减窗口296

10.9.2网络流频繁项集296

10.10频繁项集297

10.10.1项集概述297

10.10.2 A-Priori算法298

10.10.3 A-Priori算法改进299

10.10.4更大数据集处理300

10.11数据降维处理303

10.11.1相关定义304

10.11.2降维算法305

10.11.3降维方法306

第11章 社会中的大数据314

11.1普适计算314

11.1.1普适计算定义315

11.1.2普适计算核心思想315

11.1.3普适计算目的315

11.1.4普适计算特点315

11.1.5普适计算面临挑战315

11.1.6普适计算应用316

11.2数据应用于治国上318

11.2.1循“数”管理318

11.2.2数据验证民权319

11.2.3数据“打”假320

11.3商务智能321

11.3.1数据到知识的跨越322

11.3.2数据仓库323

11.3.3联机分析324

11.3.4数据挖掘智能产生326

11.3.5数据可视化327

11.4数据质量法与隐私328

11.4.1数据质量法328

11.4.2数据隐私329

11.5数据运动331

11.5.1数据开放331

11.5.2数据之争333

11.6数据大趋势334

11.6.1数据权334

11.6.2数据大合流335

11.6.3互联网再造336

11.7数据大挑战338

11.7.1数据竞争338

11.7.2从大数据到社会340

第12章 云下的大数据应用342

12.1云计算如何实现价值342

12.2云与大数据342

12.2.1大的数据优先级343

12.2.2云与大数据343

12.3云计算与大数据的强强联合343

12.3.1大数据的企业与技术344

12.3.2大数据的经济意义344

12.4大数据时代下的云计算应用部署345

12.5云计算在快速消费品行业的应用345

12.5.1改变传统交通管理的路径346

12.5.2在智能交通应用上的优势347

12.6大数据在视频监控中的应用348

12.6.1解决实时视点监控需求349

12.6.2大数据处理解决方案349

12.6.3实时高效的分布式视频监控350

12.7区域医疗大数据应用案例350

12.7.1挑战351

12.7.2海量数据的处理和分析351

12.7.3结论352

12.7.4价值352