并行处理基本原理PDF|Epub|txt|kindle电子书版本网盘下载

并行处理基本原理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 并行机和并行计算1

1.1 并行体系结构的发展历程1

1.1.1 串行计算机中的并行性2

1.1.2 向量或SIMD计算机5

1.1.3 多处理机或MIMD计算机7

1.2 互连网络9

1.3 体系结构并行性的应用10

1.4 SIMD和MIMD程序设计10

1.5 算法并行性13

1.6 小结15

1.7 参考文献注解16

1.8 练习题16

2.1 描述算法并行性的参数18

第2章 并行计算基础18

2.2 前缀问题19

2.3 并行前缀算法20

2.3.1 高／低并行前缀算法20

2.3.2 奇／偶并行前缀算法22

2.3.3 Ladner和Fischer并行前缀算法24

2.4 大规模问题求解算法的特性27

2.5 编程实现并行前缀算法28

2.6 并行算法的加速比和效率29

2.7 性能分析33

2.7.1 影响性能的因素33

2.7.2 一个简单的性能模型——Amdahl定律35

2.7.3 平均执行速度36

2.8 小结36

2.10 练习题37

2.9 参考文献注解37

第3章 向量算法与体系结构41

3.1 向量和矩阵算法41

3.2 向量体系结构——单指令多数据流体系结构47

3.3 SIMD指令集50

3.3.1 SIMD计算机的寄存器和存储器52

3.3.2 向量、控制器与协同指令53

3.3.3 数据相关条件操作56

3.3.4 向量长度和分段处理59

3.3.5 在PE之间路由数据60

3.4 互素存储器系统62

3.5 用PE索引来解决存储布局问题64

3.6 SIMD语言结构——Fortran 9067

3.6.1 数组和数组分片67

3.6.2 数组赋值和数组表达式68

3.6.3 Fortran 90数组内置函数70

3.6.4 Fortran 90中SIMD操作举例71

3.7 流水SIMD向量计算机74

3.7.1 流水SIMD处理机的结构75

3.7.2 流水SIMD计算机的存储器接口78

3.7.3 流水SIMD计算机的性能80

3.8 向量体系结构小结83

3.9 参考文献注解83

3.10 练习题84

第4章 MIMD计算机或多处理机93

4.1 共享存储器和消息传递体系结构94

4.1.1 混合类型多处理机体系结构95

4.1.2 共享存储器和消息传递的特点96

4.1.3 消息传递体系结构中的网络拓扑结构97

4.1.5 实际系统的分类99

4.1.4 直接和间接网络99

4.2 共享存储器多处理机程序设计总览100

4.2.1 数据共享和进程管理101

4.2.2 同步102

4.2.3 原子性与同步103

4.2.4 作业分配105

4.2.5 多个进程执行一个程序106

4.3 共享存储器程序设计的选择与领域107

4.3.1 进程管理——启动、停止和层次108

4.3.2 并行进程对数据的访问109

4.3.3 作业分配111

4.3.4 多处理机的同步115

4.4.1 OpenMP语言扩展120

4.4 共享存储器多处理机程序设计语言120

4.4.2 OpenMP Fortran语言的应用程序接口（API）123

4.4.3 OpenMP Fortran实例与讨论130

4.5 流水MIMD——多线程136

4.6 小结139

4.7 参考文献注解140

4.8 练习题141

第5章 分布式存储器多处理机148

5.1 处理机／存储器对中的分布式数据和操作148

5.2 使用消息传递机制编程150

5.2.1 通信串行进程语言152

5.2.2 分布式存储器编程实例：矩阵乘法155

5.3 通信的特征157

5.3.1 点对点通信158

5.3.2 在分布式存储器程序中的变量分类160

5.3.3 高级通信操作162

5.3.4 使用高级通信进行分布高斯消元法164

5.3.5 进程拓扑与处理机拓扑168

5.4 消息传递接口（MPI）170

5.4.1 MPI中的基本概念171

5.4.2 MPI程序实例——矩阵乘法174

5.5 管理通信的硬件——分布式高速缓存180

5.5.1 高速缓存一致性181

5.5.2 共享存储器的一一致性183

5.6 小结——共享存储器多处理机与分布式存储器多处理机185

5.7 参考文献注解187

5.8 练习题188

6.1 网络特性192

第6章 互连网络192

6.2 置换196

6.3 静态网络199

6.3.1 网格199

6.3.2 环201

6.3.3 树202

6.3.4 立方体网络205

6.3.5性能210

6.4动态网络211

6.4.1总线（bus）211

6.4.2交叉开关211

6.4.3多级互连网络212

6.4.4组合网络——互斥自由同步219

6.4.5性能223

6.5小结226

6.7练习题227

6.6参考文献注解227

第7章 数据相关性与并行性230

7.1发现（串行）代码中的并行操作230

7.2具有复杂名称的变量233

7.2.1嵌套循环235

7.2.2关于数组访问不确定性问题的变化237

7.3样本编译技术240

7.3.1循环变换241

7.3.2循环重构243

7.3.3循环替换变换245

7.3.4消除反相关和输出相关的变换248

7.4.1数据流基本概念250

7.4数据流原理250

7.4.2数据流计算的图形化表示251

7.4.3数据流的条件253

7.4.4数据流迭代255

7.4.5数据流函数的应用与递归257

7.4.6数据流中的结构值——数组258

7.5数据流体系结构264

7.5.1MIT静态数据流体系结构264

7.5.2动态数据流计算机267

7.5.3数据流机器的一些问题270

7.6脉动阵列270

7.7小结275

7.8参考文献注解276

7.9练习题276

8.1同步传输信息的特点280

第8章 同步实现与数据共享280

8.2 不同类别的协同计算同步281

8.2.1 一个生产者和一个或多个消费者282

8.2.2 全局归约282

8.2.3 全局前缀284

8.2.4 划分结构的协同更新286

8.2.5 管理共享作业集286

8.2.6 协同的列表操作287

8.2.7 使用Fetch Add并行访问队列288

8.2.8 直方图——细粒度数据相关同步290

8.3 等待机制291

8.3.1 硬件等待291

8.3.2 软件等待292

8.3.3 多级等待292

8.4 用原子读写操作实现互斥293

8.5 证明同步实现的正确性296

8.5.1 使用锁实现Produce/Consume296

8.5.2 时间逻辑297

8.5.3 正确性证明299

8.6 另一种同步实现——障碍301

8.6.1 障碍同步的特点301

8.6.2 障碍实现的特点302

8.7 小结306

8.8 参考文献注解306

8.9 练习题307

第9章 并行处理机性能310

9.1 Amdahl定律回顾311

9.1.1 工作粒度对Amdahl定律的影响311

9.1.2 Amdahl定律参数的最小方差估计312

9.2.1 流水线向量机的性能313

9.2 参数化的执行时间313

9.2.2 流水线多处理机的性能315

9.2.3 多流水线多处理机系统321

9.3 障碍同步的性能325

9.3.1 障碍性能的说明326

9.3.2 障碍性能测量的手段327

9.3.3 障碍同步性能测量举例329

9.4 并行循环静态调度和动态调度的统计模型333

9.4.1 动态调度模型334

9.4.2 静态调度模型338

9.4.3 实验结果的比较340

9.5 小结343

9.6 参考文献注解343

9.7 练习题344

第10章 并行程序的时间特性345

10.1 高速缓存行为的时间特性346

10.1.1 高速缓存特性的时间局部性度量标准349

10.1.2 冒泡排序程序局部性度量标准的应用举例350

10.2 分布式高速缓存多处理机中的读共享352

10.2.1 共享数据读取的一个简单例子353

10.2.2 KSR-1体系结构354

10.2.3 读多重性度量标准356

10.2.4 实验357

10.2.5 编程控制的邮寄存储和预取359

10.3 消息传递多处理机系统中的消息等待361

10.4 小结366

10.5 参考文献注解367

10.6 练习题367

11.1.1 数据相关性和输入输出371

11.1 并行I/O问题371

第11章 并行输入输出371

11.1.2 输入输出格式转换373

11.1.3 输入输出延迟和带宽需求的数值例子374

11.2 并行输入输出的硬件376

11.2.1 主存方面的传输控制377

11.2.2 输入输出通道的并发378

11.2.3 并行外围设备379

11.3 并行访问磁盘阵列——RAID379

11.4 共享存储器多处理机中的并行格式化I/O384

11.4.1 使用C中的I/O例程fread()和sscanf()实现并行输入385

11.4.2 使用C中的I/O例程sprintf()和fwrite()实现并行输出388

11.5 多处理机中的聚合I/O——MPI-IO389

11.5.1 MPI-2中的I/O概念390

11.5.2 MPI-IO示例392

11.7 参考文献注解399

11.6 小结399

11.8 练习题400

附录A MPI消息传递库程序401

A.1 点对点通信程序401

A.2 聚合通信程序404

A.3 MPI数据类型和构造器407

A.4 通信器、进程组和拓扑410

A.5 MPI环境和错误处理415

A.6 小结与MPI-2扩展416

附录B 同步机制418

B.1 硬件级同步418

B.2 语言级同步420

B.3 等待机制424

参考文献425