神经网络在应用科学和工程中的应用 从基本原理到复杂的模式识别PDF|Epub|txt|kindle电子书版本网盘下载

神经网络在应用科学和工程中的应用 从基本原理到复杂的模式识别PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 从数据到模型：理解生物学、生态学和自然系统的复杂性和挑战1

1.1概述1

1.2本书安排3

参考文献5

第2章 神经网络基础和线性数据分析模型9

2.1概述9

2.2神经网络及其能力9

2.3生物学的启示13

2.4神经元信息处理的建模15

2.5神经元模型和学习策略15

2.5.1作为一个简单分类器的阈值神经元16

2.5.2神经元和神经集合的学习模型19

2.5.2.1Hebbian学习19

2.5.2.2无监督学习或竞争学习20

2.5.2.3有监督学习21

2.5.3作为分类器的有监督学习的感知器21

2.5.3.1感知器学习算法22

2.5.3.2基于大量现实数据集的感知器实例：根据测定的成长年轮直径辨识鱼的起源28

2.5.3.3统计学中带有线性判别函数分析的感知器比较30

2.5.3.4多种类分类中的多输出感知器31

2.5.3.5使用感知器的高维分类35

2.5.3.6感知器小结36

2.5.4用于线性分类和预报的线性神经元36

2.5.4.1利用delta规则的学习37

2.5.4.2作为分类器的线性神经元40

2.5.4.3作为预报能力子集的线性神经元的分类属性42

2.5.4.4实例：作为预报器的线性神经元43

2.5.4.5线性预报的实例：预报一个家庭的热流48

2.5.4.6线性神经元模型与线性回归的比较48

2.5.4.7实例：多输入线性神经元模型——提高一个家庭的热流预报精确度49

2.5.4.8一个多输入线性神经元与多重线性回归的比较49

2.5.4.9多线性神经元模型50

2.5.4.10多重线性神经网络与正则相关性分析的比较50

2.5.4.11线性神经元和线性网络小结50

2.6小结51

习题51

参考文献52

第3章 用于非线性模式识别的神经网络54

3.1概述54

3.2非线性神经元56

3.2.1神经元激励函数57

3.2.1.1S形函数57

3.2.1.2高斯函数58

3.2.2实例：利用非线性神经元对人口增长建模59

3.2.3非线性神经元与非线性回归分析的比较61

3.3单输入多层非线性网络61

3.3.1用单一非线性隐含层神经元处理61

3.3.2实例：用多非线性神经元建立循环现象模型65

3.3.2.1实例1：逼近一个方波66

3.3.2.2实例2：为物种的季节性迁移建立模型71

3.4两输入的多层感知器网络74

3.4.1用非线性神经元处理二维输入75

3.4.2网络输出78

3.4.3实例：二维预报和分类79

3.4.3.1实例1：二维非线性函数逼近79

3.4.3.2实例2：二维非线性分类模型80

3.5用非线性多层感知器网络为多维数据建模83

3.6小结83

习题84

参考文献85

第4章 神经网络对非线性模式的学习87

4.1概述87

4.2非线性模式识别中网络的监督训练87

4.3梯度下降法和误差最小化88

4.4BP学习89

4.4.1实例：BP训练——手工计算90

4.4.1.1关于输出神经元权值的误差梯度92

4.4.1.2关于隐含神经元权值的误差梯度95

4.4.1.3梯度下降法在BP学习中的应用98

4.4.1.4批量学习98

4.4.1.5学习率和权值更新100

4.4.1.6遍历（在线）学习103

4.4.1.7动量法103

4.4.2实例：BP学习的计算实验106

4.4.3具有多隐含神经元的单输入单输出网络109

4.4.4多输入、多隐含神经元和单输出网络109

4.4.5多输入、多隐含神经元多输出网络110

4.4.6实例：BP学习个案学习——解决一个复杂的分类问题111

4.5delta-bar-delta学习方法117

4.5.1实例：用delta-bar-delta的网络训练——手工计算118

4.5.2实例：带有动量的delta-bar-delta方法——手工计算120

4.5.3delta-bar-delta的网络训练——计算机实验121

4.5.4delta-bar-delta方法和BP方法的比较122

4.5.5实例：用delta-bar-delta方法的网络训练——一个案例研究122

4.6最速下降法125

4.6.1实例：用最速下降法的网络训练——手工计算125

4.6.2实例：用最速下降法的网络训练——计算机实验126

4.7误差最小和权值最优的二阶方法127

4.7.1QuickProp127

4.7.1.1实例：QuickProp的网络训练——手工计算128

4.7.1.2实例：QuickProp的网络训练——计算机实验129

4.7.1.3QuickProp与最速下降法、delta-bar-delta和BP方法的比较130

4.7.2误差最小的二阶方法的基本概念131

4.7.3高斯-牛顿方法132

4.7.3.1采用高斯-牛顿方法的网络训练——手工计算134

4.7.3.2实例：采用高斯-牛顿方法的网络训练——计算机实验136

4.7.4LM方法137

4.7.4.1实例：用LM方法的网络训练——手工计算138

4.7.4.2用LM方法的网络训练——计算机实验139

4.7.5一阶和二阶方法在使误差最小效果上的比较140

4.7.6一阶和二阶学习方法收敛性的比较141

4.7.6.1BP方法142

4.7.6.2最速下降法143

4.7.6.3高斯-牛顿方法144

4.7.6.4LM方法145

4.8小结146

习题146

参考文献147

第5章 从数据中抽取可靠模式的神经网络模型的实现148

5.1概述148

5.2偏差-方差折中149

5.3改善神经网络的泛化149

5.3.1及早停止法的说明150

5.3.1.1任意初始权值的影响154

5.3.1.2训练好网络的权值结构156

5.3.1.3随机采样的影响157

5.3.1.4模型复杂性的影响：隐含神经元的数目161

5.3.1.5及早停止法小结163

5.3.2正规化法164

5.4通过修剪减小网络结构的复杂性169

5.4.1最优脑部损伤（OBD）170

5.4.2基于网络灵敏度方差的网络修剪175

5.4.2.1修剪权值的方差无效性应用的阐述177

5.4.2.2基于灵敏度的方差无效性修剪隐含神经元179

5.5网络对权值扰动的鲁棒性181

5.6小结184

习题185

参考文献185

第6章 数据探测、维数约简和特征提取187

6.1概述187

6.1.1实例：关于相关输入数据的木头的热导率188

6.2数据可视化189

6.2.1散点图和柱状图的相关性189

6.2.2并行可视化190

6.2.3多维数据到二维平面的映射190

6.3变量间的相关性与协方差191

6.4数据的规范化193

6.4.1标准化193

6.4.2简单值域调整194

6.4.3白化——多维相关数据的规范化194

6.5选择相关输入197

6.5.1用于变量选择的统计手段198

6.5.1.1偏相关198

6.5.1.2多元回归与最优子集回归199

6.6维数约简与特征析取200

6.6.1多重共线性200

6.6.2主成分分析200

6.6.3偏最小二乘回归204

6.7异常点检测205

6.8噪声206

6.9个案研究：阐述一个实际问题的输入选择和维数约简206

6.9.1数据预处理和初步建模207

6.9.2基于PCA的神经网络建模210

6.9.3隐含神经元对非基于PCA方法和基于PCA方法的影响213

6.9.4案例研究小结214

6.10小结214

习题215

参考文献215

第7章 使用贝叶斯统计的神经网络模型的不确定性评估217

7.1概述217

7.2利用贝叶斯统计评估权值的不确定性218

7.2.1质量判据219

7.2.2结合贝叶斯统计估计权值不确定性220

7.2.3多元输出的目标固有不确定性223

7.2.4权值的概率密度函数224

7.2.5用于阐述权值分布产生的实例226

7.3使用贝叶斯统计评估神经网络输出的不确定性230

7.3.1阐述输出误差不确定性的实例230

7.3.1.1总的网络输出误差231

7.3.1.2误差相关性和协方差矩阵231

7.3.1.3误差协方差的统计分析231

7.3.1.4总输出误差分解为模型误差和固有噪声233

7.4评估网络输出对输入的灵敏度237

7.4.1确定反馈网络里输入对输出影响的方法237

7.4.1.1基于权值大小的方法237

7.4.1.2灵敏度分析238

7.4.2实例：评估输入对输出影响的方法的比较238

7.4.3灵敏度的不确定性239

7.4.4阐述网络对输入灵敏度的不确定性评估实例240

7.4.4.1输入和输出的PCA分解240

7.4.4.2基于PCA的神经网络回归244

7.4.4.3神经网络灵敏度246

7.4.4.4输入灵敏度的不确定性247

7.4.4.5PCA调整的雅可比251

7.4.4.6案例研究小结254

7.5小结255

习题255

参考文献256

第8章 应用自组织映射的方法发现数据中的未知聚类258

8.1概述258

8.2无监督网络的结构259

8.3无监督网络的学习过程260

8.4竞争学习过程的实施260

8.4.1基于神经元激励的获胜者选择261

8.4.2基于对输入向量距离的获胜者选择261

8.4.3竞争学习例子263

8.4.3.1回归学习和批量学习的比较264

8.4.3.2对获胜者选择中所涉及的计算的说明264

8.4.3.3网络训练266

8.5自组织特性映射268

8.5.1自组织映射网络中的学习过程268

8.5.1.1邻域几何形状的选择269

8.5.1.2自组织映射的训练269

8.5.1.3邻点强度269

8.5.1.4例子：训练具有邻域特性的自组织网络270

8.5.1.5邻接矩阵和从获胜者到邻点之间的距离272

8.5.1.6随着迭代缩减邻域的尺寸274

8.5.1.7学习率衰减276

8.5.1.8包含学习率和邻域衰减后的权值更新276

8.5.1.9递归和批量训练与K平均值聚类的关系276

8.5.1.10自组织映射训练中的两个阶段277

8.5.1.11例子：通过手工计算说明自组织映射学习277

8.5.1.12SOM实例研究：结合牛奶品质对牛奶场的奶牛群乳腺炎状况进行判断283

8.5.2二维自组织映射的实例：基于鱼鳞年轮的直径对加拿大和阿拉斯加鲑鱼进行聚类286

8.5.2.1映射结构和初始化286

8.5.2.2映射训练287

8.5.2.3U矩阵293

8.5.3映射初始化294

8.5.4实例：在多维数据上训练二维映射295

8.5.4.1数据可视化295

8.5.4.2映射结构和训练296

8.5.4.3U矩阵301

8.5.4.4由映射捕获的输入概率密度的点估计301

8.5.4.5量化误差303

8.5.4.6从映射中对输入数据检索的精确性304

8.5.5在映射上形成聚类305

8.5.5.1聚类的方法306

8.5.5.2在训练过的映射上说明聚类的实例307

8.5.5.3通过Ward方法在映射上寻找最优化的聚类310

8.5.5.4通过K平均值聚类去寻找最优聚类312

8.5.6对训练过的映射的确认314

8.5.6.1n-折交叉确认316

8.6进化的自组织映射319

8.6.1映射的成长的细胞结构320

8.6.1.1将输入数据投射到映射上的神经元之间的位置的质心方法323

8.6.2通过控制的成长进行动态自组织映射（GSOM）325

8.6.2.1实例：动态自组织映射的应用328

8.6.3进化树333

8.7小结337

习题337

参考文献339

第9章 神经网络在时间序列预测中的应用341

9.1概述341

9.2应用统计模型和神经网络模型进行时间序列线性预测343

9.2.1实例研究：炉温控制345

9.2.1.1多步超前线性预测347

9.3用于非线性时间序列预测的神经网络348

9.3.1聚焦时间滞后和动态驱动的递归网络349

9.3.1.1聚焦时间滞后前馈网络350

9.3.1.2时空时间滞后网络351

9.3.2例子：时空时间滞后网络——炉内温度调节354

9.3.2.1通过神经元NARx模型进行单步预测355

9.3.2.2通过神经元NARx模型进行多步预测356

9.3.3实例研究：河水流量预测358

9.3.3.1河流流量预测的线性模型361

9.3.3.2对于河水流量预测的非线性神经元NARx模型363

9.3.3.3输入敏感度367

9.4混合线性（ARIMA）和非线性神经网络模型369

9.4.1实例研究：对每年太阳黑子数量的预测370

9.5运用最简化结构概念进行网络结构的自泛化371

9.5.1实例研究：应用自泛化神经网络模型预测空气污染372

9.6广义神经网络375

9.6.1实例研究：应用一般神经网络进行短期负荷预测379

9.7动态驱动递归网络381

9.7.1具有隐含神经元反馈的递归网络382

9.7.1.1封装长期记忆382

9.7.1.2Elman网络的结构和实施383

9.7.1.3训练递归网络385

9.7.1.4网络训练实例：手工计算389

9.7.1.5递归学习网络应用实例研究：降雨量流量模型393

9.7.1.6递归网络的两步超前预测396

9.7.1.7实时递归学习结构实例研究：两步超前河流流量预测397

9.7.2有输出反馈的递归网络399

9.7.2.1在有输出反馈的递归网络中封装长期记忆399

9.7.2.2有输出、误差反馈和外生输入的递归网络（NARIMAx）的应用：短期温度预测401

9.7.2.3具有输出反馈的递归网络的训练404

9.7.3完全递归网络405

9.7.3.1完全递归网络应用实例研究：短期电力负荷预测407

9.8时间序列预测中的偏差和方差409

9.8.1将全部误差分解为偏差分量和方差分量410

9.8.2实例：对偏差-方差分离的说明411

9.9长期预测417

9.9.1实例研究：用多神经网络（MNN）进行长期预测419

9.10时间序列预测的输入选择421

9.10.1从非线性非独立变量中进行输入选择423

9.10.1.1偏交互信息方法423

9.10.1.2广义回归神经网络424

9.10.1.3对于输入选择的自组织映射426

9.10.1.4输入选择的遗传算法427

9.10.2时间序列预测输入选择方法的实际应用430

9.10.3输入选择实例研究：对于预测河流含盐度的输入选择432

9.11小结435

习题437

参考文献438

附录440

A.1线性代数、向量、矩阵440

A.2矩阵442

参考文献444