统计学习方法PDF|Epub|txt|kindle电子书版本网盘下载

统计学习方法PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 统计学习方法概论1

1.1 统计学习1

1.2 监督学习3

1.2.1 基本概念4

1.2.2 问题的形式化5

1.3 统计学习三要素6

1.3.1 模型6

1.3.2 策略7

1.3.3 算法9

1.4 模型评估与模型选择10

1.4.1 训练误差与测试误差10

1.4.2 过拟合与模型选择11

1.5 正则化与交叉验证13

1.5.1 正则化13

1.5.2 交叉验证14

1.6 泛化能力15

1.6.1 泛化误差15

1.6.2 泛化误差上界15

1.7 生成模型与判别模型17

1.8 分类问题18

1.9 标注问题20

1.10 回归问题21

本章概要23

继续阅读23

习题23

参考文献24

第2章 感知机25

2.1 感知机模型25

2.2 感知机学习策略26

2.2.1 数据集的线性可分性26

2.2.2 感知机学习策略26

2.3 感知机学习算法28

2.3.1 感知机学习算法的原始形式28

2.3.2 算法的收敛性31

2.3.3 感知机学习算法的对偶形式33

本章概要35

继续阅读36

习题36

参考文献36

第3章 k近邻法37

3.1 k近邻算法37

3.2 k近邻模型38

3.2.1 模型38

3.2.2 距离度量38

3.2.3 k值的选择40

3.2.4 分类决策规则40

3.3 k近邻法的实现：kd树41

3.3.1 构造kd树41

3.3.2 搜索kd树42

本章概要44

继续阅读45

习题45

参考文献45

第4章 朴素贝叶斯法47

4.1 朴素贝叶斯法的学习与分类47

4.1.1 基本方法47

4.1.2 后验概率最大化的含义48

4.2 朴素贝叶斯法的参数估计49

4.2.1 极大似然估计49

4.2.2 学习与分类算法50

4.2.3 贝叶斯估计51

本章概要52

继续阅读53

习题53

参考文献53

第5章 决策树55

5.1 决策树模型与学习55

5.1.1 决策树模型55

5.1.2 决策树与if-then规则56

5.1.3 决策树与条件概率分布56

5.1.4 决策树学习56

5.2 特征选择58

5.2.1 特征选择问题58

5.2.2 信息增益60

5.2.3 信息增益比63

5.3 决策树的生成63

5.3.1 ID3算法63

5.3.2 C4.5的生成算法65

5.4 决策树的剪枝65

5.5 CART算法67

5.5.1 CART生成68

5.5.2 CART剪枝72

本章概要73

继续阅读75

习题75

参考文献75

第6章 逻辑斯谛回归与最大熵模型77

6.1 逻辑斯谛回归模型77

6.1.1 逻辑斯谛分布77

6.1.2 二项逻辑斯谛回归模型78

6.1.3 模型参数估计79

6.1.4 多项逻辑斯谛回归79

6.2 最大熵模型80

6.2.1 最大熵原理80

6.2.2 最大熵模型的定义82

6.2.3 最大熵模型的学习83

6.2.4 极大似然估计87

6.3 模型学习的最优化算法88

6.3.1 改进的迭代尺度法88

6.3.2 拟牛顿法91

本章概要92

继续阅读93

习题94

参考文献94

第7章 支持向量机95

7.1 线性可分支持向量机与硬间隔最大化95

7.1.1 线性可分支持向量机95

7.1.2 函数间隔和几何间隔97

7.1.3 间隔最大化99

7.1.4 学习的对偶算法103

7.2 线性支持向量机与软问隔最大化108

7.2.1 线性支持向量机108

7.2.2 学习的对偶算法110

7.2.3 支持向量113

7.2.4 合页损失函数113

7.3 非线性支持向量机与核函数115

7.3.1 核技巧115

7.3.2 正定核118

7.3.3 常用核函数122

7.3.4 非线性支持向量分类机123

7.4 序列最小最优化算法124

7.4.1 两个变量二次规划的求解方法125

7.4.2 变量的选择方法128

7.4.3 SMO算法130

本章概要131

继续阅读133

习题134

参考文献134

第8章 提升方法137

8.1 提升方法AdaBoost算法137

8.1.1 提升方法的基本思路137

8.1.2 AdaBoost算法138

8.1.3 AdaBoost的例子140

8.2 AdaBoost算法的训练误差分析142

8.3 AdaBoost算法的解释143

8.3.1 前向分步算法144

8.3.2 前向分步算法与AdaBoost145

8.4 提升树146

8.4.1 提升树模型147

8.4.2 提升树算法147

8.4.3 梯度提升151

本章概要152

继续阅读153

习题153

参考文献153

第9章 EM算法及其推广155

9.1 EM算法的引入155

9.1.1 EM算法155

9.1.2 EM算法的导出158

9.1.3 EM算法在非监督学习中的应用160

9.2 EM算法的收敛性160

9.3 EM算法在高斯混合模型学习中的应用162

9.3.1 高斯混合模型162

9.3.2 高斯混合模型参数估计的EM算法163

9.4 EM算法的推广166

9.4.1 F函数的极大-极大算法166

9.4.2 GEM算法168

本章概要169

继续阅读170

习题170

参考文献170

第10章 隐马尔可夫模型171

10.1 隐马尔可夫模型的基本概念171

10.1.1 隐马尔可夫模型的定义171

10.1.2 观测序列的生成过程174

10.1.3 隐马尔可夫模型的3个基本问题174

10.2 概率计算算法174

10.2.1 直接计算法175

10.2.2 前向算法175

10.2.3 后向算法178

10.2.4 一些概率与期望值的计算179

10.3 学习算法180

10.3.1 监督学习方法180

10.3.2 Baum-Welch算法181

10.3.3 Baum-Welch模型参数估计公式183

10.4 预测算法184

10.4.1 近似算法184

10.4.2 维特比算法184

本章概要187

继续阅读188

习题188

参考文献189

第11章 条件随机场191

11.1 概率无向图模型191

11.1.1 模型定义191

11.1.2 概率无向图模型的因子分解193

11.2 条件随机场的定义与形式194

11.2.1 条件随机场的定义194

11.2.2 条件随机场的参数化形式195

11.2.3 条件随机场的简化形式197

11.2.4 条件随机场的矩阵形式198

11.3 条件随机场的概率计算问题199

11.3.1 前向-后向算法199

11.3.2 概率计算200

11.3.3 期望值的计算201

11.4 条件随机场的学习算法201

11.4.1 改进的迭代尺度法202

11.4.2 拟牛顿法205

11.5 条件随机场的预测算法206

本章概要208

继续阅读209

习题209

参考文献210

第12章 统计学习方法总结211

附录A 梯度下降法217

附录B 牛顿法和拟牛顿法219

附录C 拉格朗日对偶性225

索引229