信息论基础PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概论1

1.1 信息论的基本内容——信息理论所关注的信息特征1

1.2 信息论简史4

1.3 关于控制论、信息论与系统论5

1.4 信息论的应用6

1.5 有关的常用不等式8

习题110

第2章 信息的度量与熵11

2.1 自信息11

2.2 熵、条件熵、联合熵及其性质15

2.3 互信息与相对熵21

2.4 凸函数与熵的凸性27

2.5 微分熵33

2.5.1 连续信源的微分熵34

2.5.2 联合微分熵、条件微分熵36

2.5.3 连续信源的相对熵与互信息40

2.5.4 具有最大微分熵的连续信源——最大熵原理41

2.5.5 信息功率49

习题252

第3章 随机过程的信息量与熵率、渐近等分性质58

3.1 随机过程的基本概念58

3.2 熵率67

3.3 冗余度与相对冗余度69

3.4 数据处理不等式71

3.5 平稳Gauss随机过程的熵率73

3.6 渐近等分性质76

3.7 渐近等分性质在数据压缩中的应用——信源编码定理79

3.7.1 无记忆信源的等长编码定理80

3.7.2 一般离散信源的等长编码定理81

习题384

第4章 信源编码88

4.1 等长编码88

4.2 变长编码91

4.2.1 Kraft不等式93

4.2.2 离散信源的变长编码定理96

4.3 Huffman编码100

4.4 算术码107

4.4.1 Shannon码107

4.4.2 Shannon-Fano-Elias码109

4.4.3 算术码111

4.5 通用信源编码——LZ码116

习题4118

第5章 通信信道与信道容量122

5.1 离散无记忆信道与信道容量122

5.2 信道容量的计算126

5.2.1 按定义计算的方法126

5.2.2 拉格朗日乘子法132

5.2.3 特征方程法138

5.2.4 信道容量的迭代算法146

5.3 信道的组合149

5.3.1 积信道或平行组合信道149

5.3.2 串联信道或级联信道151

5.3.3 和信道或并列信道154

5.4 信道编码定理158

5.4.1 几个有关概念158

5.4.2 联合典型序列159

5.4.3 信道编码定理161

5.5 带反馈信道的信道容量168

5.6 联合信源-信道编码定理170

5.7 信道编码实例172

5.8 Gauss信道173

5.8.1 加性噪声的信道模型与信道容量173

5.8.2 Gauss信道编码定理181

习题5184

第6章 信息几何学194

6.1 微分流形194

6.1.1 切向量与切空间197

6.1.2 Riemann度量199

6.1.3 仿射联络200

6.2 概率分布可作为流形201

6.2.1 概率分布族构成一般空间202

6.2.2 Fisher度量203

6.2.3 α-联络208

6.2.4 对偶联络与对偶平坦空间211

6.3 距离与伪距离215

6.3.1 散度215

6.3.2 概率分布流形S的测地线216

6.3.3 典型散度与勾股定理218

6.4 时间序列的信息几何学220

6.4.1 系统空间L的Fisher度量与α-联络221

6.4.2 系统空间L的α-散度222

习题6224

习题提示与答案227

参考文献238