课程总纲 · 17 个单元 · 164 个知识点
信息论
从熵、互信息与典型序列出发，学习数据压缩、信道容量和率失真，进一步探索统计推断、通用编码及网络信息论。
章节与知识点
按 Cover 与 Thomas《信息论基础（原书第 2 版）》的 17 章及目录节次组织。前半部建立信息度量与编码理论，后半部延伸到统计学、复杂度、多用户通信和投资组合的数学模型。
-
第 1 章 绪论与概览
章节框架从压缩与通信的基本问题出发，认识信息论与统计、计算及投资理论的联系。
《信息论基础（原书第 2 版）》第 1 章，印刷页 p.1 起；目录 PDF 第 12-15 页。本章目录未列编号节；“本书概览”据正文印刷第 3 页（PDF 第 18 页）的未编号标题。
- 本书概览
印刷页 p.3 起。围绕熵和互信息建立后续各章的阅读线索。
-
第 2 章 熵、相对熵与互信息
章节框架建立离散信息量的基本定义，以链式法则和不等式比较信息的变化。
《信息论基础（原书第 2 版）》第 2 章，印刷页 p.7 起；目录 PDF 第 12-15 页。
- 2.1 熵
印刷页 p.7 起。用概率分布描述随机结果的不确定性。
- 2.2 联合熵与条件熵
印刷页 p.9 起。比较共同观测与已知条件下的不确定性。
- 2.3 相对熵与互信息
印刷页 p.10 起。区分分布差异与变量之间共享的信息。
- 2.4 熵与互信息的关系
印刷页 p.11 起。在同一组随机变量上联系几种信息量。
- 2.5 熵、相对熵与互信息的链式法则
印刷页 p.12 起。将多变量信息量拆分为逐步增加的贡献。
- 2.6 Jensen 不等式及其结果
印刷页 p.13 起。用凸性建立信息量的基本估计。
- 2.7 对数和不等式及其应用
印刷页 p.17 起。通过对数和比较概率分布。
- 2.8 数据处理不等式
印刷页 p.18 起。考察加工观测数据对信息量的限制。
- 2.9 充分统计量
印刷页 p.19 起。理解统计量何时保留关于参数的信息。
- 2.10 费诺不等式
印刷页 p.20 起。联系估计错误与剩余不确定性。
-
第 3 章 渐近均分性
章节框架通过长序列的典型行为理解渐近压缩。
《信息论基础（原书第 2 版）》第 3 章，印刷页 p.32 起；目录 PDF 第 12-15 页。
- 3.1 渐近均分性定理
印刷页 p.32 起。理解长样本序列的平均信息量。
- 3.2 AEP 的推论：数据压缩
印刷页 p.34 起。把典型序列的性质用于压缩分析。
- 3.3 高概率集与典型集
印刷页 p.35 起。比较概率质量集中区域与典型性条件。
-
第 4 章 随机过程的熵率
章节框架由单个随机变量转向序列，考察相关性对平均信息量的影响。
《信息论基础（原书第 2 版）》第 4 章，印刷页 p.41 起；目录 PDF 第 12-15 页。
- 4.1 马尔可夫链
印刷页 p.41 起。回顾以当前状态描述转移的随机模型。
- 4.2 熵率
印刷页 p.42 起。研究单位时间的渐近不确定性。
- 4.3 例子：加权图上随机游动的熵率
印刷页 p.44 起。在图上的随机过程里计算熵率。
- 4.4 热力学第二定律
印刷页 p.46 起。考察熵与随机演化之间的联系。
- 4.5 马尔可夫链的函数
印刷页 p.48 起。研究从状态函数得到的观测序列。
-
第 5 章 数据压缩
章节框架从码字长度约束到具体构造，学习无损压缩的限度与方法。
《信息论基础（原书第 2 版）》第 5 章，印刷页 p.59 起；目录 PDF 第 12-15 页。
- 5.1 有关编码的几个例子
印刷页 p.59 起。通过实例区分编码方式及解码条件。
- 5.2 Kraft 不等式
印刷页 p.61 起。用长度约束判断前缀码的可构造性。
- 5.3 最优码
印刷页 p.62 起。以平均码长为目标讨论编码选择。
- 5.4 最优码长的界
印刷页 p.64 起。比较最短平均描述长度与熵。
- 5.5 惟一可译码的 Kraft 不等式
印刷页 p.66 起。把码长限制扩展到惟一可译码。
- 5.6 赫夫曼码
印刷页 p.67 起。学习由符号概率构造变长码。
- 5.7 有关赫夫曼码的评论
印刷页 p.68 起。考察编码构造的性质与使用条件。
- 5.8 赫夫曼码的最优性
印刷页 p.70 起。理解最优平均码长的证明思路。
- 5.9 Shannon-Fano-Elias 编码
印刷页 p.72 起。把累积概率用于码字构造。
- 5.10 香农码的竞争最优性
印刷页 p.74 起。从码长比较的角度理解编码性能。
- 5.11 由均匀硬币投掷生成离散分布
印刷页 p.76 起。以公平随机比特模拟指定分布。
-
第 6 章 博弈与数据压缩
章节框架通过重复下注模型连接信息、增长率与压缩。
《信息论基础（原书第 2 版）》第 6 章，印刷页 p.91 起；目录 PDF 第 12-15 页。
- 6.1 赛马
印刷页 p.91 起。建立概率结果与财富增长的模型。
- 6.2 博弈与边信息
印刷页 p.94 起。考察额外观测对策略的影响。
- 6.3 相依的赛马及其熵率
印刷页 p.95 起。把时间相关性纳入长期分析。
- 6.4 英文的熵
印刷页 p.96 起。用语言序列说明信息量的估计问题。
- 6.5 数据压缩与博弈
印刷页 p.98 起。比较编码与下注中的概率模型。
- 6.6 英文的熵的博弈估计
印刷页 p.99 起。通过预测过程理解熵的经验估计。
-
第 7 章 信道容量
章节框架以离散信道为对象，连接互信息、编码和可靠传输极限。
《信息论基础（原书第 2 版）》第 7 章，印刷页 p.106 起；目录 PDF 第 12-15 页。
- 7.1 信道容量的几个例子
印刷页 p.107 起。通过具体信道认识容量的含义。
- 7.1.1 无噪声二元信道
印刷页 p.107 起。从无噪声模型理解可靠传输。
- 7.1.2 无重叠输出的有噪声信道
印刷页 p.107 起。区分输出随机性与输入可辨识性。
- 7.1.3 有噪声的打字机信道
印刷页 p.107 起。用离散输入输出关系分析混淆。
- 7.1.4 二元对称信道
印刷页 p.108 起。考察对称翻转错误的通信模型。
- 7.1.5 二元擦除信道
印刷页 p.108 起。比较擦除与不可识别的传输错误。
- 7.2 对称信道
印刷页 p.109 起。利用信道的对称结构分析容量。
- 7.3 信道容量的性质
印刷页 p.110 起。整理容量随模型变化的基本性质。
- 7.4 信道编码定理预览
印刷页 p.110 起。先认识速率、错误概率与容量的关系。
- 7.5 定义
印刷页 p.111 起。明确编码、解码及可靠通信的表述。
- 7.6 联合典型序列
印刷页 p.112 起。用输入输出的联合典型性分析解码。
- 7.7 信道编码定理
印刷页 p.114 起。研究容量以内可靠传输的可达性。
- 7.8 零误差码
印刷页 p.118 起。区分零错误要求与渐近小错误要求。
- 7.9 费诺不等式与编码定理的逆定理
印刷页 p.118 起。从估计误差推导通信速率限制。
- 7.10 信道编码定理的逆定理中的等式
印刷页 p.120 起。检查逆定理推导中的取等条件。
- 7.11 汉明码
印刷页 p.121 起。通过具体纠错码认识编码结构。
- 7.12 反馈容量
印刷页 p.124 起。考察接收反馈对通信的作用。
- 7.13 信源信道分离定理
印刷页 p.125 起。联系压缩与信道编码两个环节。
-
第 8 章 微分熵
章节框架把信息量推广到连续变量，辨明微分熵与离散熵的联系。
《信息论基础（原书第 2 版）》第 8 章，印刷页 p.140 起；目录 PDF 第 12-15 页。
- 8.1 定义
印刷页 p.140 起。建立连续分布的微分熵概念。
- 8.2 连续随机变量的 AEP
印刷页 p.141 起。研究连续样本的渐近典型行为。
- 8.3 微分熵与离散熵的关系
印刷页 p.142 起。通过离散化理解两种熵的区别。
- 8.4 联合微分熵与条件微分熵
印刷页 p.143 起。讨论多个连续变量的共同信息量。
- 8.5 相对熵与互信息
印刷页 p.144 起。在连续情形比较分布与变量依赖。
- 8.6 微分熵、相对熵以及互信息的性质
印刷页 p.145 起。核对连续信息量的运算与不等式。
-
第 9 章 高斯信道
章节框架在噪声与功率约束下分析连续信道及其扩展。
《信息论基础（原书第 2 版）》第 9 章，印刷页 p.150 起；目录 PDF 第 12-15 页。
- 9.1 高斯信道：定义
印刷页 p.151 起。明确加性高斯噪声下的通信模型。
- 9.2 高斯信道编码定理的逆定理
印刷页 p.153 起。利用信息量限制可实现的传输速率。
- 9.3 带宽有限信道
印刷页 p.155 起。考察带宽限制下的连续通信。
- 9.4 并联高斯信道
印刷页 p.157 起。研究多个信道之间的功率分配。
- 9.5 高斯彩色噪声信道
印刷页 p.158 起。将噪声相关性纳入容量分析。
- 9.6 带反馈的高斯信道
印刷页 p.160 起。考察反馈存在时的高斯通信模型。
-
第 10 章 率失真理论
章节框架允许重构误差后，研究描述速率与失真之间的权衡。
《信息论基础（原书第 2 版）》第 10 章，印刷页 p.172 起；目录 PDF 第 12-15 页。
- 10.1 量化
印刷页 p.172 起。从近似表示引出有损压缩问题。
- 10.2 定义
印刷页 p.173 起。明确失真约束和率失真函数。
- 10.3 率失真函数的计算
印刷页 p.175 起。通过具体信源练习速率与失真的分析。
- 10.3.1 二元信源
印刷页 p.175 起。分析离散信源的有损描述。
- 10.3.2 高斯信源
印刷页 p.177 起。考察高斯模型下的失真约束。
- 10.3.3 独立高斯随机变量的同步描述
印刷页 p.178 起。研究多个独立分量的联合压缩。
- 10.4 率失真定理的逆定理
印刷页 p.180 起。推导给定失真下所需速率的下界。
- 10.5 率失真函数的可达性
印刷页 p.182 起。理解满足失真要求的编码存在性。
- 10.6 强典型序列与率失真
印刷页 p.186 起。利用更细的典型性条件分析有损编码。
- 10.7 率失真函数的特征
印刷页 p.188 起。研究率失真函数的结构性质。
- 10.8 信道容量与率失真函数的计算
印刷页 p.189 起。认识信息优化问题的数值计算路径。
-
第 11 章 信息论与统计学
章节框架以经验分布、大偏差和假设检验连接信息论与统计推断。
《信息论基础（原书第 2 版）》第 11 章，印刷页 p.198 起；目录 PDF 第 12-15 页。
- 11.1 型方法
印刷页 p.198 起。按经验分布组织离散样本序列。
- 11.2 大数定律
印刷页 p.203 起。从型的角度观察样本频率的集中。
- 11.3 通用信源编码
印刷页 p.204 起。考虑分布未知时的压缩问题。
- 11.4 大偏差理论
印刷页 p.205 起。研究偏离典型行为的概率衰减。
- 11.5 Sanov 定理的几个例子
印刷页 p.207 起。将经验分布的大偏差用于具体问题。
- 11.6 条件极限定理
印刷页 p.209 起。分析附加条件下的渐近分布。
- 11.7 假设检验
印刷页 p.213 起。以错误概率比较统计决策规则。
- 11.8 Chernoff-Stein 引理
印刷页 p.216 起。联系相对熵与检验错误的指数。
- 11.9 Chernoff 信息
印刷页 p.218 起。考察另一种检验误差的度量。
- 11.10 费希尔信息与 Cramér-Rao 不等式
印刷页 p.222 起。连接参数敏感性与估计误差下界。
-
第 12 章 最大熵
章节框架在已知约束下选择分布，并考察这一原则在随机过程中的应用。
《信息论基础（原书第 2 版）》第 12 章，印刷页 p.233 起；目录 PDF 第 12-15 页。
- 12.1 最大熵分布
印刷页 p.233 起。以约束条件界定熵最大化问题。
- 12.2 几个例子
印刷页 p.234 起。通过分布实例理解约束的作用。
- 12.3 奇异最大熵问题
印刷页 p.236 起。考察通常最大熵方法的边界情形。
- 12.4 谱估计
印刷页 p.236 起。从观测约束研究过程的频谱。
- 12.5 高斯过程的熵率
印刷页 p.237 起。将连续信息量用于高斯随机过程。
- 12.6 Burg 最大熵定理
印刷页 p.238 起。联系最大熵原则与过程建模。
-
第 13 章 通用信源编码
章节框架在不预先知道信源分布时，研究编码方法及其渐近性能。
《信息论基础（原书第 2 版）》第 13 章，印刷页 p.244 起；目录 PDF 第 12-15 页。
- 13.1 通用码与信道容量
印刷页 p.244 起。比较通用描述与信息传输的界限。
- 13.2 二元序列的通用编码
印刷页 p.247 起。从二元样本理解未知分布的编码。
- 13.3 算术编码
印刷页 p.249 起。以区间细分表示符号序列。
- 13.4 Lempel-Ziv 编码
印刷页 p.251 起。用重复结构构造自适应压缩方法。
- 13.4.1 带滑动窗口的 Lempel-Ziv 算法
印刷页 p.252 起。在有限窗口中利用已出现的片段。
- 13.4.2 树结构 Lempel-Ziv 算法
印刷页 p.252 起。通过字典结构组织重复片段。
- 13.5 Lempel-Ziv 算法的最优性
印刷页 p.253 起。考察压缩性能的渐近保证。
- 13.5.1 带滑动窗口的 Lempel-Ziv 算法
印刷页 p.253 起。分析窗口方法的渐近码长。
- 13.5.2 树结构 Lempel-Ziv 压缩的最优性
印刷页 p.255 起。研究树结构方法的压缩界限。
-
第 14 章 科尔莫戈罗夫复杂度
章节框架用最短程序描述单个对象，比较算法复杂度与概率信息量。
《信息论基础（原书第 2 版）》第 14 章，印刷页 p.264 起；目录 PDF 第 12-15 页。
- 14.1 计算模型
印刷页 p.265 起。明确算法描述所依赖的计算框架。
- 14.2 科尔莫戈罗夫复杂度：定义与几个例子
印刷页 p.265 起。通过最短描述长度刻画对象复杂度。
- 14.3 科尔莫戈罗夫复杂度与熵
印刷页 p.269 起。比较单个对象与随机信源的描述量。
- 14.4 整数的科尔莫戈罗夫复杂度
印刷页 p.271 起。以整数为对象讨论简短描述。
- 14.5 算法随机序列与不可压缩序列
印刷页 p.271 起。从不可压缩性理解算法随机性。
- 14.6 普适概率
印刷页 p.273 起。以通用描述构造概率视角。
- 14.7 科尔莫戈罗夫复杂度
印刷页 p.275 起。进一步考察复杂度的基本性质。
- 14.8 Ω
印刷页 p.276 起。认识与程序停机相关的概率对象。
- 14.9 万能博弈
印刷页 p.277 起。将算法描述用于预测与博弈。
- 14.10 奥克姆剃刀
印刷页 p.278 起。从描述长度理解简洁模型的选择。
- 14.11 科尔莫戈罗夫复杂度与普适概率
印刷页 p.279 起。联系程序长度与通用概率分配。
- 14.12 科尔莫戈罗夫充分统计量
印刷页 p.283 起。区分数据中的结构与剩余描述。
- 14.13 最短描述长度准则
印刷页 p.285 起。以编码长度比较统计模型。
-
第 15 章 网络信息论
章节框架由单用户扩展到多用户通信、相关信源及边信息问题。
《信息论基础（原书第 2 版）》第 15 章，印刷页 p.291 起；目录 PDF 第 12-15 页。
- 15.1 高斯多用户信道
印刷页 p.292 起。通过高斯模型认识多用户通信结构。
- 15.1.1 单用户高斯信道
印刷页 p.292 起。回顾单用户模型作为比较基准。
- 15.1.2 m 个用户的高斯多接入信道
印刷页 p.293 起。讨论多个发送者共享接收端。
- 15.1.3 高斯广播信道
印刷页 p.294 起。讨论一个发送者面向多个接收端。
- 15.1.4 高斯中继信道
印刷页 p.294 起。考察辅助节点参与通信的模型。
- 15.1.5 高斯干扰信道
印刷页 p.295 起。考察不同通信链路间的相互影响。
- 15.1.6 高斯双程信道
印刷页 p.296 起。认识双向传输的信道结构。
- 15.2 联合典型序列
印刷页 p.296 起。为多变量通信分析准备典型性工具。
- 15.3 多接入信道
印刷页 p.299 起。研究多个输入共同决定输出的模型。
- 15.3.1 多接入信道容量区域的可达性
印刷页 p.301 起。理解联合速率的可实现范围。
- 15.3.2 对多接入信道容量区域的评述
印刷页 p.303 起。解释容量区域的结构与意义。
- 15.3.3 多接入信道容量区域的凸性
印刷页 p.304 起。考察不同通信策略的组合。
- 15.3.4 多接入信道的逆定理
印刷页 p.306 起。推导多用户传输速率的限制。
- 15.3.5 m 个用户的多接入信道
印刷页 p.309 起。把双用户分析扩展到多个用户。
- 15.3.6 高斯多接入信道
印刷页 p.309 起。在高斯模型中具体分析容量区域。
- 15.4 相关信源的编码
印刷页 p.312 起。利用相关性研究分布式压缩。
- 15.4.1 Slepian-Wolf 定理的可达性
印刷页 p.313 起。理解分离编码下的联合解码。
- 15.4.2 Slepian-Wolf 定理的逆定理
印刷页 p.316 起。推导相关信源编码的速率约束。
- 15.4.3 多信源的 Slepian-Wolf 定理
印刷页 p.317 起。扩展到多个相关信源。
- 15.4.4 Slepian-Wolf 编码定理的解释
印刷页 p.317 起。辨析相关性与分离编码的关系。
- 15.5 Slepian-Wolf 编码与多接入信道之间的对偶性
印刷页 p.318 起。比较分布式压缩与多用户传输。
- 15.6 广播信道
印刷页 p.319 起。研究共享输入面向不同接收者的问题。
- 15.6.1 广播信道的定义
印刷页 p.320 起。明确广播模型中的输入和多个输出。
- 15.6.2 退化广播信道
印刷页 p.321 起。考察输出之间具有退化关系的情形。
- 15.6.3 退化广播信道的容量区域
印刷页 p.321 起。理解退化条件下的可达速率组合。
- 15.7 中继信道
印刷页 p.324 起。研究中间节点辅助传输的作用。
- 15.8 具有边信息的信源编码
印刷页 p.326 起。考察解码端额外信息对压缩的帮助。
- 15.9 具有边信息的率失真
印刷页 p.329 起。把边信息纳入有损压缩分析。
- 15.10 一般多终端网络
印刷页 p.333 起。认识更一般的网络通信问题。
-
第 16 章 信息论与投资组合理论
章节框架在概率市场模型中考察对数增长、信息与长期策略。
《信息论基础（原书第 2 版）》第 16 章，印刷页 p.347 起；目录 PDF 第 12-15 页。
- 16.1 股票市场：一些定义
印刷页 p.347 起。建立投资组合及收益的数学模型。
- 16.2 对数最优投资组合的库恩-塔克特征
印刷页 p.349 起。利用约束优化刻画组合选择。
- 16.3 对数最优投资组合的渐近最优性
印刷页 p.350 起。研究重复投资下的长期增长性质。
- 16.4 边信息与增长率
印刷页 p.352 起。考察附加观测在模型中的价值。
- 16.5 平稳市场中的投资
印刷页 p.353 起。把时间结构纳入投资模型。
- 16.6 对数最优投资组合的竞争最优性
印刷页 p.355 起。在同一模型下比较策略表现。
- 16.7 万能投资组合
印刷页 p.356 起。研究不预知市场分布的组合策略。
- 16.7.1 有限期万能投资组合
印刷页 p.357 起。讨论有限观察期内的策略比较。
- 16.7.2 无限期万能投资组合
印刷页 p.362 起。考察长期极限中的组合性质。
- 16.8 Shannon-McMillan-Breiman 定理（广义渐近均分性质）
印刷页 p.366 起。将典型序列的思想推广到平稳过程。
-
第 17 章 信息论中的不等式
章节框架集中整理信息量与概率、估计及矩阵分析之间的不等式联系。
《信息论基础（原书第 2 版）》第 17 章，印刷页 p.375 起；目录 PDF 第 12-15 页。
- 17.1 信息论中的基本不等式
印刷页 p.375 起。回顾信息量比较中的基本工具。
- 17.2 微分熵
印刷页 p.376 起。整理连续信息量的相关估计。
- 17.3 熵与相对熵的界
印刷页 p.378 起。比较不确定性与分布差异的界限。
- 17.4 关于型的不等式
印刷页 p.380 起。用经验分布分析样本序列。
- 17.5 熵的组合界
印刷页 p.380 起。联系组合计数与信息量。
- 17.6 子集的熵率
印刷页 p.381 起。考察部分变量的信息量关系。
- 17.7 熵与费希尔信息
印刷页 p.383 起。联系不确定性与分布的局部变化。
- 17.8 熵幂不等式与布伦-闵可夫斯基不等式
印刷页 p.385 起。比较信息论和几何中的不等式结构。
- 17.9 有关行列式的不等式
印刷页 p.388 起。将信息量方法与矩阵量联系起来。
- 17.10 关于行列式的比值的不等式
印刷页 p.390 起。进一步研究矩阵行列式之间的比较。