information-theory

The repository contains the core knowledge of Information Theory and Coding, organized by knowledge points and can be used as a reference for teaching or studying.

本项目包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。

Content

Chapter	section	content
绪论	绪论	信息、消息和信号 \| 信息论研究的内容 \| 信息论发展历程&香农
信源	信源分类	输出的信号取值分类 \| 输出信号(符号间)的依赖关系
	信源数学模型	单符号离散无记忆信源 \| 多维离散无记忆信源 \| 离散无记忆信源的扩展源
	自信息	信息量 \| 自信息定义 \| 联合自信息 \| 条件自信息
	信息熵	信息熵的物理含义
	联合熵和条件熵	联合熵 \| 条件熵
	熵速率	熵速率 \| 各类熵的关系
	序列熵	离散无记忆信源的序列熵 \| 离散有记忆信源的序列熵
	极限熵和冗余度	极限熵 \| 冗余度

离散信源的无失真编码	编码的基本概念	信源编码 \| 分类 \| 前缀条件
	无失真信源编码	无失真定长编码定理 \| 无失真变长编码定理 \| 无失真信源编码定理
	霍夫曼编码	最佳变长编码 \| 霍夫曼编码 \| L-Z编码 \| 总结

信源的限失真编码定理	互信息	有（限）失真信源编码 \| 互信息定义 \| 互信息的性质
	平均互信息	平均互信息 \| 平均互信息与各类熵的关系 \| 维拉图 \| 条件熵 \| 平均互信息的性质
	失真的概念和定义	信息率失真函数 \| 限失真信源编码的必要性 \| 失真度的定义 \| 系统模型
	失真函数	失真函数 \| 失真矩阵 \| 平均失真
	信息率失真函数	信息率失真函数 \| 信道容量 \| 平均互信息再讨论

信息率失真函数与信源的限失真编码定理	R(D) 的定义域	连续信源的熵 \| R(D) 的定义域
	信息率失真函数的性质	信息率失真函数的性质 \| 实现限失真信源编码的方式
	离散信源 R(D)计算	离散信源 R(D)计算 \| 二元对称信源的 R(D) 函数 \| 高斯信源的 R(D)函数 \| 限失真信源编码定理

信道	信道的定义和分类	狭义信道 \| 广义信道
	信道的数学模型	广义信道的数学模型 \| 连续信道的数学模型 \| 离散信道数学模型 \| 半连续信道
	恒参信道特性及其对信号传输的影响	无失真信道满足的条件 \| 时延特性 \| 群时延特性 \| 带通信号的复包络无失真 \| 信道不理想对输出信号的影响
	随参信道特性	随参信道数学模型的建立 \| 随参信道对信号传输的影响 \| 多径随参信道的时延扩展与相干带宽 \| 总结
	移动信道的多普勒扩展及相干时间	多普勒扩展 \| 信道的相干时间 Tc 和多普勒频率扩展 \| 多普勒扩展对衰落的影响 \| 同时考虑随参信道的多径时延扩展及多普勒扩展对衰落的影响 \| 抗衰落的方案 \| 总结
	分集	分集的概念 \| 分集的方法 \| 路径合并方式 \| Alamouti空时分组码(STBC)简介
	信道容量	信道容量的定义 \| 三种特殊信道的容量 \| 典型信道的信道容量 \| 信源与信道的匹配

信道编码	信道编码	信道编码的基本概念
	基本线性分组码与性能参数	线性分组码(n,k)定义 \| 信道编码性能参数 \| 基本线性分组码 \| 差错控制类型对信道编码的要求 \| 有限域运算、矩阵运算
	线性分组码	基本概念 \| 编码-生成矩阵 \| 检错-监督矩阵
	系统码的编译码	线性分组码的编码器 \| 线性分组码的译码器 \| 汉明码 \| 总结

循环码	循环码	循环码的特点 \| 基本概念 \| 循环码的多项式描述
	循环码的编码	循环码的编码 \| 循环码的伴随多项式译码 \| 循环冗余校验 (Cyclic Redundancy Check, CRC)
	循环码生成多项式与生成矩阵	循环码生成多项式与生成矩阵 \| 循环码的监督 (校验) 矩阵
	BCH 码和RS 码	BCH码-循环码 \| RS码 \| 总结

卷积码	卷积码基础	卷积码的概念 \| 卷积码编码器的结构 \| 卷积编码器表示
	卷积译码	最大似然译码 \| 卷积译码-维特比卷积译码算法
	交织技术	突发错误 \| 抗突发错的有效手段——交织 \| 交织器的三个重要参数

正交码和伪随机序列	时变多径信道的信道模型	时变多径信道的信道模型 \| 抽头延迟线信道模型
	正交编码	正交编码的基本概念 \| 正交沃尔什函数
	伪随机码	伪随机序列的概念 \| 伪随机序列的产生
	m 序列	线性反馈移位寄存器的特征多项式 \| m序列产生器 \| m序列的性质

ChangeLog

v2.0 Completed all chapter updates, corrected some formatting issues, officially open version 2.0 230224
v1.9 Completed chapter 9 update 230224
v1.8 Completed chapter 8 update 230219
v1.7 Completed chapter 7 update 230218
v1.6 Completed chapter 6 update 230216
v1.5 Completed chapter 5 update 230214
v1.4 Completed chapter 4 update 230207
v1.3 Completed chapter 3 update 230207
v1.2 Completed distortionless coding of discrete sources chapter update 230205

v1.1 Completed source chapter update 230204
v1.0 Completed introduction chapter update 230201

Reference

[1] Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.

[2] Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.

[3] 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.

[4] 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

Tips

如果存在疑问或发现错误，欢迎提Issues交流订正。
如果遇到图片无法加载的情况，可以考虑使用代理，或者访问博客网站。
如果发现Tex数学公式展示异常，可以安装插件GitHub Math Display，安装后启用插件，刷新网页即可。也可以下载后本地软件打开。

More

扫描下方二维码关注公众号：AIShareLab

AIShareLab，一个关注CV、AI、区块链、Web开发、硬件开发、5G通信等领域的热“AI”分享的社群，微信搜索公众号 AIShareLab 一起交流更多相关知识，前沿算法，Paper解读，项目源码，面经总结。

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

About

The repository contains the core knowledge of Information Theory and Coding, organized by knowledge points and can be used as a reference for teaching or studying.

GNU General Public License v3.0