复习资料 | 信息理论基础备考宝典
- 2026-11-06 14:41:13
+ 电气学院 +
信息理论基础
期末备考资料
你
好
同
学
本期为大家带来信息理论基础攻坚指导，帮助大家一站理清复习脉络。这门课作为信息与通信方向的入门基石课，即将在11月10日迎来期末考。本次我们整理思维导图、优质笔记、备考经验、重难点整理四个方面入手。
思维导图
知识思维导图，从信源与信息熵、信道与信道容量，到信源编码与信道编码一目了然。
优秀笔记
涓流汇海，跬步致远。来看看通信2401 周煜甜 和 通信2403李楠欣 同学整理的笔记
经验分享
善学者尽其理，善行者究其难。一起听听通信2403 李楠欣同学对信息理论基础学习的独到见解吧~
通信2403李楠欣
信息论基础这门课，核心是理解基础概念、学会运用各类公式。复习时要重点掌握香农三大定理，分清信息熵、条件熵、互信息、信道容量等定义，区分不同公式的适用条件。复习方法就是认真完成课后作业习题，在做题过程中梳理知识点即可。看懂题目对应的模型，根据题意灵活选用公式，做到学以致用。
重难点整理
本次推送文末我们从重难点整理展开来讲，帮助大家从纷繁杂乱的知识点中理清思路。
通信2401周煜甜 同学指出：
信息论主要内容有六章，整体逻辑较清晰，以信息怎么度量 → 信源本身的特性与压缩 → 信道传输极限 → 无失真信源编码 → 有噪信道纠错编码的脉络进行，可以顺着这条主线串联知识点进行复习。
第一章绪论是对信息有关概念的介绍，核心就是理解信息的定义——用来描述事物的不确定性，要了解通信系统模型的5个部分。还要注意两种不同编码的目标——信源编码的目的是压缩冗余度、提高有效性；信道编码的目的是提升可靠性。这是之后第五六章学习的基础。
第二章信息的度量是整本书较为重要的一章。需要掌握自信息、互信息、熵、条件熵、联合熵的相关公式。这一章公式较多，在记忆时可以先理解每一个公式是怎么来的和它们之间的关系帮助记忆。做题时可以先把各个概率梳理清楚，明确了题目要求什么，再套公式。
第三章信源及信源熵，核心是区分不同类型的信源。离散无记忆信源较为简单，马尔可夫信源是这章的重点与难点，既要知道马尔可夫如何计算，也要会画其状态转移图。在画状态转移图时，可以先把状态A转移到下一个状态的所有情况都画出来，再去画状态B的情况，避免遗漏。
第四章信道及信道容量研究信道问题。这一章首先要掌握信道矩阵，分清楚前向概率和后向概率。然后要掌握几类典型信道的信道容量如何计算。还要理解香农连续信道公式 ，注意单位dB与数字之间的换算关系。
第五章无失真信源编码，要先分清码的分类：分组码/非分组码，奇异码、非奇异码、唯一可译码、即时码。要会用树图来判读是否是即时码；用Kraft不等式、McMillan不等式判断唯一可译码是否存在。三种编码方法：香农编码、费诺编码、霍夫曼编码中，霍夫曼编码是重点，做题步骤是：每次合并概率最小的两个符号、画编码树、分配0/1，最后算平均码长、编码效率。
第六章有噪信道编码。首先明确两个译码准则：最佳译码规则、极大似然译码规则，平均错误概率的计算一般会在这里考察。然后是线性分组码的生成矩阵G、校验矩阵H，伴随式 S及它们的关系。
计算题题型较固定，熵与互信息计算、信道容量计算、霍夫曼编码、线性分组码考的概率较大，大家在复习时可以重点看课后的作业题以及老师发的测试题，还可以结合思维导图理清每一章的重点公式及概念。
结语
格物穷微明至理，抽丝剥茧见真章。四部分刚好覆盖信息理论基础期末全流程复习。只要循序渐进梳理考点，踏实完成真题训练，就能平稳通过期末考核。那么本期分享到这里就结束了，感谢以上同学的热心分享和悉心整理。
祝大家在信息理论基础期末考试中都能取得理想成绩。
end
资料整理 | 王欣滢
编辑排版 | 黄劭旸
审核 | 张欣烨 崔立鑫
