澳洲国立大学COMP2610信息论研究了信息表达和传输的基本限制。课程介绍了信息论的基本概念，如概率、信息和熵，及其在数据压缩、编码、通信、模式识别和概率推理领域的应用。为了便于同学考前复习，我们针对这门课的考点进行了梳理和总结，详情如下。

一、COMP2610 Final Exam知识重点

1、概率论和贝叶斯法则；贝叶斯推理；概率分布

2、熵；KL散度和互信息

3、基本不等式；概率不等式及应用

4、系综、典型性和AEP

5、压缩；统一编码

6、信源编码定理

7、无损压缩的符号代码

8、符号码的信源编码定理

9、区间和算术编码

10、Lempel-Ziv编码

11、噪声信道；噪声信道编码定理

12、计算信道容量；汉明码

二、COMP2610 Final Exam评估重点

考试将重点评估同学的以下知识和技能：

1、理解并应用信息论中的基本概念，如概率、熵、信息量及其相互关系。

2、了解数据压缩的原理。

3、计算随机变量的熵和互信息。

4、实现和分析基本的编码和压缩算法。

5、理解信息理论原理和贝叶斯推理在数据建模和模式识别中的关系。

6、理解一些量化压缩、通信和推理的基本限制的关键定理和不等式。

7、了解噪声信道通信的基本概念。

完成澳洲国立大学COMP2610课程后，同学将具备理解数据压缩、存储和通信问题所需的背景知识，并能进一步学习统计推断、机器学习和信息工程方面的高级课程。