信息论与编码理论教学大纲

Coding and Information Theory

【课程编号】

【学分】4.5          【参考学时】72

【编写】             【审    核】

（一）授课对象

四年制本科信息与计算科学专业。

（二）课程的性质与地位

本课程是信息科学类专业的一门学科基础必修课。在信息社会，信息日显重要，信息科学迅猛发展，学好本课程可为学习任何一门信息类课程打好良好的基础。

本课程的先修课程：概率论、高等代数、近世代数以及计算机理论的基本常识。它是所有信息类课程的基础。

（三）课程教学的目标

   通过本课程的学习，学生应达到如下要求：了解信息论的形成和发展过程，理解信息、消息的概念及关系；了解通信系统的模型及各部分的作用。掌握离散信源的信息量（熵、条件熵等）的计算；幅度连续的单个符号信源的信息量和熵的计算；理解熵的意义，熵、条件熵、互信息等概念之间的关系；了解熵的性质和意义；掌握最大熵定理的结论；理解冗余度的定义。掌握离散单个符号的对称信道、半对称信道的信道容量计算，连续单符号的信道容量的计算； 理解信道容量的意义和理论价值；了解相关概念、信道的分类和表示参数；掌握连续单符号加性信道的信道容量的计算。会求平均失真，理解信息率失真函数的定义。

    掌握信息率失真函数的性质。会求信息率失真函数的极值以及对应的编码器转移概率矩阵。

    理解编码的定义，了解码的分类，能判断即时码与唯一可译码，理解唯一可译码的充分与必要条件-Kraft不等式，并能按码长要求编出即时码；理解无失真编码的定长与变长编码定理；

    了解限失真编码定理；掌握哈夫曼编码、费诺编码与算术编码等编码方法，了解香农编码、游程编码、预测编码等编码方法。了解差错与差错控制系统的分类，会求固定信道下码的平均差错概率。理解用随机编码证明信道编码定理的方法。掌握码空间的概念，以及线性代数、近世代数的基本理论背景。掌握纠错编译码的基本原理，熟悉最优译码与最大似然译码的方法与二者的区别。对线性分组码，首先要知道码的生成矩阵与校验矩阵的概念及其作用，会通过它们判断码集；会用伴随式与标准阵列译码；能对码的检错与纠错能力有一个正确的判断；了解完备码的概念；掌握循环码的编码方法与译码方法；最后掌握汉明码的结构、了解BCH码、卷积码的结构。

（四）教学内容

1. 绪论

（1）信息论的形成和发展；

（2）通信系统的模型。

重点：通信系统的概率模型。

难点：通信系统的概率模型。

2. 信源与信息熵

（1）信源的描述与分类—无记忆信源、有记忆信源、马尔可夫信源；

（2）离散信源熵和互信息，熵的性质；

（3）连续信源的熵和互信息，最大熵定理；

（4）冗余度。  

重点：无记忆信源的概率模型、离散信源熵及相关概念及计算。

难点：马尔可夫信源的描述、条件熵与互信息的理解与计算。

3. 信道与信道容量

（1）信道的分类与表示参数；

（2）单个符号的信道及其容量，离散序列信道及其容量；

（3）连续信道及其容量。

重点：离散序列信道及其信道容量的概念、简单信道容量的计算。

难点：理解离散的与连续的信道的信道容量的概念。

4．信息率失真函数

（1）平均失真和信息率失真函数R(D)；

（2）离散信源和连续信源R(D)的计算。

重点：求平均失真，判断信息率失真函数的极值。

难点：信息率失真函数的理解与计算。

5. 信源编码

（1）编码的定义；

（2）无失真信源编码理论：定长编码定理与变长编码定理；

（3）限失真信源编码理论；

（4）几种常见信源编码方法（游程编码、算术编码等）简介。

重点：编码的定义、即时码的判断、定（变）长编码定理、哈夫曼编码、算术编码。

难点：定（变）长编码定理的理解与证明

6. 信道编码

（1）差错控制编码的基本原理和分析方法，差错控制系统的分类；

（2）有扰离散信道的编码定理；

（3）线性分组码的编码与译码；

（4）循环码、BCH码、RS码；

（5）卷积码的编码和维特比译码的思想。 

重点：线性分组码的编码与译码的基本方法、循环码、卷积码。

难点：BCH码、卷积码的编码。

（五）教学实践环节安排

    无

（六）教学方式与习题要求

    采用启发式与案例式结合的教学方式。有条件可用多媒体作辅助工具。

习题要求：本课程习题量不必太多。习题主要集中在一系列信息熵的计算、简单的离散无记忆信道以及连续单符号加性信道的信道容量的计算、常用的信源编码（如霍夫曼编码）的编写、线性码的编码与译码。习题批改三分之一以上。

（七）考核办法

   采用闭卷的方式考核。总评中平时成绩占百分之二十，考试占百分之八十。

（八）推荐教材或讲义及主要参考书

1．曹雪虹、张宗橙编著《信息论与编码》，清华大学出版社，2004年；

2．沈世镒、陈鲁生编著《信息论与编码理论》，科学出版社，2002年；

3．周荫清主编，《信息论与编码》，北京航空航天大学出版社，1993年。

（九）学时分配

                                         上一篇 ：

                                         瀚海网（http://hanhai.org)