信息论基础（第2版） pdf

　　本书第二版是作者在原版的基础上，结合近几年的教学和科研实践，再次对教材内容进行整合、补充和完善而形成的。第二版沿用原版的基本框架，仍然分为12章，内容主要包括：信息的基本概念、离散信息的度量、离散信源的熵、连续信息与连续信源、无失真信源编码、离散无记忆信道容量、有噪信道编码、波形信道容量、信息率失真函数、有约束信道编码、网络信息论和信息理论方法与应用等。除充实和增加的内容外，第二版另一项重要工作就是增加了大量习题。本书在内容的选择上既考虑到基础性又考虑先进性和时代性，在编写方式上既注重基本概念的阐述又注重与通信和信息处理的实际相结合。本书强调定理中物理概念和结论的理解和掌握，简化烦琐的数学推导，注重使用明确、直观的物理概念，增加实例，力求让讲述的内容更适合工科专业学生的学习。本书配有大量思考题和习题作为学生课后的练习，这对于学生深入理解所学知识，提高基本运算和解决实际问题的能力都有很大帮助。
　　田宝玉教授北京邮电大学教学名师，有数十年科研与高校教学经验，主要研究项目及领域：信号与信息处理，数字移动通信等。
第1章 绪论 1.1　信息的基本概念 1.1.1　信息论的产生 1.1.2　信息的基本概念 1.2　香农信息论研究的内容 1.2.1　通信系统模型 1.2.2　香农信息论的主要内容 1.3　香农信息论研究的进展与应用 　1.3.1 香农信息论创立的背景 1.3.2　香农的主要贡献 1.3.3　香农信息论研究进展 1.3.4　香农信息论的应用 思考题 第2章　离散信息的度量 2.1　自信息和互信息 　2.1.1 自信息 　2.1.2 互信息 2.2　信息熵的基本概念 　2.2.1 信息熵 　2.2.2联合熵与条件熵 　2.2.3 相对熵 　2.2.4 各类熵之间的关系 2.3　信息熵的基本性质 　2.3.1 凸函数及其性质 　2.3.2熵的基本性质 2.3.3熵函数的唯一性 2.3.4　有根概率树与熵的计算 2.4　平均互信息 　2.4.1 平均互信息的定义 　2.4.2 平均互信息的性质 　2.4.3 平均条件互信息 本章小结 思考题 习题 第3章　离散信源 3.1　离散信源的分类与数学模型 3.1.1　离散信源的分类 3.1.2离散无记忆信源数学模型 3.1.3离散有记忆信源数学模型 3.1.4离散平稳信源数学模型 3.2　离散无记忆信源的扩展 3.2.1　等长消息扩展 3.2.2　变长消息扩展 3.3　离散平稳信源的熵 　3.3.1单符号信源的熵 3.3.2等长无记忆扩展源的熵 3.3.3变长无记忆扩展源的熵 3.3.4平稳有记忆信源的熵 3.4　有限状态马尔可夫链 3.4.2　马氏链的基本概念 3.4.2　齐次马氏链 3.4.3马氏链状态分类 3.4.4　马氏链的平稳分布 3.5　马尔可夫信源 　3.5.1 马氏源的基本概念 3.5.2　马氏源的产生模型 3.5.3　马氏链N次扩展源熵的计算 3.5.4　马氏源符号熵的计算 3.6　信源的相关性与剩余度 3.6.1　信源的相关性 3.6.2信源的剩余度 3.6.3　文本信源 本章小结 思考题 习题 第4章　连续信息与连续信源 4.1　连续随机变量的熵 4.1.1连续随机变量的离散化 4.1.2连续随机变量的熵 4.1.3连续随机变量差熵的性质 4.1.4连续随机变量集的相对

信息论基础（第2版）pdf