• / 88
  • 下载费用:10 金币  

“信息理论与编码”课程介绍.ppt

关 键 词:
“信息理论与编码”课程介绍.ppt
资源描述:
第2章 信息的度量,主要内容 信源模型 不确定性与信息 熵与平均互信息 扩展信源 离散有记忆信源的熵 离散信源的信息(速)率和信息含量效率 连续随机变量下的熵和平均互信息量,各节内容,2.1 信源模型 2.2 (概率)信息的描述 2.3 不确定性与信息 2.4 离散熵 2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展 2.8 离散有记忆信源的熵 2.9 离散信源的信息(速)率和信息含量效率 2.10 连续随机变量下的熵和平均互信息量,2.1 信源模型,信源模型的建立 信源分类,1 实际信源,信源的性质由其输出完全确定。 实际信源的输出各不相同,可能是汉字、英文、声音、图像等,统称为消息。 信源发出消息的过程,等同于从一个基本消息集合取出基本消息的过程。,2 信源模型,对认识主体而言,信源在某一时刻输出什么符号是随机的。,3 信源分类 (一),根据参数集和值域是离散集合还是连续区间进行分类:,4 信源分类 (二),(2)平稳信源:序列的统计特性与时间的推移无关。,2.2(概率)信息的描述,离散无记忆信源(DMS) 非理想观察模型,1 离散无记忆信源,DMS:Discrete Memoryless Source ,离散无记忆信源 。,:独立同分布随机变量序列。,离散无记忆信源(续),先验概率:,先验概率集合:,DMS的概率空间:,概率的完备性条件:,有用的记号:,2 非理想观察模型,:先验概率集合:后验概率集合:转移概率集合,传递的信息=先验不确定性-后验不确定性,2.3 不确定性与信息,信息是不确定性的减少量。 为度量信息,可从度量不确定性入手。 不确定性的种类很多。未经统计平均的不确定性有:自信息量、条件自信息量和联合自信息量。统计平均意义下的不确定性有:熵、条件熵和联合熵。 先介绍各种不确定性的度量方法,然后再引入信息的度量方法。,1 自信息量,注:自信息量与信息有联系,但不是信息,而 是符号的先验不确定性。,: 的(先验)不确定性 ,也称为 的自信息量 。,自信息量的单位,自信息量的单位与公式中对数底的选取有关。,自信息量的单位(续),单位换算:,进制单位,为了强调是符号的不确定性,我们将单位写成:bit/符号nat/符号 dit/符号 r进制单位/符号,自信息量单位的物理含义说明,意义: 的不确定性可用2位二进制数字来度量或1位四进制数字来度量。,2 联合自信息量,,,,,多元联合符号的联合自信息量,,3 条件自信息量,,,,,,,,思考:,自信息量的物理解释,例1 甲在一8×8的方格棋盘上随意放入一个棋子,在乙看来棋子落入的位置是不确定的。(1)在乙看来,棋子落入某方格的不确定性为多少?(2)若甲告知乙棋子落入方格的行号,这时,在乙看来棋子落入某方格的不确定性为多少?,解 棋格按顺序编号,棋格行号,4 自信息量的性质和相互关系,,,(1)概率为0时,相应的自信息量无意义。 (2)非负性。三种自信息量均非负。,公式:,自信息量的性质和相互关系(续一),公式:,联合概率、条件概率和边缘概率之间的乘法关系:,,自信息量的可加性:,物理解释:教材第21页。,自信息量相互关系推广,自信息量的可加性:,,自信息量可加性的链公式:,特殊情况下自信息量相互关系,公式:,自信息量的可加性:,,,当 和 统计独立时,概率之间的乘法关系:,可加性的链公式:,5 互信息量及其性质,的先验不确定性,从 中获得的关于 的信息 = 的先验不确定性- 的后验不确定性,,:互信息量,事件信息,实在信息,从 中得到了 的全部信息,,含有的实在信息,在数值上等于,例2,甲在一8×8的方格棋盘上随意放入一个棋子,在乙看来棋子落入的位置是不确定的。(1)若甲告知乙棋子落入方格的行号,这时乙得到了多少信息量?(2)若甲将棋子落入方格的行号和列号都告知乙,这时乙得到了多少信息量?,例2解,解 棋格按顺序编号,棋格行号,棋格列号,例2解(续一),(1)告知行号,乙得到的信息量:,bit/符号,例2解(续二),(2)既告知行号又告知列号,乙得到的信息量:,bit/符号,互信息量的性质,(1)互易性:,(4)互信息量不可能大于符号的自信息,(2)独立变量的互信息量为0:,若 、 相互独立,则,(3)互信息量可正可负,条件互信息量,记三元联合概率空间为,在 出现的条件之下, 与 之间的互信息量为,,,2.4 离散熵,熵的定义 熵的物理意义 熵的性质,1 熵的定义,: 的(先验)不确定性 ,也称为 的自信息量 。,熵,熵 的物理意义:信源 的平均不确定性。,关于熵的几点说明,熵公式:,(1)熵公式中, 只是一个记号,代表 的熵,不能把 看作函数的自变量。,(3)熵的单位与自信息量的单
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:“信息理论与编码”课程介绍.ppt
链接地址:https://www.weizhuannet.com/p-10025895.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开