持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第31天，10月更文诚意加码，激发写作潜力｜掘金·日新计划 - 掘金 (juejin.cn)点击查看活动详情

概念或简答

自信息量、信息的主要特征有哪些？

真实性、时效性、共享性、层次性、不完全性、滞后性、转换性

信息的重要性质有哪些？

载体依附性;价值性;时效性;共享性

信息论研究的内容主要有哪些？

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科.信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容.信息论还研究语义信息、有效信息和模糊信息等方面的问题

简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？

离散无记忆信源，等概率分布时熵最大   Hmax=以2为底m的对数 ,log2m

简述自信息的性质。

概率为0时，相应的自信量无意义、非负性、可加性

熵是什么？

熵是随机变量的随机性的描述,是随机变量平均不确定性的描述。

简述信源熵的基本性质。

对称性 确定性  非负性  扩展性  可加性  强可加性  递增性  极值性 上凸性

简述信源熵、条件熵、联合熵和交互熵之间的关系。

H(XY)=H(X)+ H（Y|X）

H(XY)=H(Y)+ H（X|Y）

H(X)>=H（X|Y）

H(Y)>=H（Y|X）

H(XY)<=H(X)+ H（Y）

H(X1X2)=H(X1)+ H（X2|X1）<=H(X1)+H(X2)=2H(X)

什么是信息论？

信息论是将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

香农第一定理：无失真信源编码R>H(X)

香农第二定理：信道编码R < C

香农第三定理：限失真信源编码R<R(D)