持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第31天，10月更文诚意加码，激发写作潜力｜掘金·日新计划 - 掘金 (juejin.cn)点击查看活动详情
1.信息论研究的目的有 提高信息传输的可靠性、有效性、保密性、认证性
2.信息论研究的内容有 狭义信息论、一般信息论、广义信息论 。
3.1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
4.为了提高系统的有效性可以采用信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
5.信源编码的目的是 提高通信的有效性 。信道编码的最终目的是 提高信号传输的可靠性 。
- 必然事件的自信息量是
0，不可能事件的自信息量是无穷。
7、通信系统一般由 信源、信宿、传输、介质、收信发信设备 五部分组成。
8.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
9.信息的 可度量性 是建立信息论的基础。
10． 统计度量 是信息度量最常用的方法。
11.事物的不确定度是用时间统计发生 概率的对数来描述的。
12．对离散无记忆信源来说，当信源呈等概率分布情况下，信源熵取最大值。
-
八进制信源的最小熵为
0，最大熵为log 3。 -
单符号离散信源一般用
随机变量描述，而多符号信源一般用随机矢量描述。
15．若把掷骰子的结果作为一离散信源，则其信源熵为 以2为底6的对数 。
16．自信息量的单位一般有 比特、奈特、哈特 。
17．同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log2 18 。
18．熵 是香农信息论最基本最重要的概念。
19．条件多的熵 不大于 条件少的熵。
-
连续信道平均互信息的特性有
非负性、极值性、交互性、凸状性。 -
数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量
趋于变小。 -
信道输入与输出间的平均互信息是信道转移概率的
下凸函数，是输入概率的上凸函数。
23．BSC信道即：二进制对称信道。
24．DMC信道即:离散无记忆信道 。
25．两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
26．信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
27．若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。
28．若连续信源输出非负信号的均值受限，则其输出信号幅度呈指数分布时，信源具有最大熵值。
29．连续信源熵的性质可加性、非负性、对称性、扩展性、最大熵定理。
