通信的三个层次 | 信息论研究笔记1

1. 通信（Communication）的定义与范围

• 我们这里所讨论的通信是广义的通信。广义通信的范围覆盖了言语（Speech）通信，涵盖了许多信息交换和控制的过程，这些都可以被定义为通信。
• 我的研究中的通信和信息论不会到达一般信息论的层次，我希望自己更多能从工程应用的角度来研究信息论，即作为应用数学的信息论。

2. 通信的三个层次

2.1 层次A - 技术问题（Technical Problem）：通信中的符号传输过程可以有多准确？（How accurately can the symbols transmission process in communication can be?)

2.1.1 技术问题（Technical Problem，或者叫工程问题）的定义与内涵

• 关心从发送方到接收方的传输准确性。可以理解为信息在通信模型流转过程中的准确性（Accuracy）或者可靠性（Reliability）。
• 技术问题层次，更多是从工程视角出发，论述良好的通信系统的设计细节（工程细节）。

2.1.2 技术问题视角确定的三类传输对象（Transimission Objects）

（1）符号组成的集合（Symbol Set）

• 符号组成的集合最典型的特征是离散，例如我们日常所使用的书面语言。
• 从数学角度理解，可以符合集合理解为有限集合的离散符号，例如$\mathbf{S}=\{sub_1,sub_2,\cdots,sub_n\}$，其中每个$sub_i$可以是嵌套的有限集合从而让整个集合有限。

（2）连续变化的信号（Continuous Signal）

• 连续变化信号可以是电话或者广播传输的语音或者音乐，也可以是连续变化的二维图（电视/视频画面）。
• 对于1-D的连续信号，从数学角度来理解就是以时间为自变量的连续函数，也就是$y = f(t),t\in \mathbb{R}$。
• 对于2-D连续图像的情况（其实更高维层面也可以采用类似的理解），可以有两种数学视角的理解方式：

（1）理解1：看作多个以时间为自变量的连续函数组成的集合，即y={p_1,p_2,\cdots,p_n}，如果是二维图像，我觉得还可以表示成：

其中，$p_i$或者$p_{ij}=f(t),t\in \mathbb{R}$。

（2）理解2：看作是以时间和二维图像为自变量的连续函数，即$y=f(P,t)$

2.2 层次B - 语义问题（Semantic Problem）：传输的符号可以多精确地表达其期望含义？（ How accurately the transmitted signals could express their original expected menaings?）

• 语义问题：关心接收方对意义的解读是否与发送方的意图保持一致或者达到了令人满意的近似程度。

• 语义问题十分复杂和深奥：三个层次同时需要满足

  • 听得懂：语言问题，能力问题（聋子或文盲）；
  • 理解得了：对问题的理解准确；
  • 回答准确（Response）：能给到在理解问题基础上的合理回应。

• 关键策略：将解析控制在可接收的范围，这些解析只是被解析对象原意图的一种近似，解析所用的语言以可以操作的方式定义得比较清晰。

关键策略的这段描述让人十分费解，初步理解是否明确一种编解码规则以及噪声过滤原则和纠错原则？当然，这是一种工程层面的理解，如果是从文化、情感、心理层面理解，这里就根本连近似都很难做到？

2.3 层次C-效用问题（Effectiveness Problem）：接收到的信息产生的预期影响的有效性有多高？(What the effectiveness of expected impact could be achieved by the received information？ )

• 有效性问题关注传达给接受者的含义能否成功地引导接受者做出期望的行动。
• 这里定义的行动是一个需要从更广泛角度来定义的行动。
• 通信只有通过影响行为来体现其效用：通信要么影响行为，要么就完全不具备可察觉的实际效用。
• 效用包含价值判断：设计心理和情感层面的东西，因为具有相对的复杂性。

3. 通信三个层次的讨论

• 通信的三个层次/问题不是相互孤立的，他们之间是相互影响和重叠的。
• 层次A的问题更加基础，而且只有层次A的准确度是可能的，层次B和层次C才能够被使用
• 层次A所具有的局限性，层次B和层次C也同时具有。
• 层次B和层次C涵盖了通信理论的绝大多数或者全部的哲学内容。