通信的数学理论 .pptx

引言 近来出现了许多以带宽换取信噪比的调制方法，比如 PCM 和 PPM，它们的出现进一步激发了人们对广义通信 理论的兴趣。在奈奎斯特(Nyquist) 1和哈特莱(Hartley) 2发表的一些重要相关论文中，奠定了这一理论 的基础。本论文将扩展该理论，增加一些新的因素，具体来说，就是信道中噪声的影响、由于原始消息的统 计结构和最终信宿的本质而可能减省的内容。 通信的基本问题就是在一个地方复现在另一个地方选定的消息，这一复现可能是准确的，也可能是近似的。 这些消息通常有特定的含义；也就是说，它们会根据某一系统，与特定的物理或概念实体关联在一起。通信 的语义与工程问题无关。重要的是：实际消息是从一个消息集合选出的。所设计的系统必须能够处理任意选 定的消息，而不是仅能处理实际选择的特定消息，因为在设计系统时，并不知道会实际选择哪条消息。 如果集合中的消息数目是有限的，而且选择每条消息的可能性相等，那就可以用这个消息数或者它的任意单 调函数，来度量从集合中选择一条消息所生成的信息量。正如哈特莱所指出的那样，最自然的选择就是对数 函数了。如果考虑消息统计信息的影响，如果消息的选取范围是连续的，那必须对其定义进行重要扩展，但 在所有情况下，我们使用的度量在实质上都是对数函数。 对数度量之所以更为便利，其原因有多种： 1. 它在实践中更为有用。一些在工程上非常重要的参数，比如时间、带宽、延迟数，等等，往往与可能性 的数量的对数值呈线性关系。例如，增加一个继电器会使继电器的可能状态数加倍。如果对这一数目求 以 2 为底的对数，则增加一个继电器后，会使结果加 1。使时间加倍，会使可能消息数近似变为原来的 平方，而其对数则是加倍，诸如此类。 2. 它更接近于人类对正确度量的直观认知。这一点与第 1 个原因密切相关，因为人们在对实体进行直觉度 量时，通常是与公共标准进行线性比较。比如，人们认为，两张打孔卡存储信息的容量应当是一张打孔 卡的两倍，两个相同信道的信息传输能力应当是一个信道的两倍。 通信的数学理论 (A Mathematical Theory of Communication) C. E. SHANNON 1 Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics in Telegraph Transmission Theory,” A.I.E.E. Trans., v. 47, April 1928, p. 617. Hartley, R. V. L., “Transmission of Information,” Bell System Technical Journal, July 1928, p. 535. 2 3. 更适于数学运算。许多极限运算很容易用对数表示，如果采用可能性的数目表示，可能会需要进行冗繁、 笨拙的重新表述。 对数底数的选择与信息度量单位的选择相对应。如果所用底数为 2，则所得到的结果可以称为二进制数位 (binary digit)，或者简称为比特 (bit)，它是由 J. W. Tukey 提议采用的。一个具有两种稳定状态的器 件，比如继电器或者触发电路，可以存储 1 比特信息。N 个此种器件可以存储 N 比特，因为可能状态的总数 为2N ，而log2 2N = N。如果所用底数为 10，则所得单位可以称为十进制数字(decimal digit)。因为： log 2 M = log10 M/ log10 2 = 3.32 log10 M 一个十进制数位大约为3 个比特。台式计算机上的一个数位轮有 10 个稳定状态，因此，其存储容量是一个 十进制数位。在一些涉及积分和微分的分析中，底数 e 有时会很有用。所得到的信息单位称为自然单位。只 需要乘以logb a就可以将底数 a 改为底数 b。 我们所说的通信系统，是指图 1 中示意给出的系统类型。它基本上由五部分组成： 1. 信源，生成要传送给接收终端的消息或消息序列。消息可能是各种不同类型：(a) 字符序列， 比如电传 系统电报机中；(b) 单个时间函数f(t)，比如无线电或电话通信中；(c) 时间及其他变量的函数，比如 黑白电视机中——这里的消息可以看作是两个空间坐标与时间的函数f(x, y, t)，也就是摄像管盘面上点 (x, y)处在时刻 t 的光强度；(d) 时间的两个或更多个函数，比如f(t), g(t), h(t)—— “三维”声传送即属 这一情景，如果通信系统要以多工方式为几个独立信道提供服务，则同