信息论

1948年，美国的应用数学家申农与韦弗合作所写的《通信的数学理论》一书出版，标志着信息论的产生。在书中，申农给出了测量每个消息平均信息量的数学公式（概率和对数形式）。申农避开了具体的通讯系统，认为一般的通讯系统包括信息源、发送机、信道（传输信号的渠道）、接收机、消息接受者等5个部分，从而避开了复杂的语义问题，而仅仅从技术和数学关系的方面来研究消息的传递，使问题显得简单化了。

申农指出，可以通过改变信源编码来降低多余度，使信源与信道匹配，使信源上的平均信息量等于信道容量。这便是申农的所谓信源编码原理。这个结论具有重要的理论意义。在这个原理的指导下，50年代出现了信息率较高的编码和纠错码。信源编码原理对提高信息的传递效率有理论指导意义。

60年代以来，为适应图像识别和视觉研究的需要，在模糊数学的基础上产生了与申农的概率信息论完全不同的模糊信息论。70年代以来，又有人提出了有效信息、语义信息、无慨率信息（主观信息）、广义信息等新的信息概念。显然，信息已不再仅仅是通信领域中的概念，而和人类社会生活的各个方面联系起来了。70～80年代的未来科学家认为人类正在走向信息社会，信息和材料、能源一起被视为人类文明的三大支柱。信息论的方法正在被应用到生物学（含神经生理学）、物理学、化学、心理学、经济管理、电子学、人工智能、控制论、系统论等一系列学科。一个内容广泛的信息论正在成长。