信息不是神马,只是编码

最近常看到讨论信息该如何定义的话题,搞来搞去没有大家都认可的说法。在我看来,信息论已经很好地解决了这个问题,只不过不能按照香农(克劳德·艾尔伍德·香农(Claude Elwood Shannon),美国数学家、电子工程师和密码学家,被誉为信息论的创始人。1948年,香农发表了划时代的论文通信的数学原理,奠定了现代信息理论的基础。)字面上讲的意思去看,要重新解释一番才可以。

信息论里面说,信息是消除不确定性,这句话表面上看很好懂,也大致符合一般人的经验,得到了信息,了解了情况,就没有不确定了。我想香农同学原本可能不想这么写,但是在一篇专讲信息的论文里,如果不给信息弄个简单明了的定义恐怕说不过去。他的整篇文章,除了这个地方以外,在数学上都是讲得通的,唯独这里,稍微仔细想想就会出问题。

从另一个角度说,通信系统划分为信源、编码器、信道、解码器、信宿五部分,信息论解决的问题是信源之后,信宿之前那部分发生的事情,只保证发出的一串编码和被接收到的一串编码之间有某种确定的数学映射关系,而不管信源到底发了什么,信宿又到底收到了什么。这就好比一个可靠的邮差,只保证把信原封不动地从发信人送到收信人,而不问信里写的是不是人话,收信人认不认得字,那两个人能不能相互传达意思。如果我们承认信息论所讲的通信系统里传送的东西是信息,也知道这个信息到底有多少比特的信息量,那么这个信息到底从信宿那位同学心里消除了多少不确定性呢?答案只能是不知道。因为信息一旦到了信宿手上,它就从客观世界中消失了,进入了信宿同学的主观世界,就再也说不清楚了。

电子计算机是上世纪人类的伟大发明,是当代一切信息技术的基础,然而专门搞这个的都知道,不管多复杂的计算机,也不过就是一台外表花哨的图灵机而已,它所做的那些看起来很了不起的事情,不过就是把一串符号转换成另一串符号而已,然而很多人却认为它在做信息储存、信息加工、信息提取、信息发现乃至信息创造等一系列高深莫测的事情。居然有很多人承认计算机可以作各种高级的关于信息的事情,而不只是个符号变换器,这个事实说明什么呢?我看只能说明信息这个词被我们滥用了,早已不是信息论里面那个单纯的可以用数学度量的信息了。如果只是茶余饭后闲扯淡,那么一个名词术语无论怎么滥用都不要紧,甚至还会产生某种幽默感,但是要装模作样地当作科学来讨论,那就麻烦大了。所以要研究信息,就只能研究那个单纯的可以用数学表述的信息,既不能允许有一点模糊,也不能允许它跑到主观世界里去,因此就只能是五要素通信系统当中,砍掉两个端点之后的那条线段上流淌着的东西,也就只剩下了编码。

当然香农的理论里,常常要提到信源信宿,提到如何消除了不确定性,不过我想认真看过文章的人都知道,他所说的信源信宿在真实世界中是找不到的,是为了谈论理论而虚构出来的。虚构的信源和信宿必须对概率空间达成完全一致的认识,才能有效通信,可是要达成这种一致认识是不是先要靠通信才能实现呢?这就掉进了循环论的陷井,再也出不来了。事实上,人类个体之间之所以能够通信,依靠的是每个个体都具有所谓的人类常识,并且假定其他人的人类常识和自己的那个是一样的,然而这种假设其实是站不住脚的,每个人的常识都和别人有所不同,都有自己独特经历的影响在里面,正是因此,人类彼此间才会有很多误解,才会很难沟通。

上文书说道,信息不是神马,只是编码。离开了信道,进入信宿,信息也就消失了。前面我们没有详细探究信源和信宿,只说道那都是香农同学杜撰出来的。然而香农同学杜撰出来的东西既然大家都能理解,那就必然有一定的现实性基础,这次我们就来好好研究一下这两个家伙。

信源和信宿要对概率空间的组成,以及先前某一时刻的状态有完全一致的认识,这是香浓理论的基础。只有这样,在后来概率空间发生变化的时候,信源得知了这种变化,并将这种变化编码发送给信宿,才能消除信宿对概率空间认识上的不确定性。

概率空间是一种抽象思维的产物,而不是自然界中客观实在之物,这本是很清楚明白的事情,但是很多人却在这个地方思想产生了混淆。就拿最简单的抛硬币试验来说,不论怎么叙述都要涉及这么几个抽象概念:质量、均匀、硬币、正面、反面、朝上,它们构成一个抽象的数学模型。现代社会中的受过一定文化教育的人理解这些概念,以及整个模型并不困难。但是如果我们设想一下,要把这整件事解释给一个原始部落中的人类,会不会是件轻松的事情呢?其实部落人类算是很容易沟通的对象了,毕竟大家都住在地球上适宜人类居住的区域,有结构和功能完全相同的大脑和身体,共享基本的人类常识。可见,很多我们看起来理所当然的事情,其实并不那么理所当然。

在解决了通信主体对概率空间的理解问题之后,才能继续谈论信息论后面的问题。香农提出用熵来度量信息量,也就是消除掉的不确定性的量。概率空间的构造是千变万化的,对于同一事件,理解的角度不同,就可以构造不同的概率空间,不同的概率空间就意味着不确定性数量上的巨大差异。催生出邮票的发明的那个爱情故事,当事人双方约定的概率空间,只需要1比特的信息量就可消除不确定性,而如果是普通的爱人之间的书信,稍微多纳入一些事件的细节,为此改变一下概率空间,可能就要成千上万比特了。说句题外话,这个故事也说明:任何企图提高编码信息量的技术努力,都不如通信主体的主观能动性效果显著。

因为概率空间有无限多种可能,研究向人类这样复杂多变的智能通信主体之间的通信是很困难的,据我所知,大凡搞自然语言理解的都没有好下场,不是已经死掉了,就是快要死掉,苟延残喘。香农同学的聪明之处就在于避开了这个深不见底的大坑,引入了虚拟通信主体。对于虚拟的通信主体来说,其实并不需要考虑如何构造概率空间的问题,虚拟通信主体间的通信没有那么多猫腻,用不着考虑怎么才能赖掉邮费。虚拟主体只是傻乎乎地把一串符号从这里传到那里,决不问这些符号代表什么。这样一来,概率空间就只由所传递的符号的特点唯一确定。这是一个简单、先验的存在,可以放心地把处理算法烧进芯片里,几十年不变。于是世界清静了。

既然对于虚拟主体来说,符号没有含义,那么这些符号组成的整条信息也理所当然没有含义,这件事情显而易见,却常常被人忽略,很多人会不自觉地把自己当成通信主体,然后对符号望文生义地解释一番,于是乎对信息论理解的很多谬误就由此而生。其实信息论只是一个关于如何传送符号的理论。不应过度解释。

信息之殇

信息熵,或者信息量,是由概率空间的性质决定的。前面说过,信息论当中的通信主体都是虚拟的,概率空间都是简单纯粹的,因此信息量就是个简单的数学问题。然而人们远远不满足于就此止步,而是把这些概念和理论扩展到了远比香农当初的设想复杂得多的领域和场合。这样做的结果就是——天下大乱!

信息本来就只是编码,和真实世界没半点关系,概率空间只能反映离散世界,对于连续性无计可施。把连续的世界变成离散的世界模型,这个可不是虚拟的信源信宿能够做到的事情,且不说这个理论出来的时候信源和信宿都只是笨拙的电子管电路,就是今天最NB的处理器一样也不行。因为机器就是机器,是学不会抽象思维的。

抽象思维能力,即使对人类来说,也不是理所当然,与生俱来的。人不是从有了语言那天起,才可以相互沟通的,在那之前,也可以通过表情、动作、声音、接触等进行一定的沟通。但是这种沟通没有有意识的编码解码过程,既然不存在有意识的编码,也就不是通常意义的信息沟通,因此没有必要刻意构造概率空间;事实上,这种沟通也是有概率空间的,只不过这个概率空间是人脑神经网络从生活经验中自发形成的,没有明确的定义和严格的形式,也就无法应用信息理论加以解释,沟通的结果也不可预测。

语言为沟通规定了标准的形式,尽管从工业社会的眼光来看,它还远远不够标准,但是不管怎样,人类之间的沟通从此符号化了,于是至少在理想条件下,在语言被解释出具体含义之前,它在通信系统中的传递是有保障的,噪音和畸变是可以识别出来并加以去除的。也就是说,至少可以保证信宿听到的话就是信源说出的那一句,而不用考虑信源的地方口音或者信宿的听力下降对此有什么影响(这当然指的是信源和信宿的语言概率空间完全一致的理想情况,现实中语言是不同的人类个体各自习得的,很难完全一致)。语言本身的概率空间,尽管具有复杂的结构,但至少是有限的,可以构造出来的,并且是不经常改变的。

然而信宿想要得到的,绝不仅是一串语言符号,而是理解语言的含义,从而知道自己希望知道的事实。一牵扯到语言的含义,信息论就很难应用了,因为人脑具有构造无穷多个不同概率空间的可能性。发出什么信息是由信源的通信意图,结合他对信息所涉及的概率空间的认知,以及他对信宿概率空间的猜测所决定的。而信宿从信源发出的信息中得到多少信息量,是由信息本身,自己的概率空间,以及对信源的概率空间的猜测所决定的。这样一来,就不存在一个两边一致认可的“客观”信息量,而只有信源和信宿各自的“主观”信息量,分别由信源发信时的主观心理状态和信宿收信时的主观心理状态所决定。如果我们不打算强迫香农同学去研究心理学,那么最好还是就当作信息在进入人脑的那一刹那就此消失了,而不要再去管后面发生的事情。简单的说,当信息遭遇智能,唯一的结果就是死掉。

信息幽灵

头脑中真的有信息吗?这个问题让我想起小时候常常纠结在心头,却又找不到答案的一个问题:世界上真的有鬼吗?下面我们要开始讲鬼故事了。

虽然信息死掉了,但是由信息引发的故事才刚刚开始。信息就像一个阴魂不散的幽灵,一直在作为智能体的信宿中游荡。有的时候,他似乎又借尸还魂一般的复活了,从外人看来,一个信息被智能体吐了出来,就和他刚刚吞下去的那个看起来一模一样。当然这只是个假象,智能体不会消化不良,那个被吐出来的,此刻真正活着的,是智能体制作的被吞下去的信息的克隆兄弟,他和原来的信息长得是如此之像,以至于常常被误认为是同一个。

信息到底是什么时候死掉的,这也是个很让人纠结的问题。问题出在信息被智能体吃掉的那一刻。那一刻似乎总是把握不住,其实问题的关键在于,智能体吞下信息引发了一个复杂的过程,这个过程是一个链式反应,每一步都可能产生出来一些新的信息,然后又被吞下,直至最终没有新的信息产生为止。

如果一个智能体看到另一个智能体写的便条(在此我们不去深究“看到”的详细机理,事实上,“看到”本身就是一连串信息变换过程),就发生了以下一连串事情:

首先,便条上的笔画被辨识成文字,这时候,便条信息被接收了,消失了,文字信息产生了;
—>然后,文字信息被识别成一个个语句,进而又识别成一个个词语,于是文字信息消失了,带有顺序和区隔的一组词语的信息出现了;
—>再往后,词语被识别成一组对象,它们之间的关系,以及互动的过程,或者简单说,一个场景,或者一个模型,词语信息消失,模型信息出现;
—>当智能体再次吞下模型信息的时候,通常就会引发一些情绪的反应,如果这种反应足够强烈,就不会再有新的信息产生出来,信息的链式反应到此为止,再往后就是实实在在的生理反应了;
—>链式反应也可以不停下来,继续向下传递,比如,模型可以再次符号化,之后再把符号作一番变换,然后再次建立模型,等等等等,这个游戏可以循环往复地玩下去,直到智能体自己厌烦了为止。

在这每一步骤当中,智能体调出一个特定的概率空间,解码出原信息,之后把这信息投入知识的熔炉当中,随即信息被熔化铸成模型,模型又可以翻印出新的信息。说句题外话,日本企业管理主张要问五个为什么,实质就是把这种铸模——翻印的过程至少搞上五次,这也部分说明了这种思维游戏的价值。

经过这么一通折腾,原信息以及他的N代徒子徒孙被智能体彻底消化掉,得到的是一堆模型,其中有用的会被智能体存储起来留待后用,那便是我们称为“知识”的东西。至此,信息终于可以瞑目了,那郁结不化的幽灵终于可以消散了。

信息的旅程就这么结束了,而知识的故事才刚刚开始。

后记

本文写于2011年4月,本来打算作为《知识的故事》的前篇,后来由于笔者工作繁忙,《知识的故事》一直未能着手写作,此篇的结尾也就一直未能有所呼应。 当初写作此篇短文,目的在于将信息作一明确的界定,与知识截然划分开来,以便精确阐述关于信息与知识各自的理论,夯实知识研究的理论基础。最近读了《The Information: A History, a Theory, a Flood》一书,其中提到香农信息论将信息与其中携带的含义彻底剥离(《信息简史》428页第三段第一句),这充分说明,研究信息的含义——也就是知识,形成严格牢固的基于数学的精确定量模型,已经成为这个时代不可回避的使命。