信息(意义层面)的发展史——转折点

信息的冗余降低效率,但避免混淆,纠错——为了克服奇异和纠错而专门引入额外的比特。

文字是一种以范畴而非事件来组织经验,并将其抽象化,分门别类的工具。它可以让信息穿越时间,使人们对其进行学习和分析,并为逻辑的出现打下基础,这是在没有文字之前的口语时代所难以想象的。任何能够创造出有效的差异,可为某种感官所感知的东西,都足以作为表达思想的手段。

信息(非意义层面)论的建立

不完备性——在PM以及任何能够进行基本算术计算的自洽的逻辑体系内部,必定存在这样受诅咒的命题,它们成立却不可被证实。一个自洽形式体系必定是不完全的,不可能存在完全且自洽的形式体系。

一条讯息可以看做一个随机过程,不仅取决于系统当前状态,还可能取决于它之前的历史;就像一个动力系统,它的未来走向受到过去历史的影响。

物理——度量能量不可用(无法用于做功)的程度,热力学第二定律“宇宙的熵恒增”只是在概率上成立,统计上,万事万物都将趋于熵最大化,宇宙从可能性较小的(有序)宏观状态演化为可能性较大的(无序)宏观状态,而生物的有趣之处在于其能短暂地违背热力学第二定律。

信息论——度量一条讯息的不确定程度,通过只允许回答是或者否的问题来猜出一条未知讯息时所需问问题的平均数目。

数学 ——计算一个系统的所有可能组合,无序状态远多于有序,所以有序的熵低,出现概率也低。要达到可观的有序度,出现概率更可能会非常低。

麦克斯韦妖——用信息降低熵 ,而获取信息会增加熵。1比特信息对应klog2个单位的熵。 信息即熵。

妖与机械计算--许多计算可以不耗费任何能量完成,热量的耗散只有在擦除信息的时候才会产生,擦除是一种不可逆的逻辑操作。麦克斯韦妖在观察或者选择一个分子时无需付出熵的代价,只有在消除记录,即妖在擦除上一次观察的结果,为下一次观察腾出空间时,熵增加才会发生。遗忘需要功。

信息论的思想与其他学科(生物学、传播学、量子力学)的碰撞——信息转向

《自私的基因》——“我们不过是生存机器--某种机器人载具,被盲目地编程为用来保全一种称为基因的自私分子。” 自私是指提升自身相对于竞争者的存活几率的倾向。基因的差异可能影响表现型的差异。

模因theory——一种无形的复制子,通过一个广义上可称为模仿的过程在一个个大脑间跳转,从而在模因池中传播开来。各个模因相互竞争,以争夺有限的资源,如大脑的运算时间或带宽,或者说大脑的注意。将宿主中的某个行为或者想法比作病毒,使其他个体感染。只要条件合适,复制子就会自动抱团,以创造出能承载自己并帮助自己的持续复制的系统或机器。故事就是一个例子——“构成人类世界的是故事,而不是人。那些被故事用来讲述自己的人,不应该受到责备。”

生成一个对象所需的最短(通用图灵机)算法的长度,即对象的柯尔莫哥洛夫复杂度,它也度量了信息量和随机程度,三者本质上是等价的。

绝大部分数是随机的(不存在冗余/可压缩部分),其中只有极少数能证明是随机的假设给定1000比特的长度,可以生成的数有2^1000个,但用1000比特能写出来的有用计算机程序来描述的数却远远达不到这个数量。正整数太多,因此如果要求程序长度必须比数本身小,那么它们绝对不足以命名所有正整数。贝里悖论(不完全性在信息论角度的证明)

一个混沌的信息流中可能隐含着一个简单算法,但想要从混沌中逆推出该算法也许是不可能的。 真正随机的序列是正规的(长期平均下,每个数出现的概率相同),反之不成立。即正规是必要条件。

量子比特是一种态叠加,不同概率幅的线性组合。用一台本身也是基于概率的计算机C来模拟基于概率的自然N,即C从初始状态变为某种最终状态的概率与N从相应初始状态变为相应最终状态的概率相同。但难以操纵,从量子系统获得信息的观察会干扰该系统。在众多量子比特并行处理其呈指数增长的操作时,一旦试图去测量其错综复杂的概率,它们退化成经典比特,想要知道计算结果,只能等到量子操作结束。

信息过载及其应对——意义的回归

信息如此之多,有我们需要的信息,但是“有”和“能找到”之前还有一道巨大的鸿沟。一个珍藏了所有信息的图书馆,但在其中却无法找到任何知识,因为所有知识和谬误都包含在其中,难以区分。信息不等于知识,知识不等于智慧(方法论)。

信息过载的应对手段是过滤或者搜索,在信息经济领域取得成功的企业都是建立在过滤和搜索的基础之上,而已非营利的维基百科也是两者结合的产物:主要由Google驱动的强大的搜索机制,以及通过相互协作努力做到去伪存真的大量过滤器。

本文作者:@红勤实健_云驰
原文地址:#读书笔记#《信息简史》