前言

前言

这是一本介绍概率论在电子工程和计算机科学领域应用的书.本书关注一些具有代表性并用到了大量概率论知识的重要实际科技应用.我们无意涵盖所有的应用,一来内容过于宽泛,二来工程量过于浩大.

如同微积分和离散数学一样,掌握概率建模和分析对于计算机科学家和电子工程师来说至关重要.由于这些科学家和工程师应用和设计的复杂系统通常在动态的环境中运作,理解和量化不确定性对系统产生的影响已成为系统设计过程中极为重要的一环.

本书是为加州大学伯克利分校电子工程和计算机科学系的EECS126概率论课程而编写的.该课程是为大三、大四学生开设的进阶课程.这门课的学生大多已选修过基础的概率论课程.他们了解事件、概率、条件概率、贝叶斯公式、离散随机变量及期望等概念,并且对矩阵运算有基本的了解(这些概念在附录中都有所回顾).这些学生都非常聪明、勤奋并对复杂的新知识具有很大兴趣.在这门课程上,学生会学习并了解马尔可夫链、随机动态规划、检验和估计等知识.他们不仅能直观理解这些概念和方法,同时也能熟知如何运用它们.

目前绝大部分概率论的入门书籍在内容介绍上仍然延用了概率空间、随机变量、数学期望、检验、估计和马尔可夫链的顺序.相比之下,本书内容编排的一大特点是以应用作为导引.对于概率论中的每一个知识点,本书均以一个电子及计算机领域相应的重要实际应用作为媒介,详细讲述该知识点背后的理论及其如何在应用中发挥功用.我们认为,阐述理论在实际应用中功用的讲授方式能让人们更容易了解到概率论的巨大价值.不仅如此,本书同时强调让学生独立应用Matlab和Simulink数学软件完成对课程项目的仿真和计算.这些题目经过精心设计,旨在加强学生对概念的直观理解,并为其日后进行独立探索打好基础.除了最后一章和附录之外,本书中其余的章节均分为A和B两部分.A部分介绍主要的概念,而B部分则涵盖知识点中更为深奥的部分.因此,本书的一种使用方式是为大三的学生讲授A部分和附录中的内容;另一种授课方式是开设一门两学期的课程,在第一阶段课程中讲授A部分,将B部分纳入第二阶段的学习中.如果想要提升课程难度,也可以在一门课程中先教授A部分,再教授B部分.按章节顺序授课也不失为一种不错的选择.本书的最后一章收录了一些前沿课题,读者和教师可以有选择地使用.

附录部分为大多数读者提供了有用的背景知识.附录A回顾了概率论的基本概念.根据学生背景知识的不同,教师可以选择从附录A的综述讲起.附录B复习了一些线性代数的基本知识,而附录C提供了一些Matlab的实例.采用Matlab是因为现在许多大学都为学生提供了购买Matlab的许可.即使学校没有获得授权,学生也能负担起该软件的学生版.学生通过在Matlab中尝试一些算法并模拟一些系统,能更好地理解相关知识点和认知系统的具体运作方式.不仅如此,让学生轻松实现一些看起来复杂的算法会让他们在学习中获得更多的成就感和乐趣.

书中的理论从基于未知量的模型入手.我们将这样的未知量记为 XY,并考虑一个能用于计算关于函数h(X )期望值E(h(X ))的模型.举例来说,X 可表示一块太阳能电池板在一个月中每天产生的能量,h(X )为这块电池板一个月产生的总能量.那么,E(h(X ))就是电池板每月平均产生的能量.其他例子还包括通信网络中的平均数据包延时,数据中心完成一件工作的平均耗时,等等.

估计E(h(X ))的过程称为性能评估.在许多情况下,在需要处理未知量的系统中都存在一些参数 θ.人们可以通过调节这些参数的值来调整系统作业.比如说,太阳能电池板的朝向可以进行调整,数据中心的运作也能调整.在这种情况下,我们可以通过将系统性能描述成未知量 X 和可变参数 θ 的函数h(X,θ )来衡量参数取值对系统的影响.如此一来,优化系统这一问题就等同于寻找能最大化E(h(X,θ ))的参数值 θ.这个问题通常并不简单,尤其是在E(h(X,θ ))没有解析表达式时.本书会讲解这样的优化问题.

在许多问题中,我们能观测到 Y,但是希望估计未被观测的 X 值.举个例子,X 可以是发射机发出的信号,而 Y 是接收机收到的信号.根据 Y 估计 X 值的问题是一个推断问题.这方面的例子包括探测问题(附近有没有火源,你有没有感冒)和估计问题(发出GPS信号的iPhone在哪里).

最后,有一类问题关注基于观测的动态系统控制.比如说,一辆利用激光测距仪、GPS和相机进行观测的无人驾驶汽车.我们称之为控制问题.

本课程讨论性能评估、优化、推断和控制问题.这其中的一些问题在计算机科学中被称为人工智能,而在电子工程中则被称作统计信号处理.概率学家称之为样本,而数学家将其称为特例.我们通过讲述具体的实际应用,如网络搜索、多路传输、数字通信、语音识别、图像跟踪、路径规划和推荐系统等来介绍这些技术.在学习和了解这些概念的过程中,我们也会为大家介绍这个领域的相关巨擘.

本书的内容十分有趣、能引人思考.希望你们能分享我对这些想法的热情.

十分感谢在本书撰写过程中给予我大力支持的各位同事和学生们.我要特别感谢仔细阅读了手稿的黄隆波博士和Ramtin Pedarsani,感谢提供了宝贵意见的Abhay Parekh博士、David Aldous教授、Venkat Anantharam教授、Tom Courtade教授、Michael Lustig教授、John Musacchio教授、Kannan Ramchandran教授、Anant Sahai教授、David Tse教授、Martin Wainwright教授和Avideh Zakhor教授.感谢担任课程助教并设计了课程作业的Stephan Adams、Vijay Kamble、Shiang Jiang博士、Sudeep Kamath博士、Jerome Thai、Baosen Zhang博士和Antonis Dimakis教授.感谢教授我概率论的Pravin Varaiya教授和Eugene Wong教授,以及支持我的Tsu-Jae King Liu教授.最后,感谢提供反馈的EECS126课程的学生们.

网站https://sites.google.com/site/walrandpeecs/home为本书提供了额外的资源,如勘误、附加题、评论和幻灯片等.教师也可以使用该网站来寻求问题的解决方案.

目录

  • 版权声明
  • 译者序
  • 前言
  • 第 1 章 PageRank—A
  • 第 2 章 PageRank—B
  • 第 3 章 多路复用—A
  • 第 4 章 多路复用—B
  • 第 5 章 数字链路—A
  • 第 6 章 数字链路—B
  • 第 7 章 追踪定位—A
  • 第 8 章 追踪定位—B
  • 第 9 章 语音识别—A
  • 第 10 章 语音识别—B
  • 第 11 章 路线规划—A
  • 第 12 章 路线规划—B
  • 第 13 章 视野拓展和补充
  • 附录A 概率论基础知识
  • 附录B 线性代数基本知识
  • 附录C Matlab
  • 参考文献