大数据:互联网大规模数据挖掘与分布式处理
22推荐 收藏
24.7K阅读

大数据:互联网大规模数据挖掘与分布式处理

Anand Rajaraman , Jeffrey D. Ullman (作者) 王斌 (译者)
本书由斯坦福大学的“Web 挖掘”课程的内容总结而成,主要关注极大规模数据的挖掘。主要内容包括分布式文件系统、相似性搜索、搜索引擎技术、频繁项集挖掘、聚类算法、广告管理及推荐系统。其中相关章节有对应的习题,以巩固所讲解的内容。读者更可以从网上获取相关拓展材料。
本书适合本科生、研究生及对数据挖掘感兴趣的读者阅读。

收藏本书能做什么?

有情况的时候会收到通知,比如电子书发布等。

出版信息

  • 书  名大数据:互联网大规模数据挖掘与分布式处理
  • 执行编辑关于本书的内容有任何问题,请联系 傅志红
  • 出版日期2012-09-24
  • 书  号978-7-115-29131-8
  • 定  价59.00 元
  • 页  数272
  • 印刷方式黑白
  • 开  本16开
  • 出版状态终止销售
  • 原书名Mining of Massive Datasets
  • 原书号978-1107015357

本书特色

大数据时代的及时雨
全球著名数据库技术专家最新力作
理论与实际算法实现并重


本书源自作者在斯坦福大学教授多年的“Web挖掘”课程材料,主要关注大数据环境下数据挖掘的实际算法。书中分析了海量数据集数据挖掘常用的算法,介绍了目前Web应用的许多重要话题。主要内容包括:
□ 分布式文件系统以及Map-Reduce工具;
□ 相似性搜索;
□ 数据流处理以及针对易丢失数据等特殊情况的专用处理算法;
□ 搜索引擎技术,如谷歌的PageRank;
□ 频繁项集挖掘;
□ 大规模高维数据集的聚类算法;
□ Web应用中的关键问题:广告管理和推荐系统。
本书配套网站http://infolab.stanford.edu/~ullman/mmds.html上提供英文版初稿以及一些课件和项目作业。

目录

目  录



第1章  数据挖掘基本概念  1

1.1  数据挖掘的定义  1

1.1.1  统计建模  1

1.1.2  机器学习  1

1.1.3  建模的计算方法  2

1.1.4  数据汇总  2

1.1.5  特征抽取  3

1.2  数据挖掘的统计限制  4

1.2.1  整体情报预警  4

1.2.2  邦弗朗尼原理  4

1.2.3  邦弗朗尼原理的一个例子  5

1.2.4  习题  6

1.3  相关知识  6

1.3.1  词语在文档中的重要性  6

1.3.2  哈希函数  7

1.3.3  索引  8

1.3.4  二级存储器  10

1.3.5  自然对数的底e  10

1.3.6  幂定律  11

1.3.7  习题  12

1.4  本书概要  13

1.5  小结  14

1.6  参考文献  14

第2章  大规模文件系统及Map-Reduce  16

2.1  分布式文件系统  16

2.1.1  计算节点的物理结构  17

2.1.2  大规模文件系统的结构  18

2.2  Map-Reduce  18

2.2.1  Map任务  19

2.2.2  分组和聚合  20

2.2.3  Reduce任务  20

2.2.4  组合器  21

2.2.5  Map-Reduce的执行细节  21

2.2.6  节点失效的处理  22

2.3  使用Map-Reduce的算法  22

2.3.1  基于Map-Reduce的矩阵—向量乘法实现  23

2.3.2  向量v无法放入内存时的处理  23

2.3.3  关系代数运算  24

2.3.4  基于Map-Reduce的选择运算  26

2.3.5  基于Map-Reduce的投影运算  26

2.3.6  基于Map-Reduce的并、交和差运算  27

2.3.7  基于Map-Reduce的自然连接运算  27

2.3.8  一般性的连接算法  28

2.3.9  基于Map-Reduce的分组和聚合运算  28

2.3.10  矩阵乘法  29

2.3.11  基于单步Map-Reduce的矩阵乘法  29

2.3.12  习题  30

2.4  Map-Reduce的扩展  31

2.4.1  工作流系统  31

2.4.2  Map-Reduce的递归扩展版本  32

2.4.3  Pregel系统  34

2.4.4  习题  35

2.5  集群计算算法的效率问题  35

2.5.1  集群计算的通信开销模型  35

2.5.2  实耗通信开销  36

2.5.3  多路连接  37

2.5.4  习题  40

2.6  小结  40

2.7  参考文献  42

第3章  相似项发现  44

3.1  近邻搜索的应用  44

3.1.1  集合的Jaccard相似度  44

3.1.2  文档的相似度  45

3.1.3  协同过滤——一个集合相似问题  46

3.1.4  习题  47

3.2  文档的Shingling  47

3.2.1  k-Shingle  47

3.2.2  shingle大小的选择  48

3.2.3  对shingle进行哈希  48

3.2.4  基于词的shingle  49

3.2.5  习题  49

3.3  保持相似度的集合摘要表示  49

3.3.1  集合的矩阵表示  50

3.3.2  最小哈希  50

3.3.3  最小哈希及Jaccard相似度  51

3.3.4  最小哈希签名  52

3.3.5  最小哈希签名的计算  52

3.3.6  习题  54

3.4  文档的局部敏感哈希算法  55

3.4.1  面向最小哈希签名的LSH  56

3.4.2  行条化策略的分析  57

3.4.3  上述技术的综合  58

3.4.4  习题  59

3.5  距离测度  59

3.5.1  距离测度的定义  59

3.5.2  欧氏距离  60

3.5.3  Jaccard距离  60

3.5.4  余弦距离  61

3.5.5  编辑距离  62

3.5.6  海明距离  63

3.5.7  习题  63

3.6  局部敏感函数理论  64

3.6.1  局部敏感函数  65

3.6.2  面向Jaccard距离的局部敏感函数族  66

3.6.3  局部敏感函数族的放大处理  66

3.6.4  习题  68

3.7  面向其他距离测度的LSH函数族  68

3.7.1  面向海明距离的LSH函数族  69

3.7.2  随机超平面和余弦距离  69

3.7.3  梗概  70

3.7.4  面向欧氏距离的LSH函数族  71

3.7.5  面向欧氏空间的更多LSH函数族  72

3.7.6  习题  72

3.8  LSH函数的应用  73

3.8.1  实体关联  73

3.8.2  一个实体关联的例子  74

3.8.3  记录匹配的验证  74

3.8.4  指纹匹配  75

3.8.5  适用于指纹匹配的LSH函数族  76

3.8.6  相似新闻报道检测  77

3.8.7  习题  78

3.9  面向高相似度的方法  79

3.9.1  相等项发现  79

3.9.2  集合的字符串表示方法  79

3.9.3  基于长度的过滤  80

3.9.4  前缀索引  81

3.9.5  位置信息的使用  82

3.9.6  使用位置和长度信息的索引  83

3.9.7  习题  85

3.10  小结  85

3.11  参考文献  87

第4章  数据流挖掘  89

4.1  流数据模型  89

4.1.1  一个数据流管理系统  89

4.1.2  流数据源的例子  90

4.1.3  流查询  91

4.1.4  流处理中的若干问题  92

4.2  流当中的数据抽样  92

4.2.1  一个富于启发性的例子  93

4.2.2  代表性样本的获取  93

4.2.3  一般的抽样问题  94

4.2.4  样本规模的变化  94

4.2.5  习题  95

4.3  流过滤  95

4.3.1  一个例子  95

4.3.2  布隆过滤器  96

4.3.3  布隆过滤方法的分析  96

4.3.4  习题  97

4.4  流中独立元素的数目统计  98

4.4.1  独立元素计数问题  98

4.4.2  FM算法  98

4.4.3  组合估计  99

4.4.4  空间需求  100

4.4.5  习题  100

4.5  矩估计  100

4.5.1  矩定义  100

4.5.2  二阶矩估计的AMS算法  101

4.5.3  AMS算法有效的原因  102

4.5.4  更高阶矩的估计  103

4.5.5  无限流的处理  103

4.5.6  习题  104

4.6  窗口内的计数问题  105

4.6.1  精确计数的开销  105

4.6.2  DGIM算法  105

4.6.3  DGIM算法的存储需求  107

4.6.4  DGIM算法中的查询应答  107

4.6.5  DGIM条件的保持  108

4.6.6  降低错误率  109

4.6.7  窗口内计数问题的扩展  109

4.6.8  习题  110

4.7  衰减窗口  110

4.7.1  最常见元素问题  110

4.7.2  衰减窗口的定义  111

4.7.3  最流行元素的发现  111

4.8  小结  112

4.9  参考文献  113

第5章  链接分析  115

5.1  PageRank  115

5.1.1  早期的搜索引擎及词项作弊  115

5.1.2  PageRank的定义  117

5.1.3  Web结构  119

5.1.4  避免终止点  121

5.1.5  采集器陷阱及“抽税”法  123

5.1.6  PageRank在搜索引擎中的使用  125

5.1.7  习题  125

5.2  PageRank的快速计算  126

5.2.1  转移矩阵的表示  127

5.2.2  基于Map-Reduce的PageRank迭代计算  128

5.2.3  结果向量合并时的组合器使用  128

5.2.4  转移矩阵中块的表示  129

5.2.5  其他高效的PageRank迭代方法  130

5.2.6  习题  131

5.3  面向主题的PageRank  131

5.3.1  动机  131

5.3.2  有偏的随机游走模型  132

5.3.3  面向主题的PageRank的使用  133

5.3.4  基于词汇的主题推断  134

5.3.5  习题  134

5.4  链接作弊  135

5.4.1  垃圾农场的架构  135

5.4.2  垃圾农场的分析  136

5.4.3  与链接作弊的斗争  137

5.4.4  TrustRank  137

5.4.5  垃圾质量  137

5.4.6  习题  138

5.5  导航页和权威页  139

5.5.1  HITS的直观意义  139

5.5.2  导航度和权威度的形式化  139

5.5.3  习题  142

5.6  小结  143

5.7  参考文献  145

第6章  频繁项集  146

6.1  购物篮模型  146

6.1.1  频繁项集的定义  146

6.1.2  频繁项集的应用  148

6.1.3  关联规则  149

6.1.4  高可信度关联规则的发现  150

6.1.5  习题  151

6.2  购物篮及A-Priori算法  152

6.2.1  购物篮数据的表示  152

6.2.2  项集计数中的内存使用  153

6.2.3  项集的单调性  154

6.2.4  二元组计数  155

6.2.5  A-Priori算法  155

6.2.6  所有频繁项集上的A-Priori算法  157

6.2.7  习题  158

6.3  更大数据集在内存中的处理  159

6.3.1  PCY算法  160

6.3.2  多阶段算法  161

6.3.3  多哈希算法  163

6.3.4  习题  164

6.4  有限扫描算法  166

6.4.1  简单的随机化算法  166

6.4.2  抽样算法中的错误规避  167

6.4.3  SON算法  168

6.4.4  SON算法和Map-Reduce  168

6.4.5  Toivonen算法  169

6.4.6  Toivonen算法的有效性分析  170

6.4.7  习题  170

6.5  流中的频繁项计数  171

6.5.1  流的抽样方法  171

6.5.2  衰减窗口中的频繁项集  172

6.5.3  混合方法  172

6.5.4  习题  173

6.6  小结  173

6.7  参考文献  175

第7章  聚类  176

7.1  聚类技术介绍  176

7.1.1  点、空间和距离  176

7.1.2  聚类策略  177

7.1.3  维数灾难  178

7.1.4  习题  179

7.2  层次聚类  179

7.2.1  欧氏空间下的层次聚类  180

7.2.2  层次聚类算法的效率  183

7.2.3  控制层次聚类的其他规则  183

7.2.4  非欧空间下的层次聚类  185

7.2.5  习题  186

7.3  k-均值算法  187

7.3.1  k-均值算法基本知识  187

7.3.2  k-均值算法的簇初始化  187

7.3.3  选择k的正确值  188

7.3.4  BFR算法  189

7.3.5  BFR算法中的数据处理  191

7.3.6  习题  192

7.4  CURE算法  193

7.4.1  CURE算法的初始化  194

7.4.2  CURE算法的完成  195

7.4.3  习题  195

7.5  非欧空间下的聚类  196

7.5.1  GRGPF算法中的簇表示  196

7.5.2  簇表示树的初始化  196

7.5.3  GRGPF算法中的点加入  197

7.5.4  簇的分裂及合并  198

7.5.5  习题  199

7.6  流聚类及并行化  199

7.6.1  流计算模型  199

7.6.2  一个流聚类算法  200

7.6.3  桶的初始化  200

7.6.4  桶合并  200

7.6.5  查询应答  202

7.6.6  并行环境下的聚类  202

7.6.7  习题  203

7.7  小结  203

7.8  参考文献  205

第8章  Web广告  207

8.1  在线广告相关问题  207

8.1.1  广告机会  207

8.1.2  直投广告  208

8.1.3  展示广告的相关问题  208

8.2  在线算法  209

8.2.1  在线和离线算法  209

8.2.2  贪心算法  210

8.2.3  竞争率  211

8.2.4  习题  211

8.3  广告匹配问题  212

8.3.1  匹配及完美匹配  212

8.3.2  最大匹配贪心算法  213

8.3.3  贪心匹配算法的竞争率  213

8.3.4  习题  214

8.4  Adwords问题  214

8.4.1  搜索广告的历史  215

8.4.2  Adwords问题的定义  215

8.4.3  Adwords问题的贪心方法  216

8.4.4  Balance算法  217

8.4.5  Balance算法竞争率的一个下界  217

8.4.6  多投标者的Balance算法  219

8.4.7  一般性的Balance算法  220

8.4.8  Adwords问题的最后论述  221

8.4.9  习题  221

8.5  Adwords的实现  221

8.5.1  投标和搜索查询的匹配  222

8.5.2  更复杂的匹配问题  222

8.5.3  文档和投标之间的匹配算法  223

8.6  小结  224

8.7  参考文献  226

第9章  推荐系统  227

9.1  一个推荐系统的模型  227

9.1.1  效用矩阵  227

9.1.2  长尾现象  228

9.1.3  推荐系统的应用  230

9.1.4  效用矩阵的填充  230

9.2  基于内容的推荐  231

9.2.1  项模型  231

9.2.2  文档的特征发现  231

9.2.3  基于Tag的项特征获取  232

9.2.4  项模型的表示  233

9.2.5  用户模型  234

9.2.6  基于内容的项推荐  235

9.2.7  分类算法  235

9.2.8  习题  237

9.3  协同过滤  238

9.3.1  相似度计算  238

9.3.2  相似度对偶性  241

9.3.3  用户聚类和项聚类  242

9.3.4  习题  243

9.4  降维处理  243

9.4.1  UV分解  244

9.4.2  RMSE  244

9.4.3  UV分解的增量式计算  245

9.4.4  对任一元素的优化  247

9.4.5  一个完整UV分解算法的构建  248

9.4.6  习题  250

9.5  NetFlix竞赛  250

9.6  小结  251

9.7  参考文献  253

索引  254






作者介绍

Anand Rajaraman 数据库和Web技术领域权威,创业投资基金Cambrian联合创始人,斯坦福大学计算机科学系助理教授。Rajaraman职业生涯非常成功:1996年创办Junglee公司,两年后该公司被亚马逊以2.5亿美元收购,Rajaraman被聘为亚马逊技术总监,推动亚马逊从一个零售商转型为零售平台;2000年与人合创Cambrian,孵化出几个后来被谷歌收购的公司;2005年创办Kosmix公司并任CEO,该公司2011年被沃尔玛集团收购。Rajaraman生于印度,在斯坦福大学获得计算机科学硕士和博士学位。求学期间与人合著的一篇论文荣列近20年来被引用次数最多的论文之一。博客地址:http://anand.typepad.com/datawocky/。

Jeffrey David Ullman 美国国家工程院院士,计算机科学家,斯坦福大学教授。Ullman早年在贝尔实验室工作,之后任教于普林斯顿大学,十年后加入斯坦福大学直至退休,一生的科研、著书和育人成果卓著。他是ACM会员,曾获SIGMOD贡献奖、Knuth奖等多项科研大奖;他是“龙书”《编译原理》、数据库领域权威指南《数据库系统实现》的合著者;麾下多名学生成为了数据库领域的专家,其中最有名的当属谷歌创始人Sergey Brin;本书第一作者也是他的得意弟子。Ullman目前任Gradiance公司CEO。

相关文章

  • luli 4推荐

    编辑手记:海量数据挖掘

    Web和互联网商务的普及导致了大量极大规模数据集的产生,大规模数据的应用越来越广泛,从传统的零售业到复杂的商业世界,到处都能见到它的身影。通过数据挖掘技术可以从这些数据集中发掘信息。本书集中关注那些已用于解决数据挖掘中关键问题的实际算法,这些算法甚至可能用于最大规模的数据集。 …...

  • 紫凤 3推荐

    2012,大数据五大预测

    文 / Edd Dumbill 译 / 张龙 更加强大且富有表现力的分析工具 在过去的一年中,围绕着NoSQL和Hadoop,基本的存储与数据处理引擎方面的改进工作得到了加强并且日趋工程化。毫无疑问,这种态势将会持续下去,因为我们看到了Hadoop世界中有越来越多形态各异的…...

  • 紫凤 3推荐

    大数据是否意味着更多的工作机会?

    据麦肯锡咨询公司去年公布的一份报告显示,到2018年,美国在 “能够分析数据帮助公司做出商业决策”方面将面临150万的人才缺口。 大量公司目前正在寻求可发掘大数据竞争优势的人才。那么“大数据人才”具体是指什么呢?他们需要什么样的技能和教育背景呢? ---------------…...

  • 袁野 3推荐

    图灵参会记:大数据时代引发人们重新思考

    2012年11月30日—12月1日,国家会议中心,中国软件技术大会在此举行。图灵教育也受邀参加了此次大会,本次会议的主题是“大数据时代的企业及应用”。大数据、云计算、移动应用是本次大会的热点词汇,人们的目光也自然被聚焦在这些热点之上。在为期两天的大会上,共有四十多位软件技术领域…...

  • 袁野 2推荐

    BIG DATA 大数据时代来临

    “大数据时代”已经来临,并对各个领域都产生了深远的影响。在商业、经济及其他领域中,决策行为将日益基于数据和分析而作出,而并非基于经验和直觉;而在公共卫生、经济发展和经济预测等领域中,“大数据”的预见能力也已经崭露头角。 数据聚类找出霍乱病因 一种重要的数据汇总形式是聚类,在…...

  • 袁野 5推荐

    跟着图灵听课去!(十一月)

    ![enter image description here][1] 请注意:本活动实时更新,具体时间可能有变动。 图灵每个月都会参与或者举办一些技术会议,“跟着图灵听课去”让您跟随图灵的脚步提前了解这些会议的亮点、在现场和图灵互动、并在会后得到第一手的会议报到和相关资源…...

  • 盼盼姐 5推荐

    《大数据》作者之一Anand Rajaraman

    Anand Rajaraman以数据库和Web技术白手起家,联合创立了Camb… ...

  • 盼盼姐 17推荐

    《大数据》作者之二Jeffrey D. Ullman教授

    Jeffrey David Ullman(生于1942年11月22日)是一位计算机科学家,现任斯坦福大学的教授。他编写的关于编译器的教科书(各种版本非常流行被称为“龙书”)、关于计算理论的书(被称为“灰姑娘书”),以及数据结构和数据库的相关书籍都被视为是业界的规范。 ![…...

  • 盼盼姐 4推荐

    《大数据》作者Jeffrey D. Ullman访谈问题征集

    Jeffery Ullman教授:大数据不是噱头,值得投入我们的力量图灵访谈) [[英]《大数据》作者Jeffery Ullman访谈修订版(图灵访谈)](http… ...

  • 盼盼姐 8推荐

    [英]“龙书”作者Jeffery Ullman:相信你自己,自由地思考(图灵访谈)

    图灵访谈之四十一:《大数据》作者Jeffery Ullman教授访谈英文修订版 中文版—>Jeffery Ullman教授:大数据不是噱头,值得投入我们的力量(图灵访谈) Jeffrey David Ullman是一位计算机科学家,现任斯坦福大学的教授。他编写的关于编…...

  • 盼盼姐 9推荐

    “龙书”作者Jeffery Ullman:相信你自己,自由地思考(图灵访谈)

    图灵访谈之四十一:专访《大数据》作者Jeffery Ullman教授 英文版 完整无修订英文版 … ...

  • 盼盼姐 8推荐

    华为诺亚方舟实验室主任李航:用漂亮的方式解决"污浊"的问题(图灵访谈)

    李航,华为技术有限公司诺亚方舟实验室主任,北京大学、南京大学兼职教授。他日本京都大学电气电子工程系毕业,日本东京大学获得计算机科学博士学位。曾就职于日本NEC公司中央研究所,任研究员,以及微软亚洲研究院,任高级研究员与主任研究员。李航博士的研究方向包括信息检索,自然语言处理,统…...

  • 袁野 1推荐

    Oracle DBA成长之路 大数据时代必备图书

    跟着图灵听课去,每月都会参加一些顶级技术会议,给大家带去许多技术好书。4月18-20日,我们将参加 2013(DTCC )中国数据库技术大会,在现场我们会带去众多数据库方面的图书,喜好读书的开发者不要错过哦。四月份更多会议信息请关注:[跟着图灵听课去!(四月)][1] 本次中…...

  • 期待速度出版啊~要是也出售电子版就更好了~
    网站可以做个出版提醒功能。。。
    bookcold  发表于 2012-08-15 12:06:59
    推荐
    • 如果你“收藏”,应该可以提醒到。这本书目前没有电子版权。

      武卫东  发表于 2012-09-29 09:14:35
  • 很好的一本书,希望及早出版
    showlrr  发表于 2012-09-13 16:19:38
    推荐
    • 出版喽!当当、互动都可以买。

      武卫东  发表于 2012-09-29 09:16:33
  • 我觉得书名叫《海量数据挖掘》可能会更直观一些。虽然大数据是个很热的话题,但这本书似乎更专注于海量数据的挖掘,而不是big data,看了一下目录,除了第二章讲的是分布式文件系统和map reduce,其他基本都在讲数据挖掘方法。所以我觉得没必要硬套一个“大数据”来吸引眼球,尤其是对需要严肃准确的专业书来说。即使不叫大数据,我也很有兴趣读一读。 Jeffrey D.Ullman编写的高校数据库教材是很不错的,比如《Database System Implementation》,期待这本书的出版。
    wenzibuding  发表于 2012-09-05 17:36:32
    推荐
  • 这本书挺好的,内容比较精华,废话比较少,推荐~~~
    lcf  发表于 2013-03-20 20:46:03
    推荐
  • 译者提供的最新勘误,参见http://ir.ict.ac.cn/~wangbin/mmd-book/
    傅志红  发表于 2013-05-07 20:49:44
    推荐