Hadoop实战
14推荐 收藏
18.9K阅读
图灵程序设计丛书

Hadoop实战

Chuck Lam (作者) 韩冀中 (译者)
终止销售
作为云计算所青睐的分布式架构,Hadoop 是一个用Java 语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,是谷歌实现云计算的重要基石。本书分为3 个部分,深入浅出地介绍了Hadoop 框架、编写和运行Hadoop 数据处理程序所需的实践技能及Hadoop 之外更大的生态系统。

本书适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。

收藏本书能做什么?

有情况的时候会收到通知,比如电子书发布等。

纸质书
¥59.00

出版信息

  • 书  名Hadoop实战
  • 系列书名图灵程序设计丛书
  • 执行编辑关于本书的内容有任何问题,请联系 傅志红
  • 出版日期2011-10-17
  • 书  号978-7-115-26448-0
  • 定  价59.00 元
  • 页  数268
  • 开  本16开
  • 出版状态终止销售
  • 原书名Hadoop in Action
  • 原书号9781935182191

同系列书

  • HTTP权威指南

    David Gourley   Brian Totty   Marjorie Sayer   Sailu Reddy   Anshu Aggarwal   陈涓   赵振平   译

    本书是HTTP及其相关核心Web技术方面的权威著作,主要介绍了Web应用程序是如何工作的,核心的因特网协议如何...

  • JavaScript高级程序设计(第3版)

    Nicholas C.Zakas   李松峰   曹力   译

    本书是JavaScript超级畅销书的新版。ECMAScript 5 和HTML5在标准之争中双双胜出,使大量...

  • 计算机科学的基础

    Al Aho   Jeff Ullman   傅尔也   译

    本书全面而详细地阐述了计算机科学的理论基础,从抽象概念的机械化到各种数据模型的建立,用算法、数据抽象等核心思想...

  • Java技术手册(第6版)

    Benjamin J Evans   David Flanagan   安道   译

    通过学习本书,你将能够: 掌握最新的语言细节,包括Java 8的变化 使用基本的Java句法学习面向对...

  • 机器学习实战

    Peter Harrington   李锐   李鹏   曲亚东   王斌   译

    机器学习是人工智能研究领域中一个极其重要的研究方向,在现今的大数据时代背景下,捕获数据并从中萃取有价值的信息或...

本书特色

纵情享受海量数据之美
揭开云计算的神秘面纱
深入分析,追本溯源

目录

第一部分 Hadoop——一种分布式编程框架

第1 章 Hadoop简介  2

1.1 为什么写《Hadoop 实战》  3

1.2 什么是Hadoop   3

1.3 了解分布式系统和Hadoop   4

1.4 比较SQL 数据库和Hadoop  5

1.5 理解MapReduce  6

1.5.1 动手扩展一个简单程序  7

1.5.2 相同程序在MapReduce中的扩展  9

1.6 用Hadoop统计单词——运行第一个程序  11

1.7 Hadoop历史  15

1.8 小结  16

1.9 资源  16

第2 章 初识Hadoop   17

2.1 Hadoop 的构造模块  17

2.1.1 NameNode   17

2.1.2 DataNode   18

2.1.3 Secondary NameNode   19

2.1.4 JobTracker  19

2.1.5 TaskTracker  19

2.2 为Hadoop 集群安装SSH  21

2.2.1 定义一个公共账号  21

2.2.2 验证SSH安装  21

2.2.3 生成SSH密钥对  21

2.2.4 将公钥分布并登录验证  22

2.3 运行Hadoop   22

2.3.1 本地(单机)模式  23

2.3.2 伪分布模式  24

2.3.3 全分布模式  25

2.4 基于Web 的集群用户界面  28

2.5 小结  30

第3 章 Hadoop组件  31

3.1 HDFS 文件操作  31

3.1.1 基本文件命令  32

3.1.2 编程读写HDFS  35

3.2 剖析MapReduce 程序  37

3.2.1 Hadoop数据类型  39

3.2.2 Mapper  40

3.2.3 Reducer  41

3.2.4 Partitioner:重定向Mapper输出  41

3.2.5 Combiner:本地reduce   43

3.2.6 预定义mapper和Reducer类的单词计数  43

3.3 读和写  43

3.3.1 InputFormat   44

3.3.2 OutputFormat  49

3.4 小结  50

第二部分 实战

第4 章 编写MapReduce基础程序  52

4.1 获得专利数据集  52

4.1.1 专利引用数据  53

4.1.2 专利描述数据  54

4.2 构建MapReduce 程序的基础模板  55

4.3 计数  60

4.4 适应Hadoop API 的改变  64

4.5 Hadoop 的Streaming    67

4.5.1 通过Unix命令使用Streaming    68

4.5.2 通过脚本使用Streaming   69

4.5.3 用Streaming处理键/值对   72

4.5.4 通过Aggregate包使用Streaming  75

4.6 使用combiner 提升性能   80

4.7 温故知新  83

4.8 小结  84

4.9 更多资源  84

第5 章 高阶MapReduce    85

5.1 链接MapReduce 作业   85

5.1.1 顺序链接MapReduce作业   85

5.1.2 具有复杂依赖的MapReduce链接  86

5.1.3 预处理和后处理阶段的链接  86

5.2 联结不同来源的数据   89

5.2.1 Reduce侧的联结   90

5.2.2 基于DistributedCache的复制联结   98

5.2.3 半联结:map侧过滤后在reduce侧联结  101

5.3 创建一个Bloom filter   102

5.3.1 Bloom filter做了什么  102

5.3.2 实现一个Bloom filter   104

5.3.3 Hadoop 0.20 以上版本的Bloom filter    110

5.4 温故知新   110

5.5 小结   111

5.6 更多资源   112

第6 章 编程实践   113

6.1 开发MapReduce 程序   113

6.1.1 本地模式   114

6.1.2 伪分布模式   118

6.2 生产集群上的监视和调试  123

6.2.1 计数器  123

6.2.2 跳过坏记录  125

6.2.3 用IsolationRunner重新运行出错的任务  128

6.3 性能调优   129

6.3.1 通过combiner来减少网络流量  129

6.3.2 减少输入数据量  129

6.3.3 使用压缩  129

6.3.4 重用JVM   132

6.3.5 根据猜测执行来运行  132

6.3.6 代码重构与算法重写  133

6.4 小结  134

第7 章 细则手册  135

7.1 向任务传递作业定制的参数   135

7.2 探查任务特定信息  137

7.3 划分为多个输出文件  138

7.4 以数据库作为输入输出  143

7.5 保持输出的顺序  145

7.6 小结   146

第8 章 管理Hadoop  147

8.1 为实际应用设置特定参数值   147

8.2 系统体检  149

8.3 权限设置  151

8.4 配额管理  151

8.5 启用回收站  152

8.6 删减DataNode   152

8.7 增加DataNode   153

8.8 管理NameNode 和SNN   153

8.9 恢复失效的NameNode   155

8.10 感知网络布局和机架的设计  156

8.11 多用户作业的调度  157

8.11.1 多个JobTracker    158

8.11.2 公平调度器  158

8.12 小结   160

第三部分 Hadoop也疯狂

第9 章 在云上运行Hadoop    162

9.1 Amazon Web Services 简介  162

9.2 安装AWS  163

9.2.1 获得AWS身份认证凭据  164

9.2.2 获得命令行工具  166

9.2.3 准备SSH密钥对  168

9.3 在EC2 上安装Hadoop  169

9.3.1 配置安全参数  169

9.3.2 配置集群类型  169

9.4 在EC2 上运行MapReduce 程序  171

9.4.1 将代码转移到Hadoop集群上  171

9.4.2 访问Hadoop集群上的数据  172

9.5 清空和关闭EC2 实例  175

9.6 Amazon Elastic MapReduce 和其他AWS 服务  176

9.6.1 Amazon Elastic MapReduce   176

9.6.2 AWS导入/导出  177

9.7 小结  177

第10 章 用Pig编程  178

10.1 像Pig 一样思考  178

10.1.1 数据流语言  179

10.1.2 数据类型  179

10.1.3 用户定义函数  179

10.2 安装Pig   179

10.3 运行Pig   180

10.4 通过Grunt 学习Pig Latin  182

10.5 谈谈Pig Latin   186

10.5.1 数据类型和schema  186

10.5.2 表达式和函数  187

10.5.3 关系型运算符  189

10.5.4 执行优化  196

10.6 用户定义函数  196

10.6.1 使用UDF   196

10.6.2 编写UDF   197

10.7 脚本  199

10.7.1 注释  199

10.7.2 参数替换  200

10.7.3 多查询执行  201

10.8 Pig 实战——计算相似专利的例子  201

10.9 小结  206

第11 章 Hive及Hadoop群  207

11.1 Hive   207

11.1.1 安装与配置Hive   208

11.1.2 查询的示例  210

11.1.3 深入HiveQL   213

11.1.4 Hive小结  221

11.2 其他Hadoop 相关的部分  221

11.2.1 HBase   221

11.2.2 ZooKeeper   221

11.2.3 Cascading   221

11.2.4 Cloudera   222

11.2.5 Katta   222

11.2.6 CloudBase   222

11.2.7 Aster Data和Greenplum   222

11.2.8 Hama和Mahout   223

11.2.9 search-hadoop.com   223

11.3 小结  223

第12 章 案例研究  224

12.1 转换《纽约时报》1100 万个库存图片文档  224

12.2 挖掘中国移动的数据  225

12.3 在StumbleUpon 推荐最佳网站  229

12.3.1 分布式StumbleUpon 的开端  230

12.3.2 HBase 和StumbleUpon   230

12.3.3 StumbleUpon 上的更多Hadoop 应用  236

12.4 搭建面向企业查询的分析系统——IBM的ES2 项目  238

12.4.1 ES2 系统结构  240

12.4.2 ES2 爬虫  241

12.4.3 ES2 分析  242

12.4.4 小结  249

12.4.5 参考文献  250

附录A HDFS文件命令  251




相关文章

  • 武卫东 推荐

    关于Hadoop的一些PPT

    王耀聪/陈威宇:Hadoop Map Reduce 程式設計 Kevin Weil: Hadoop at Twitter… ...

  • 出版圈郭志敏 4推荐

    什么是Hadoop?

      按照正式的定义,Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据。分布式计算是一个宽泛并且不断变化的领域,但Hadoop与众不同之处在于以下几点。   方便——Hadoop运行在由一般商用机器构成的大型集群上,或者如亚马逊弹性计算云(EC2)等云计算服务…...

  • 出版圈郭志敏 2推荐

    了解分布式系统和Hadoop

      摩尔定律在过去几十年间对我们都是适用的,但解决大规模计算问题却不能单纯依赖于制造越来越大型的服务器。有一种替代方案已经获得普及,即把许多低端/商用的机器组织在一起,形成一个功能专一的分布式系统。   为了理解盛行的分布式系统(俗称向外扩展)与大型单机服务器(俗称向上扩展)…...

  • 出版圈郭志敏 2推荐

    比较SQL数据库和Hadoop

      鉴于Hadoop是一个数据处理框架,而在当前大多数应用中数据处理的主力是标准的关系数据库,那又是什么使得Hadoop更具优势呢?其中一个原因是,SQL(结构化查询语言)是针对结构化数据设计的,而Hadoop最初的许多应用针对的是文本这种非结构化数据。从这个角度来看,Hado…...

  • 熊猫夜未眠 1推荐

    Hadoop

    enter link description here 导读:Hadoop是一个免费的,基于Java的编程框架。它能在分布式计算环境下支持处理大型数据集。 关键词:Hadoop 【TechTarget中国原创】Hadoop是一个免费的,基于Java的编程框架。它能在分布式…...

  • 熊猫夜未眠 推荐

    Facebook的Realtime Hadoop及其应用

    enter link description here作者:冠诚, IBM中国研究院, 研究员 在今年的SIGMOD‘11上,Facebook又发了一篇新paper,讲述了它们在提高Hado… ...

  • 旸谷 7推荐

    韩冀中:浅谈Hadoop实战(图灵访谈)

    图灵访谈之五:韩冀中专访 11月16日,图灵社区采访了《Hadoop实战》(Hadoop in Action)一书译者韩冀中博士,韩老师结合自己使用和开发Hadoop的经历,畅谈了他对Hadoop应用的看法,并对如何学习Hadoop提出了宝贵的建议,以下为访谈内容。 人物…...

  • 出版圈郭志敏 3推荐

    《Hadoop实战》封面解读

      《Hadoop实战》封面上的图形为“一个来自达尔马提亚Kistanja的年轻人”。该图取自克罗地亚十九世纪中叶传统服饰影集的一个复本,作者为尼古拉•阿尔塞诺维奇,由Ethnographic博物馆在2003年出版于克罗地亚的斯普利特。该图得自于乐于助人的斯普利特Ethnog…...

  • 熊猫夜未眠 推荐

    图灵淘宝官方商城秒杀 (10.26)

    本周秒杀图书为《Hadoop实战》,一共5本,每本20元,免运费,每人限购一本,机会有限,欢迎大家积极参与!秒杀开始时间:2011年10月26日上午11:00 秒杀地址:[enter link description here][1] ![enter image d...

  • 朱求志 3推荐

    快速开始运行Hadoop的示例程序WordCount

    1. 从Apache官网下载Hadoop到已经装有jdk的GNU/Linux 下载地址: http://www.apache.org/dyn/closer.cgi/hadoop/common/ 然后选择一个下载镜像来下载。 下载镜像里面有几种软件包,如 hadoop-1.2.…...

  • 这本书是中科院计算所韩冀中老师翻译的,虽然翻译的周期长于约定,但好书不怕晚,翻译质量也是制胜法宝!
    旸谷  发表于 2011-08-25 12:26:22
    推荐
  • 赞一个。。。
    流星在线  发表于 2011-10-17 14:44:19
    推荐
  • 质量制胜。
    刘晓日  发表于 2011-10-19 12:34:59
    推荐
  • 八卦一下
    Hadoop工程师成为热门职业
    JP摩根大通总经理Larry Feinsmith在纽约举行的Hadoop World 2011会议上发表了主题演讲,公开声明高薪招聘精通Hadoop的软件工程师。Hadoop是一个顶级Apache开源项目,主要被应用于分析大数据集,被eBay、Facebook、Yahoo、AOL和Twitter等互联网公司广泛采用,今年微软、IBM和甲骨文也都纷纷拥抱Hadoop。JP摩根大通在全球有超过24.5万雇员,其中IT雇员2.5万,每年的IT开支在80亿美元左右,该公司已经使用Hadoop超过三年的时间,用它分析150 petabytes的在线数据
    http://www.informationweek.com/news/software/info_management/231902645
    白龙  发表于 2011-11-10 21:31:32
    推荐
  • 非常喜欢这本书啊!
    中林  发表于 2011-11-15 08:26:24
    推荐
  • 这书好多年了吗
    乐乐  发表于 2015-10-27 10:55:15
    推荐
  • 喜欢电子书的小伙伴 可以看看大讲台网 这家网站提倡用电子书学习Hadoop
    zhensg2008  发表于 2016-01-29 11:06:55
    推荐
  • 出电子版把,便于操作
    ainimuyan  发表于 2016-03-17 23:42:28
    推荐