本店支持德先用，本店欢迎德全购，本店支持弘德e卡支付，本店积分抵扣最高10%！图书店根据库房书籍保有量，按当天15:00前下单计算，发货时间1-5工作日不等。图书我国为0税点商品，以免发票邮寄中遗失，如需发票请申请电子发票，发票在发货后1~3个工作日内可在我的订单-订单详情-发票下载中自助下载。基础运费10-15元，部分地区12-19元，续件运费每本3元，下单后找客服WX13811904765改价！满1000元自动免运费。

在线客服

内容简介

　　《大数据开发与应用》系统讲解了目前大数据开发领域的主流技术与实用技能，尤其侧重于对Hadoop生态系统的讲解，包括Hadoop框架的运作流程、执行原理及数据工具等内容。

　　全书共分12章，分别对大数据概论、Hadoop集群环境搭建以及HDFS、MapReduce、Zoo Keepel、HBase、Hive、Storm、Sqoop、Kafka、Spark和Elastic Search的核心知识进行了介绍，同时辅以对各种API及实例的深入解析与实践指导，旨在使读者迅速理解并掌握大数据的相关知识框架体系，提高动手能力，熟练使用Hadoop集成环境等大数据开发工具，完成大数据相关应用的开发、调试和运行工作。

　　《大数据开发与应用》适用面广，可作为高等学校大数据专业、计算机类专业的教材，也可作为大数据从业者、软件开发人员以及程序设计爱好者的参考用书。

目录

第1章 概论

1.1 大数据技术简介

1.1.1 大数据技术的起源

1.1.2 大数据应用领域

1.1.3 大数据基础设施

1.2 大数据技术与大数据开发

1.2.1 什么是大数据开发

1.2.2 大数据开发的作用

1.2.3 大数据开发技术框架

1.2.4 大数据开发与大数据分析的异同

1.3 本书中你将学习到的内容

本章小结

本章练习

第2章 Hadoop集群环境搭建

2.1 Hadoop简介

2.1.1 Hadoop的优点

2.1.2 Hadoop生态系统

2.2 Hadoop集群环境搭建

2.2.1 修改主机名

2.2.2 修改主机IP映射

2.2.3 配置SSH无密码髓录

2.2.4 安装JDK

2.2.5 安装Hadoop

本章小结

本章练习

第3章 HDFS

3.1 HDFS的概念

3.2 ItDFS的特点

3.3 HDFS的原理

3.3.1 HDFS体系结构

3.3.2 HDFS主要组件

3.4 HDFS中的文件读／写

3.4.1 HDFS读数据

3.4.2 HDFS写数据

3.5 HDFS的安全性措施

3.6 HDFS命令行操作

3.7 常用HDFS.Java API详解

3.7.1 新建Hadoop项目

3.7.2 读取数据

3.7.3创建目录

3.7.4 创建文件

3.7.5 删除文件

3.7.6 遍历文件和目录

3.7.7 复制上传本地文件

3.7.8 复制下载文件

本章小结

本章练习

第4章 MapReduce

4.1 MapReduce概述

4.2 MapReduce技术特征

4.3 MapReduce lT作流程

4.3.1 MapReduce工作原理

4.3.2 MapReduce任务流程

4.4 MapReduce lT作组件

4.5 MapReduce错误处理机制

4.5.1 硬件故障处理

4.5.2 任务失败处理

4.6 案例分析一：单词计数

4.6.1 设计思路

4.6.2 程序源代码

4.6.3 程序解读

4.6 -4程序运行

4.7 案例分析二：数据去重

4.7.1 设汁思路

4.7.2 程序源代码

4.7.3 程序解读

4.7.4 程序运行

本章小结

本章练习

第5章 ZOOKeopor

5.1 ZooKeeper·简介

5.1.1 主要优势

5.1.2 总体架构

5.1.3应用场景

5.2 ZooKeeper-的特性

5.2.1 数据模型

5.2.2 节点类型

5.2 .3 Watcher机制

5.2.4 分布式锁

5.2.5 权限控制

5.3 ZooKeeper·问题与应对

5.4 ZooKeepet·安装和配置

5.4.1 单机模式

5.4.2 集群模式

5.4.3 伪分布模式

5.5 ZooKeeper·命令行工具

5.6 ZooKeeper'Java API

5.6.1 常用接口

5.6.2 创建节点

5.6.3 添加数据

5.6.4 获取数据

5.6.5 删除节点

本章小结

本章练习

第6章 HBase

6.1 HBase简介

6.2 HBase与RDBMS

6.3 HBase数据结构

6.3.1 相关概念

6.3.2 存储特点

6.4 HBase组成架构

6.4.1 HMaster

6.4.2 HRegionServer

6.4.3 HRegion

6.4.4 ZooKeeper

6.4.5 HFile

6.4.6 HLog

6.5 HBase表结构

6.6 HBase集群安装

6.6.1 单机模式

6.6.2 伪分布模式

6.6.3 全分布模式

6.7 HBase Shell

6.8 HBase Java API的基本操作

6.8.1 创建Java工程

6.8.2 创建表

6.8 .3添加数据

6.8.4 查询数据

6.8.5 删除数据

6.9 HBase过滤器

6.9.1 过滤器简介

6.9.2 行键过滤器

6.9.3 列族过滤器

6.9 .4列过滤器

6.9.5 值过滤器

6.9.6 单列值过滤器

本章小结

本章练习

第7章 Hive

7.1 Hive简介

7.1.1 系统结构和工作方式

7.1 .2 Hive数据模型

7.1 .3 Hive内置服务

7.2 Hive环境搭建

7.3 Hive命令行

7.3.1 Hive CLI交互式命令行

7.3.2 hive命令

7.4 HiveQL详解

7.4.1 DDL操作

7.4.2 DML.操作

7.5 Hive JDBC

7.5.1 配置和启动HiveServer2

7.5.2 JDBC访问Hive

7.5.3 JDBC示例代码

本章小结

本章练习

第8章 storm

第9章 Sqoop

第10章 Kafka

第11章 Spark

第12章 EIasticSearch

前言/序言

　　当今社会是一个高速发展的时代，也是一个数据爆炸的时代，企业内部的经营信息、互联网中的商品物流信息、人与人的交互信息和位置信息等，每时每刻都产生着大量的数据，而这些数据的集合就被称为大数据。如今，大数据已在全球得到广泛应用，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的各行各业都已经融入了大数据生态圈当中。

　　大数据相关产业在世界范围内发展迅猛。美国在2012年就开始着手大数据的开发与利用工作，奥巴马政府投入2亿美元支持大数据相关产业的发展，并强调大数据会是“未来的石油”，是在国与国的竞争当中具有重要战略意义的资源。2014年3月，“大数据”一词首 次写入我国《政府工作报告》，李克强总理在多个场合反复强调：要开发应用好大数据这一基础性战略资源。2015年8月31日，国务院正式发布《促进大数据发展行动纲要》，从政府大数据、大数据产业、大数据安全保障体系三个方面提出了未来5～10年我国大数据发展的具体目标和任务，是我国大数据行业发展的权威性、纲领性、战略性文件，为我国大数据应用、产业和技术的发展提供了行动指南，标志着我国大数据战略部署的基本确立。

　　大数据的迅猛发展是数字设备计算能力增长的必然结果，但巨大的数据量也给数据的存储、管理以及分析带来了极大的挑战。一 天之中，互联网产生的全部内容可以刻满1.68亿张DVD，发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量），发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）。显然，依赖单个设备处理能力的传统数据处理技术早已无法满足如此大规模数据的存储和处理需求，数据管理方式的变革已呼之欲出。

　　鉴于此，以Google等为代表的一些数据处理公司研发了横向的分布式文件存储、分布式数据处理和分布式数据分析技术，很好地解决了数据爆炸所产生的各种问题，并由此开发了以Hadoop为核心的开源大数据处理系统和以HBase为核心的开源数据库系统等。这些系统的共同特点是：通过采用计算机节点集群横向扩展数据处理能力，使程序能在集群上并行执行，从而实现了对海量数据的存储、处理和检索。目前，这些系统己成为大数据开发领域的主流技术。

　　本书共分为12章，分别对大数据概论、Hadoop集群环境搭建以及HDFS、MapReduce、ZooKeeper’、HBase、HiVe、Storm、Sqoop、Kafka、Spark和ElasticSearch的核心知识点进行了介绍，并侧重讲解Hadoop生态系统的相关理论与实践知识，包括Hadoop框架的执行原理、运作流程以及各组成部分的功能等。本书兼顾系统性与实用性，在全面介绍当前大数据开发的主流技术与实用技巧的基础上，通过对各种API和实例的讲解、剖析及上机练习，注重实践能力的提升，旨在使读者通过对本书的学习，深入理解和掌握大数据开发的相关知识，并能熟练使用Hadoop集成环境完成大数据应用的开发、调试和运行工作。

　　本书由青岛英谷教育科技股份有限公司和山东工商学院共同编写，参与本书编写工作的有张伟洋、焦裕朋、侯方超、孟洁、刘鹰子、韩小雨、刘峰吉、金成学、王燕等。本书在编写期间得到了各合作院校专家及一线教师的大力支持。在此，要特别感谢给予我们开发团队大力支持和帮助的领导和同事，感谢合作院校的师生给予我们的支持和鼓励，更要感谢开发团队每一位成员所付出的艰辛劳动。