QQ在線客服
免費(fèi)咨詢熱線
400-615-1233
工作時(shí)間-工作日
8:30-17:30

Hadoop系統(tǒng)搭建及項(xiàng)目實(shí)踐

  • 類　　別：大數(shù)據(jù)與云計(jì)算
  • 書　　名：Hadoop系統(tǒng)搭建及項(xiàng)目實(shí)踐
  • 主　　編：劉淼 陳紅 時(shí)瑞鵬
  • 定　　價(jià)：48
  • 開(kāi)　　本：16開(kāi)
  • 印刷方式：雙色
  • 頁(yè)　　數(shù)：240
  • 時(shí)　　間：2021年6月
  • 出  版  社：北京郵電大學(xué)出版社
  • 書　　號(hào)：978-7-5635-5913-8

內(nèi)容摘要

        本書內(nèi)容包括Hadoop基礎(chǔ)知識(shí)、Hadoop安裝與配置管理、HDFS技術(shù)、MapReduce技術(shù)、Hadoop I/O操作、HBase技術(shù)、ZooKeeper技術(shù)、分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive、分布式數(shù)據(jù)分析工具Pig、Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop、Hadoop實(shí)時(shí)數(shù)據(jù)處理技術(shù)。
        本書適合作為Hadoop系統(tǒng)搭建基礎(chǔ)教材，也可作為相關(guān)技術(shù)人員的參考用書。

目錄

項(xiàng)目1 Hadoop基礎(chǔ)知識(shí)
  任務(wù)1 認(rèn)識(shí)Hadoop
    1.1.1 Hadoop的由來(lái)
    1.1.2 關(guān)于Hadoop的版本
  任務(wù)2 理解Hadoop體系架構(gòu)
    1.2.1 Hadoop 1.x和Hadoop 2.x的區(qū)別
    1.2.2 HDFS架構(gòu)
    1.2.3 MapReduce架構(gòu)
  任務(wù)3 理解Hadoop與分布式開(kāi)發(fā)
  任務(wù)4 Hadoop應(yīng)用案例簡(jiǎn)介
項(xiàng)目2 Hadoop安裝與配置管理
  任務(wù)１Hadoop環(huán)境的搭建與配置
    2.1.1安裝VMware
    2.1.2安裝CentOS
    2.1.3安裝JDK
  任務(wù)２Hadoop的安裝模式
    2.2.1 單機(jī)安裝
    2.2.2 分布式安裝
  任務(wù)3 Hadoop的啟動(dòng)與驗(yàn)證
    2.3.1 格式化HDFS
    2.3.2 Hadoop的守護(hù)進(jìn)程
    2.3.3 驗(yàn)證集群HDFS
項(xiàng)目3 HDFS技術(shù)
  任務(wù)１ 認(rèn)識(shí)HDFS
    3.1.1 HDFS產(chǎn)生的背景
    3.1.2 HDFS簡(jiǎn)介
    3.1.3 HDFS的特點(diǎn)
  任務(wù)２了解HDFS架構(gòu)
    3.2.1 HDFS讀取和寫入數(shù)據(jù)
    3.2.2 元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)
    3.2.3 輔助元數(shù)據(jù)節(jié)點(diǎn)
    3.2.4 安全模式
  任務(wù)3 Hadoop shell命令
    3.3.1 命令格式
    3.3.2 HDFS命令
    3.3.3 HDFS管理員命令
項(xiàng)目4 MapReduce技術(shù)
  任務(wù)１認(rèn)識(shí)MapReduce
    4.1.1MapReduce簡(jiǎn)介
    4.1.2MapReduce編程模型概念
    4.1.3MapReduce架構(gòu)的基本概念
    4.1.4應(yīng)用實(shí)例——詞頻統(tǒng)計(jì)
    4.1.5使用Eclipse創(chuàng)建Java工程
    4.1.6WordCount代碼實(shí)現(xiàn)
  任務(wù)2 MapReduce編程基礎(chǔ)
    4.2.1 剖析MapReduce編程過(guò)程
    4.2.2 Map工作過(guò)程
    4.2.3 Reduce工作過(guò)程
   4.2.4 Job工作過(guò)程
    4.2.5 Shuffle過(guò)程
    4.2.6 MapReduce的輸入/輸出格式
    4.2.7 MapReduce的優(yōu)化
  任務(wù)3 MapReduce高級(jí)編程
    4.3.1 數(shù)據(jù)去重
    4.3.2 數(shù)據(jù)排序
項(xiàng)目5 Hadoop I/O操作
  任務(wù)１了解數(shù)據(jù)完整性
    5.1.1校驗(yàn)和
    5.1.2數(shù)據(jù)塊檢測(cè)程序
  任務(wù)2 基于文件的數(shù)據(jù)結(jié)構(gòu)
    5.2.1 SequenceFile存儲(chǔ)
    5.2.2 MapFile存儲(chǔ)
    5.2.3 SequenceFile轉(zhuǎn)換成MapFile
  任務(wù)3 壓縮
    5.3.1 Hadoop中壓縮格式的實(shí)現(xiàn)Codec
    5.3.2 本地庫(kù)
  任務(wù)4 序列化
    5.4.1 Hadoop序列化
    5.4.2 Writable和WritableComparable接口
    5.4.3 Writable類
項(xiàng)目6 HBase技術(shù)
  任務(wù)１了解HBase
    6.1.1 HBase是什么
    6.1.2 搭建HBase環(huán)境
  任務(wù)2 理解HBase體系架構(gòu)
    6.2.1 架構(gòu)簡(jiǎn)介
    6.2.2 理解HBase數(shù)據(jù)模型
    6.2.3 概念視圖
    6.2.4 物理視圖
    6.2.5 HBase的命名空間
    6.2.6 HBase表、行與列族
  任務(wù)3 HBase shell基本操作
  任務(wù)4 HBase API操作
    6.4.1 HBase API類
    6.4.2 HBase Java API操作
  任務(wù)5 基于HBase API的應(yīng)用
    6.5.1 Scan
    6.5.2 過(guò)濾器
    6.5.3 協(xié)處理器
    6.5.4 計(jì)數(shù)器
項(xiàng)目7 ZooKeeper技術(shù)
  任務(wù)１了解ZooKeeper
    7.1.1 ZooKeeper是什么
    7.1.2 ZooKeeper的特征
    7.1.3 ZooKeeper的架構(gòu)
    7.1.4 ZooKeeper的工作原理
    7.1.5 ZooKeeper數(shù)據(jù)模型
  任務(wù)2 搭建ZooKeeper 環(huán)境
    7.2.1 ZooKeeper準(zhǔn)備
    7.2.2 ZooKeeper配置
    7.2.3 啟動(dòng)ZooKeeper3.4.14
  任務(wù)3 ZooKeeper常用命令
    7.3.1 ZooKeeper客戶端命令
    7.3.2 ZooKeeper服務(wù)器命令
  任務(wù)4 ZooKeeper API操作
    7.4.1 ZooKeeper API 準(zhǔn)備
    7.4.2 ZooKeeper API應(yīng)用
項(xiàng)目8 分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive
  任務(wù)１認(rèn)識(shí)Hive
  任務(wù)2 Hive服務(wù)組成
  任務(wù)3 Hive的安裝和配置
    8.3.1 Hive的基本安裝
    8.3.2 MySQL的安裝
    8.3.3 Hive的配置
  任務(wù)4 Hive shell
  任務(wù)5 HiveQL詳解
    8.5.1 Hive數(shù)據(jù)管理方式
    8.5.2 Hive表DDL操作
    8.5.3 Hive表DML操作
項(xiàng)目9 分布式數(shù)據(jù)分析工具Pig
  任務(wù)1 了解Pig
  任務(wù)2 Pig的安裝
  任務(wù)3 Pig保留關(guān)鍵字
    9.3.1 Pig數(shù)據(jù)類型
    9.3.2 null
    9.3.3 Pig相關(guān)命令
  任務(wù)4 使用 Pig
    9.4.1 Pig 命令行選項(xiàng)
    9.4.2 Pig 的兩種運(yùn)行模式
    9.4.3 Pig的相關(guān) shell 命令詳解
    9.4.4 Pig程序運(yùn)行方式
    9.4.5 Pig輸入與輸出
  任務(wù)5 模式
  任務(wù)6 Pig相關(guān)函數(shù)詳解
    9.6.1 Pig常用函數(shù)
    9.6.2 數(shù)組操作函數(shù)
    9.6.3 過(guò)濾函數(shù)
    9.6.4 數(shù)據(jù)操作函數(shù)
    9.6.5 聚合函數(shù)
項(xiàng)目10 Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop
  任務(wù)1 Sqoop的安裝
  任務(wù)２ Sqoop配置
  任務(wù)3 Sqoop相關(guān)功能
    10.3.1 Sqoop基本操作
    10.3.2 使用Sqoop導(dǎo)入MySQL數(shù)據(jù)到HDFS
    10.3.3 使用Sqoop導(dǎo)出HDFS數(shù)據(jù)到MySQL
    10.3.4 使用Sqoop導(dǎo)入MySQL數(shù)據(jù)到Hive
    10.3.5 Sqoop Job
  任務(wù)4 Hive、Pig和Sqoop的關(guān)系
項(xiàng)目11 Hadoop實(shí)時(shí)數(shù)據(jù)處理技術(shù)
  任務(wù)1 Storm YARN
    11.1.1 Apache Storm的組成結(jié)構(gòu)
    11.1.2 Storm數(shù)據(jù)流
    11.1.3 Storm YARN產(chǎn)生的背景 
    11.1.4 Storm YARN功能介紹
  任務(wù)２Apache Spark
    11.2.1 Apache Spark的組成結(jié)構(gòu)
    11.2.2 Apache Spark的擴(kuò)展功能
  任務(wù)3 Storm與Spark的比較
參考文獻(xiàn) 

主編信息

劉淼，天津鐵道職業(yè)技術(shù)學(xué)院教師。

相關(guān)圖書