大數(shù)據(jù)實(shí)時(shí)計(jì)算與應(yīng)用

目錄
第1章分布式實(shí)時(shí)計(jì)算系統(tǒng)
1.1分布式的概念
1.1.1分布式系統(tǒng)
1.1.2分布式計(jì)算
1.2分布式通信
1.2.1分布式通信基礎(chǔ)
1.2.2消息隊(duì)列
1.2.3Storm計(jì)算模型
1.3分布式實(shí)時(shí)計(jì)算系統(tǒng)架構(gòu)
1.3.1數(shù)據(jù)獲取——Kafka
1.3.2數(shù)據(jù)處理——Storm
1.3.3數(shù)據(jù)存儲(chǔ)——HBase
1.4系統(tǒng)架構(gòu)
本章小結(jié)
習(xí)題
第2章初識(shí)Kafka
2.1什么是Kafka
2.1.1Kafka概述
2.1.2使用場(chǎng)景
2.1.3Kafka基本特性
2.1.4性能
2.1.5總結(jié)
2.1.6Kafka在LinkedIn中的應(yīng)用
2.2Topics和logs
2.3分布式——consumers和producers
本章小結(jié)
習(xí)題
第3章Kafka環(huán)境搭建
3.1服務(wù)器搭建
3.2開發(fā)環(huán)境搭建
本章小結(jié)
習(xí)題
第4章Kafka消息傳送
4.1消息傳輸?shù)氖聞?wù)定義
4.2性能優(yōu)化
4.2.1消息集
4.2.2數(shù)據(jù)壓縮
4.3生產(chǎn)者和消費(fèi)者
4.3.1Kafka生產(chǎn)者的消息發(fā)送
4.3.2Kafka consumer
4.4主從同步
4.5客戶端API
4.5.1Kafka producer API
4.5.2Kafka consumer API
4.6消息和日志
本章小結(jié)
習(xí)題



第5章Zookeeper開發(fā)
5.1Zookeeper的來源
5.2Zookeeper基礎(chǔ)
5.2.1基本概念
5.2.2Zookeeper架構(gòu)
5.3Zookeeper的API
5.3.1建立會(huì)話
5.3.2管理權(quán)
5.3.3節(jié)點(diǎn)注冊(cè)
5.3.4任務(wù)隊(duì)列化
5.4狀態(tài)變化處理
5.5故障處理
5.6Zookeeper集群管理
5.6.1集群配置
5.6.2集群管理
本章小結(jié)
習(xí)題
第6章初識(shí)HBase
6.1什么是HBase
6.1.1大數(shù)據(jù)的背景
6.1.2HBase架構(gòu)
6.1.3HBase存儲(chǔ)API
6.2HBase部署
6.2.1HBase配置及安裝
6.2.2運(yùn)行模式
6.2.3集群操作
本章小結(jié)
習(xí)題
第7章HBase基礎(chǔ)操作
7.1CRUD操作
7.1.1Put操作
7.1.2Get操作
7.1.3Delete操作
7.2批處理操作
7.3行鎖
7.4掃描
7.5其他操作
7.5.1HTable方法
7.5.2Bytes方法
本章小結(jié)
習(xí)題
第8章HBase高階特性
8.1過濾器
8.1.1什么是過濾器
8.1.2比較過濾器
8.1.3專用過濾器
8.1.4附加過濾器
8.2計(jì)數(shù)器
8.2.1什么是計(jì)數(shù)器
8.2.2單計(jì)數(shù)器及多計(jì)數(shù)器
8.3協(xié)處理器
8.3.1什么是協(xié)處理器
8.3.2協(xié)處理器API應(yīng)用
本章小結(jié)
習(xí)題
第9章管理HBase
9.1HBase數(shù)據(jù)描述
9.1.1表
9.1.2列簇
9.1.3屬性
9.2表管理API
9.2.1基礎(chǔ)操作
9.2.2集群管理
本章小結(jié)
習(xí)題
第10章初識(shí)Storm
10.1什么是Storm
10.1.1Storm能做什么
10.1.2Storm的特性
10.1.3Storm分布式計(jì)算結(jié)構(gòu)
10.2構(gòu)建topology
10.2.1Storm的基本概念
10.2.2構(gòu)建topology
10.2.3示例： 單詞計(jì)數(shù)
10.3Storm并發(fā)機(jī)制
10.3.1topology并發(fā)機(jī)制
10.3.2給topology增加Worker
10.3.3配置Executor和task
10.4數(shù)據(jù)流分組的理解
10.5消息的可靠處理
10.5.1消息被處理后會(huì)發(fā)生什么
10.5.2Storm可靠性的實(shí)現(xiàn)方法
10.5.3調(diào)整可靠性
本章小結(jié)
習(xí)題
第11章配置Storm集群
11.1Storm集群框架介紹
11.1.1理解nimbus守護(hù)進(jìn)程
11.1.2supervisor守護(hù)進(jìn)程的工作方式
11.1.3DRPC服務(wù)工作機(jī)制
11.1.4Storm的UI簡(jiǎn)介
11.2在Linux上安裝Storm
11.2.1搭建Zookeeper集群
11.2.2安裝Storm依賴庫(kù)
11.2.3下載并解壓Storm發(fā)布版本
11.2.4修改storm.yaml配置文件
11.2.5啟動(dòng)Storm后臺(tái)進(jìn)程
11.3將topology提交到集群上
本章小結(jié)
習(xí)題
第12章Trident和TridentML
12.1Trident topology
12.1.1Trident綜述
12.1.2Reach
12.1.3字段和元組
12.1.4狀態(tài)
12.1.5Trident topology的執(zhí)行
12.2Trident接口
12.2.1綜述
12.2.2本地分區(qū)操作
12.2.3重新分區(qū)操作
12.2.4群聚操作
12.2.5流分組操作
12.2.6合并和連接
12.3Trident狀態(tài)
12.3.1事務(wù)spouts
12.3.2透明事務(wù)spouts
12.3.3非事務(wù)spouts
12.3.4Spout和State總結(jié)
12.3.5State應(yīng)用接口
12.3.6MapState的更新
12.3.7執(zhí)行MapState
12.4TridentML： 基于storm的實(shí)時(shí)在線機(jī)器學(xué)習(xí)庫(kù)
本章小結(jié)
習(xí)題
第13章DRPC模式
13.1DRPC概述
13.2DRPC自動(dòng)化組件
13.3本地模式DRPC
13.4遠(yuǎn)程模式DRPC
13.5一個(gè)更復(fù)雜的例子
本章小結(jié)
習(xí)題
第14章Storm實(shí)戰(zhàn)
14.1網(wǎng)站頁面瀏覽量計(jì)算
14.1.1背景介紹
14.1.2體系結(jié)構(gòu)
14.1.3項(xiàng)目相關(guān)介紹
14.1.4Storm編碼實(shí)現(xiàn)
14.1.5運(yùn)行topology
14.2網(wǎng)站用戶訪問量計(jì)算
14.2.1背景介紹
14.2.2Storm代碼實(shí)現(xiàn)
14.2.3運(yùn)行topology
本章小結(jié)
習(xí)題
參考文獻(xiàn)