Storm技術(shù)內(nèi)幕與大數(shù)據(jù)實踐

第1章　緒論
　1.1　Storm的基本組件
　　1.1.1　集群組成
　　1.1.2　核心概念
　　1.1.3　Storm的可靠性
　　1.1.4　Storm的特性
　1.2　其他流式處理框架
　　1.2.1　Apache S4
　　1.2.2　Spark Streaming
　　1.2.3　流計算和Storm的應(yīng)用
第2章　實時平臺介紹
　2.1　實時平臺架構(gòu)介紹
　2.2　Kafka架構(gòu)
　　2.2.1　Kafka的基本術(shù)語和概念
　　2.2.2　Kafka在實時平臺中的應(yīng)用
　　2.2.3　消息的持久化和順序讀寫
　　2.2.4　sendfile系統(tǒng)調(diào)用和零復(fù)制
　　2.2.5　Kafka的客戶端
　　2.2.6　Kafka的擴(kuò)展
　2.3　大眾點評實時平臺
　　2.3.1　相關(guān)數(shù)據(jù)
　　2.3.2　實時平臺簡介
　　2.3.3　Blackhole
　2.4　1號店實時平臺
第3章　Storm集群部署和配置
　3.1　Storm的依賴組件
　3.2　Storm的部署環(huán)境
　3.3　部署Storm服務(wù)
　　3.3.1　部署ZooKeeper
　　3.3.2　部署Storm
　　3.3.3　配置Storm
　3.4　啟動Storm
　3.5　Storm的守護(hù)進(jìn)程
　3.6　部署Storm的其他節(jié)點
　3.7　提交Topology
第4章　Storm內(nèi)部剖析
　4.1　Storm客戶端
　4.2　Nimbus
　　4.2.1　啟動Nimbus服務(wù)
　　4.2.2　Nimbus服務(wù)的執(zhí)行過程
　　4.2.3　分配Executor
　　4.2.4　調(diào)度器
　　4.2.5　默認(rèn)調(diào)度器DefaultScheduler
　　4.2.6　均衡調(diào)度器EvenScheduler
　4.3　Supervisor
　　4.3.1　ISupervisor接口
　　4.3.2　Supervisor的共享數(shù)據(jù)
　　4.3.3　Supervisor的執(zhí)行過程
　4.4　Worker
　　4.4.1　Worker中的數(shù)據(jù)流
　　4.4.2　創(chuàng)建Worker的過程
　4.5　Executor
　　4.5.1　Executor的創(chuàng)建
　　4.5.2　創(chuàng)建Spout的Executor
　　4.5.3　創(chuàng)建Bolt的Executor
　4.6　Task
　　4.6.1　Task的上下文對象
　　4.6.2　Task的創(chuàng)建
　4.7　Storm中的統(tǒng)計
　　4.7.1　stats框架
　　4.7.2　metric框架
　4.8　Ack框架
　　4.8.1　Ack的原理
　　4.8.2　Acker Bolt
　4.9　Storm總體架構(gòu)
第5章　Storm運(yùn)維和監(jiān)控
　5.1　主機(jī)信息監(jiān)控
　5.1　日志和監(jiān)控
　5.2　Storm UI和NimbusClient
　5.3　Storm Metric的使用
　5.4　Storm ZooKeeper的目錄
　5.5　Storm Hook的使用
第6章　Storm的擴(kuò)展
　6.1　Storm UI的擴(kuò)展
　　6.1.1　Storm UI原生功能
　　6.1.2　Storm UI新功能需求
　　6.1.3　Storm的Thrift接口
　6.2　資源隔離
　　6.2.1　CGroup測試
　　6.2.2　基于CGroup的資源隔離的實現(xiàn)
第7章　Storm開發(fā)
　7.1　簡單示例
　7.2　調(diào)試和日志
　7.3　Storm Trident
　7.4　Strom DRPC
第8章　基于Storm的實時數(shù)據(jù)平臺
　8.1　Hadoop到Storm的代碼遷移經(jīng)驗
　8.2　實時用戶畫像
　　8.2.1　簡單實時畫像
　　8.2.2　實時畫像優(yōu)化
　　8.2.3　實時畫像的毫秒級更新
　8.3　其他場景畫像
　8.4　畫像的興趣度模型構(gòu)建
　8.5　外部畫像融合經(jīng)驗分享
　8.6　交互式查詢和分析用戶畫像
　8.7　實時產(chǎn)品和店鋪信息更新
第9章　大數(shù)據(jù)應(yīng)用案例
　9.1　實時DAU計算
　9.2　實時個性化推薦
　　9.2.1　推薦系統(tǒng)介紹
　　9.2.2　實時推薦系統(tǒng)的方法
　　9.2.3　基于Storm的實時推薦系統(tǒng)
　9.3　廣告投放的精準(zhǔn)化
　　9.3.1　點擊率預(yù)測
　　9.3.2　搜索引擎營銷
　　9.3.3　精準(zhǔn)化營銷與千人千面
　9.4　實時意圖和搜索
　　9.4.1　用戶意圖預(yù)測
　　9.4.2　搜索比價
　　9.4.3　搜索排序
第10章　Storm使用經(jīng)驗和性能優(yōu)化
　10.1　使用經(jīng)驗
　　10.1.1　使用rebalance命令動態(tài)調(diào)整并發(fā)度
　　10.1.2　使用tick消息做定時器
　　10.1.3　使用組件的并行度代替線程池
　　10.1.4　不要用DRPC批量處理大數(shù)據(jù)
　　10.1.5　不要在Spout中處理耗時的操作
　　10.1.6　log4j的使用技巧
　　10.1.7　注意fieldsGrouping的數(shù)據(jù)均衡性
　　10.1.8　優(yōu)先使用localOrShuffleGrouping
　　10.1.9　設(shè)置合理的MaxSpoutPending值
　　10.1.10　設(shè)置合理的Worker數(shù)
　　10.1.11　平衡吞吐量和時效性
　10.2　性能優(yōu)化
　　10.2.1　找到Topology的性能瓶頸
　　10.2.2　GC參數(shù)優(yōu)化
　　10.3　性能優(yōu)化原則
　附錄A　Kafka原理
　附錄B　將Storm源碼導(dǎo)入Eclipse