大數(shù)據(jù)平臺基礎架構(gòu)指南

第1章 大數(shù)據(jù)平臺整體建設思想 1
1．1 什么是大數(shù)據(jù)平臺 1
1．2 大數(shù)據(jù)平臺的建設目標 3
1．2．1 別人的大數(shù)據(jù)平臺是怎樣的 3
1．2．2 和業(yè)內(nèi)領先的大數(shù)據(jù)平臺的差距 4
1．2．3 大數(shù)據(jù)平臺建設目標小結(jié) 6
1．3 大數(shù)據(jù)平臺的建設指導方針 6
1．3．1 組件工具化 7
1．3．2 工具平臺化 8
1．3．3 平臺服務化 9
1．3．4 平臺產(chǎn)品化 10
1．3．5 對中小公司大數(shù)據(jù)平臺的適用性 11
1．4 大數(shù)據(jù)平臺的兩種建設路徑 12
1．4．1 垂直業(yè)務領域一站到底的建設方式 13
1．4．2 通用組件建設，組合支持業(yè)務的方式 13
1．4．3 從蘑菇街平臺的實踐經(jīng)驗對比兩種建設路徑 14
1．4．4 兩種建設路徑的對比小結(jié) 16
第2章 服務意識和產(chǎn)品思想的培養(yǎng) 17
2．1 明確大數(shù)據(jù)平臺服務能力的評估標準 17
2．1．1 大數(shù)據(jù)平臺團隊的職能定位 18
2．1．2 打通上下游系統(tǒng)和業(yè)務流程的能力 18
2．2 滿足用戶真正的需求 19
2．3 認清服務的代價，做好心理建設 20
2．4 尋找解決服務代價問題的方案 23
2．4．1 路線選擇帶來的代價問題 23
2．4．2 如何降低服務自身的代價 25
2．5 大數(shù)據(jù)平臺的產(chǎn)品化思想 29
2．5．1 從用戶體驗的角度談產(chǎn)品設計 31
2．5．2 從價值和利益的角度談產(chǎn)品思維 36
2．6 小結(jié) 38
第3章 工作流（作業(yè)）調(diào)度系統(tǒng) 39
3．1 作業(yè)調(diào)度系統(tǒng)基礎理論 40
3．1．1 調(diào)度系統(tǒng)分類 40
3．1．2 工作流調(diào)度系統(tǒng)的兩種心法流派 45
3．1．3 工作流調(diào)度系統(tǒng)功能特性詳解 49
3．2 Jarvis調(diào)度系統(tǒng)產(chǎn)品開發(fā)實踐 55
3．2．1 需求定位分析 55
3．2．2 具體功能目標的詳細分析和實踐 57
3．2．3 第二代Jarvis現(xiàn)狀和將來 75
3．3 小結(jié) 79
第4章 集成開發(fā)環(huán)境門戶建設 81
4．1 集成開發(fā)環(huán)境的功能定位 82
4．1．1 集成開發(fā)環(huán)境的整體服務思路 83
4．1．2 集成開發(fā)環(huán)境的具體產(chǎn)品建設目標 86
4．1．3 小結(jié) 93
4．2 開發(fā)平臺測試環(huán)境建設 94
4．2．1 問題背景 94
4．2．2 系統(tǒng)功能性測試環(huán)境 95
4．2．3 數(shù)據(jù)業(yè)務類測試環(huán)境 96
4．2．4 小結(jié) 100
第5章 數(shù)據(jù)采集、傳輸、交換、同步服務 101
5．1 數(shù)據(jù)交換服務場景和常見開源方案 102
5．1．1 大數(shù)據(jù)平臺數(shù)據(jù)交換服務業(yè)務場景 102
5．1．2 常見數(shù)據(jù)交換服務解決方案介紹 103
5．2 數(shù)據(jù)交換服務具體產(chǎn)品實踐 110
5．2．1 數(shù)據(jù)交換服務底層組件 110
5．2．2 數(shù)據(jù)交換服務管控平臺 113
5．2．3 蘑菇街數(shù)據(jù)交換服務的實踐現(xiàn)狀和未來改進計劃 118
5．3 用戶行為鏈路分析之日志埋點采集跟蹤方案實踐 120
5．3．1 記日志有什么難的 120
5．3．2 蘑菇街的用戶行為日志采集方案實踐 122
5．3．3 小結(jié) 129
第6章 數(shù)據(jù)可視化平臺 130
6．1 什么是數(shù)據(jù)可視化平臺 130
6．1．1 數(shù)據(jù)可視化平臺名詞定義 131
6．1．2 已經(jīng)有了那么多商業(yè)BI系統(tǒng)，為什么還要造輪子 132
6．2 數(shù)據(jù)可視化平臺產(chǎn)品實踐 134
6．2．1 可視化平臺產(chǎn)品定位和需求分析 135
6．2．2 具體產(chǎn)品功能需求實踐詳解 136
6．2．3 將來的改進目標 146
6．2．4 產(chǎn)品實踐小結(jié) 148
第7章 安全與權(quán)限管控 149
7．1 權(quán)限管理的目標是什么 149
7．1．1 適度安全，降低人為風險 150
7．1．2 隔離環(huán)境，提高工作效率 151
7．1．3 權(quán)責明晰，規(guī)范業(yè)務流程 152
7．1．4 權(quán)限管理目標小結(jié) 153
7．2 如何解決安全和便利的矛盾 153
7．2．1 安全和便利天生矛盾 153
7．2．2 改變角度，轉(zhuǎn)移目標 154
7．2．3 把握尺度 155
7．2．4 可能的變通措施 157
7．2．5 思想小結(jié) 163
7．3 權(quán)限管控系統(tǒng)產(chǎn)品方案和技術(shù)分析 163
7．3．1 常見開源方案 164
7．3．2 Kerberos 165
7．3．3 Sentry和Ranger 168
7．3．4 Knox 169
7．3．5 開源項目中常見的權(quán)限模型概念 169
7．4 基于開發(fā)平臺服務入口的權(quán)限管控方案 171
7．4．1 權(quán)限管控方案實踐 171
7．4．2 底層統(tǒng)一權(quán)限管控和平臺邊界權(quán)限管控方案對比 173
第8章 數(shù)據(jù)質(zhì)量管理 175
8．1 元數(shù)據(jù)管理平臺 176
8．1．1 元數(shù)據(jù)管理平臺管理什么 176
8．1．2 元數(shù)據(jù)管理相關系統(tǒng)方案介紹 180
8．1．3 元數(shù)據(jù)管理系統(tǒng)工程實踐 183
8．2 DQC數(shù)據(jù)質(zhì)量中心 185
8．2．1 DQC數(shù)據(jù)質(zhì)量中心業(yè)界方案 186
8．2．2 DQC數(shù)據(jù)質(zhì)量系統(tǒng)建設實踐 188
8．3 數(shù)據(jù)質(zhì)量管理小結(jié) 193
第9章 大數(shù)據(jù)集群遷移經(jīng)驗談 195
9．1 集群遷移都要面對哪些麻煩事 196
9．1．1 集群和機房外部環(huán)境問題 196
9．1．2 平臺自身組件和服務依賴問題 196
9．1．3 業(yè)務模式和溝通配合問題 197
9．1．4 業(yè)務邏輯和數(shù)據(jù)正確性問題 198
9．2 集群搬遷方案的總體目標、原則、流程 199
9．3 一些具體問題的分析和實踐 201
9．3．1 如何保證正確性 201
9．3．2 集群數(shù)據(jù)同步拷貝方案 205
9．3．3 各種無法雙跑的業(yè)務場景梳理 207
9．4 小結(jié) 208
第10章 談談大數(shù)據(jù)碼農(nóng)的職業(yè)發(fā)展問題 210
10．1 如何成為一名糟糕的大數(shù)據(jù)平臺工程師 211
10．1．1 我是小白我怕誰 211
10．1．2 敏而好學，不恥下問 212
10．1．3 效率優(yōu)先，中文至上 213
10．1．4 流行的就是最好的 213
10．1．5 我們的征途，是星辰大海 215
10．1．6 書中自有顏如玉，熱衷閱讀代碼 216
10．1．7 謎之問題的謎之解決方式 218
10．1．8 勤奮好學，但是回頭即忘 220
10．1．9 小結(jié) 221
10．2 職業(yè)選擇和我們早晚要面對的中年危機問題 222
10．2．1 中年危機，要從娃娃抓起 222
10．2．2 中年危機之抗焦慮指南 223
10．2．3 如何才能獲得自由 225
10．2．4 案例 230
10．2．5 小結(jié) 233