ClickHouse性能之巔：從架構(gòu)設(shè)計解讀性能之謎

贊譽
序1
序2
自序
前言
第一部分　架構(gòu)篇
第1章　數(shù)據(jù)倉庫的核心技術(shù)　3
1.1　OLAP和OLTP的本質(zhì)區(qū)別　4
1.1.1　數(shù)據(jù)三范式　4
1.1.2　規(guī)范化的意義　6
1.1.3　規(guī)范化的局限　7
1.1.4　數(shù)倉建模的本質(zhì)　7
1.1.5　OLAP和OLTP的底層數(shù)據(jù)模型　8
1.1.6　維度建?！?
1.2　典型大數(shù)據(jù)數(shù)倉技術(shù)及其核心思路　10
1.2.1　Hive　10
1.2.2　HBase　11
1.2.3　Kylin　12
1.2.4　其他數(shù)倉　13
1.3　傳統(tǒng)數(shù)倉的缺陷　13
1.3.1　效率低　13
1.3.2　延遲高　14
1.3.3　成本高　14
1.4　ClickHouse查詢性能的優(yōu)勢　15
1.4.1　向量化引擎　15
1.4.2　高效的數(shù)據(jù)壓縮　16
1.4.3　高效的I/O優(yōu)化　17
1.5　本章小結(jié)　18
第2章　ClickHouse簡介　19
2.1　ClickHouse的4個標簽　19
2.1.1　性能強大　19
2.1.2　單機處理能力強　20
2.1.3　成本低　21
2.1.4　不支持事務(wù)　21
2.2　ClickHouse的3個適用場景　22
2.2.1　BI報表的交互式分析　22
2.2.2　互聯(lián)網(wǎng)日志分析　22
2.2.3　廣告營銷　23
2.3　本章小結(jié)　24
第3章　ClickHouse架構(gòu)概覽　25
3.1　ClickHouse架構(gòu)簡介　26
3.2　ClickHouse的核心抽象　27
3.2.1　列和字段　27
3.2.2　數(shù)據(jù)類型　28
3.2.3　塊　32
3.2.4　表　33
3.3　ClickHouse的運作過程　35
3.3.1　數(shù)據(jù)插入過程　35
3.3.2　數(shù)據(jù)查詢過程　35
3.3.3　數(shù)據(jù)更新和數(shù)據(jù)刪除過程　36
3.4　本章小結(jié)　37
第4章　MergeTree存儲引擎架構(gòu)　39
4.1　MergeTree存儲引擎的三大特點　40
4.2　MergeTree的數(shù)據(jù)組織　41
4.2.1　塊　41
4.2.2　數(shù)據(jù)堆放方式　41
4.3　MergeTree的文件組織　43
4.3.1　數(shù)據(jù)文件、元數(shù)據(jù)文件、索引文件和其他文件　45
4.3.2　分區(qū)　47
4.3.3　數(shù)據(jù)庫和表　48
4.4　索引　49
4.4.1　主鍵索引　49
4.4.2　標記　49
4.5　與事務(wù)數(shù)據(jù)庫存儲引擎的對比　50
4.6　存儲引擎如何影響查詢速度　52
4.6.1　預排序　52
4.6.2　列存　52
4.6.3　壓縮　53
4.7　MergeTree存儲引擎的工作過程　53
4.7.1　數(shù)據(jù)庫、數(shù)據(jù)表的創(chuàng)建過程　54
4.7.2　數(shù)據(jù)插入過程　54
4.7.3　分區(qū)合并和刪除過程　54
4.7.4　數(shù)據(jù)讀取過程　56
4.8　本章小結(jié)　59
第5章　ClickHouse計算引擎架構(gòu)　61
5.1　ClickHouse計算引擎的架構(gòu)簡介與設(shè)計思想　61
5.1.1　整體架構(gòu)　62
5.1.2　SQL解析器　62
5.1.3　解釋器　63
5.1.4　執(zhí)行器　63
5.1.5　設(shè)計思想　64
5.2　火山模型　65
5.2.1　火山模型概述　65
5.2.2　火山模型的原理　66
5.2.3　火山模型的優(yōu)點與缺點　67
5.3　向量化引擎　67
5.3.1　向量化引擎的實現(xiàn)方式　68
5.3.2　ClickHouse中的向量化算子　69
5.3.3　向量化引擎的前提　70
5.4　計算引擎如何影響查詢速度　72
5.4.1　ClickHouse查詢速度快的前提　72
5.4.2　ClickHouse查詢速度快的本質(zhì)　74
5.5　本章小結(jié)　74
第6章　ClickHouse與其他數(shù)倉架構(gòu)的對比　75
6.1　ClickHouse與Hive的對比　75
6.1.1　Hive的數(shù)據(jù)文件　76
6.1.2　Hive的存儲系統(tǒng)　82
6.1.3　Hive計算引擎與ClickHouse計算引擎的差異　84
6.1.4　ClickHouse比Hive查詢速度快的原因　85
6.2　ClickHouse與HBase的對比　86
6.2.1　HBase的數(shù)據(jù)模型　86
6.2.2　HBase的存儲系統(tǒng)與ClickHouse的異同　87
6.2.3　HBase的適用場景及ClickHouse不適合的原因　87
6.3　ClickHouse與Kylin的對比　88
6.3.1　Kylin的架構(gòu)　88
6.3.2　Kylin解決性能問題的思路　88
6.3.3　Kylin方案的缺陷　89
6.3.4　ClickHouse的方案　89
6.4　本章小結(jié)　91
第7章　深度思考：決定外在能力的因素　93
7.1　從架構(gòu)層面分析ClickHouse　93
7.1.1　ClickHouse速度快的前提　93
7.1.2　對ClickHouse的一些誤解　94
7.2　結(jié)構(gòu)決定功能　95
7.2.1　方法論　96
7.2.2　意義　97
7.2.3　不要過度設(shè)計　98
7.3　從ClickHouse的設(shè)計來理解　99
7.3.1　結(jié)構(gòu)決定能力的上限　99
7.3.2　結(jié)構(gòu)決定應(yīng)用層算法　99
7.4　本章小結(jié)　100
第二部分　實戰(zhàn)篇
第8章　ClickHouse使用技巧　105
8.1　數(shù)據(jù)導入、導出技巧　105
8.1.1　外部文件導入、導出技巧　105
8.1.2　靈活使用集成表引擎導入、導出數(shù)據(jù)　109
8.2　建表技巧　117
8.2.1　表引擎選擇技巧　118
8.2.2　分區(qū)鍵選擇技巧　120
8.2.3　數(shù)據(jù)結(jié)構(gòu)選擇技巧　120
8.2.4　分區(qū)技巧　121
8.3　高級技巧　121
8.3.1　物化視圖　121
8.3.2　投影　122
8.3.3　位圖　122
8.3.4　變更數(shù)據(jù)捕獲　123
8.4　常見報錯及處理方法　123
8.5　本章小結(jié)　124
第9章　ClickHouse實現(xiàn)用戶畫像系統(tǒng)　125
9.1　用戶畫像概述　125
9.1.1　用戶畫像系統(tǒng)介紹　125
9.1.2　用戶畫像系統(tǒng)的需求描述　127
9.1.3　用戶畫像系統(tǒng)的需求分析　127
9.1.4　用戶畫像系統(tǒng)的架構(gòu)　128
9.2　用戶畫像系統(tǒng)的關(guān)鍵技術(shù)實現(xiàn)　129
9.2.1　技術(shù)選型　129
9.2.2　分析階段　130
9.2.3　運營階段　136
9.3　基于ClickHouse的用戶畫像系統(tǒng)的優(yōu)點　137
9.4　本章小結(jié)　139
第10章　ClickHouse的存算分離架構(gòu)　141
10.1　存算分離架構(gòu)背景　141
10.1.1　相關(guān)概述　141
10.1.2　存算分離的典型架構(gòu)　142
10.1.3　存算分離的意義　143
10.1.4　存算分離的局限　145
10.2　ClickHouse中的存算分離　147
10.2.1　實現(xiàn)方式　147
10.2.2　注意事項　150
10.3　存算分離架構(gòu)給ClickHouse帶來的優(yōu)勢　151
10.4　本章小結(jié)　152
第11章　ClickHouse的分布式架構(gòu)　153
11.1　架構(gòu)特點及對比　153
11.1.1　ClickHouse分布式架構(gòu)的優(yōu)點　154
11.1.2　ClickHouse分布式架構(gòu)的缺點　155
11.1.3　ClickHouse與Hadoop的分布式架構(gòu)對比　156
11.2　基本概念　156
11.2.1　集群　157
11.2.2　副本　158
11.2.3　分片　159
11.3　ClickHouse的復制表引擎　160
11.3.1　創(chuàng)建復制表　160
11.3.2　復制表復制　161
11.3.3　復制表查詢　161
11.4　ClickHouse分布式表引擎　162
11.4.1　創(chuàng)建分布式表　162
11.4.2　分布式表查詢原理　163
11.4.3　分布式表的數(shù)據(jù)寫入方案　165
11.4.4　分布式表中副本的處理方式　165
11.5　本章小結(jié)　166
第12章　ClickHouse性能優(yōu)化　167
12.1　性能優(yōu)化的原則　167
12.2　數(shù)據(jù)結(jié)構(gòu)優(yōu)化　168
12.3　內(nèi)存優(yōu)化　171
12.4　磁盤優(yōu)化　171
12.5　網(wǎng)絡(luò)優(yōu)化　173
12.6　CPU優(yōu)化　173
12.7　查詢優(yōu)化　174
12.8　數(shù)據(jù)遷移優(yōu)化　176
12.9　本章小結(jié)　177