Flink核心技術(shù)：源碼剖析與特性開發(fā)

第 一部分 設(shè)計思想篇
第 1章 序篇　3
1．1 Flink的誕生與發(fā)展　3
1．1．1 Stratosphere項目　3
1．1．2 Apache Flink的發(fā)展　4
1．2 Flink的應(yīng)用場景　5
1．2．1 事件驅(qū)動型應(yīng)用　5
1．2．2 數(shù)據(jù)分析型應(yīng)用　5
1．2．3 數(shù)據(jù)管道型應(yīng)用　9
1．3 Flink的核心特性與架構(gòu)　9
1．3．1 核心特性　9
1．3．2 架構(gòu)　10
1．4 準(zhǔn)備工作　11
1．5 總結(jié)　12
第 2章 Flink編程　13
2．1 API層級　13
2．2 DataStream API　14
2．2．1 DataStream版本的
WordCount　14
2．2．2 數(shù)據(jù)源　16
2．2．3 數(shù)據(jù)的轉(zhuǎn)換操作　16
2．2．4 數(shù)據(jù)的輸出　20
2．2．5 重分區(qū)　21
2．3 DataSet API　21
2．3．1 DataSet版本的WordCount　21
2．3．2 數(shù)據(jù)源　22
2．3．3 數(shù)據(jù)的轉(zhuǎn)換操作　22
2．3．4 數(shù)據(jù)的輸出　24
2．3．5 重分區(qū)　25
2．4 Table API　25
2．4．1 Table API版本的WordCount　25
2．4．2 初始化執(zhí)行環(huán)境　26
2．4．3 獲取Table對象　28
2．4．4 Table API中的轉(zhuǎn)換操作及輸出　28
2．5 SQL　34
2．6 總結(jié)　34
第3章 Flink API層的實現(xiàn)原理　36
3．1 DataStream API　37
3．1．1 StreamExecutionEnvironment執(zhí)行環(huán)境　37
3．1．2 Function接口分析　42
3．1．3 StreamOperator算子分析　45
3．1．4 轉(zhuǎn)換操作分析　48
3．1．5 數(shù)據(jù)流相關(guān)類分析　53
3．2 DataSet API　59
3．2．1 ExecutionEnvironment執(zhí)行環(huán)境　59
3．2．2 InputFormat和OutputFormat　62
3．2．3 數(shù)據(jù)集相關(guān)類分析　63
3．3 Table API和SQL　68
3．4 總結(jié)　71
第4章 Flink的執(zhí)行圖　72
4．1 StreamGraph的生成　73
4．1．1 StreamGraphGenerator分析　73
4．1．2 StreamGraph分析　77
4．1．3 StreamNode和StreamEdge　80
4．2 Plan的生成　81
4．2．1 OperatorTranslation分析　82
4．2．2 Plan分析　84
4．3 從StreamGraph到JobGraph　85
4．3．1 StreamingJobGraphGenerator分析　87
4．3．2 JobGraph分析　93
4．3．3 JobVertex、JobEdge和IntermediateDataSet　94
4．4 從Plan到JobGraph　95
4．5 從JobGraph到ExecutionGraph　96
4．5．1 ExecutionGraphBuilder分析　98
4．5．2 ExecutionGraph分析　99
4．5．3 ExecutionJobVertex、ExecutionVertex和Execution分析　102
4．5．4 IntermediateResult、IntermediateResultPartition和ExecutionEdge　106
4．6 總結(jié)　108
第5章 Flink的運(yùn)行時架構(gòu)　109
5．1 客戶端代碼的運(yùn)行　110
5．2 高可用相關(guān)組件　115
5．2．1 EmbeddedHaServices　115
5．2．2 EmbeddedLeaderService　117
5．3 派發(fā)器的初始化與啟動　122
5．4 資源管理器的初始化與啟動　128
5．5 TaskExecutor的初始化與啟動　131
5．6 JobMaster的初始化與啟動　134
5．7 總結(jié)　137
第6章 任務(wù)調(diào)度　138
6．1 調(diào)度器　138
6．1．1 調(diào)度器的基本構(gòu)成與初始化　139
6．1．2 構(gòu)造ExecutionGraph　142
6．2 調(diào)度拓?fù)洹?43
6．3 調(diào)度策略　147
6．3．1 EagerSchedulingStrategy　147
6．3．2 LazyFromSourcesSchedulingStrategy　149
6．3．3 InputDependencyConstraintChecker　152
6．4 調(diào)度過程的實現(xiàn)　157
6．4．1 開始調(diào)度　157
6．4．2 更新任務(wù)狀態(tài)　159
6．4．3 調(diào)度或更新消費(fèi)者　163
6．5 任務(wù)的部署　163
6．6 Execution對象在調(diào)度過程中的行為　166
6．7 總結(jié)　173
第7章 任務(wù)的生命周期　174
7．1 任務(wù)的提交　174
7．1．1 TaskDeploymentDescriptor　176
7．1．2 ResultPartitionDeployment Descriptor　178
7．1．3 InputGateDeployment Descriptor　180
7．1．4 ShuffleDescriptor　181
7．1．5 ProducerDescriptor和PartitionDescriptor　185
7．1．6 TaskDeploymentDescriptor的提交　188
7．2 任務(wù)的初始化　189
7．2．1 Task的初始化　189
7．2．2 ResultPartition的初始化　191
7．2．3 InputGate的初始化　194
7．3 任務(wù)的執(zhí)行　197
7．3．1 StreamTask的初始化　202
7．3．2 StreamTask中的重要概念　204
7．3．3 StreamTask的實現(xiàn)類　219
7．3．4 StreamTask的生命周期　222
7．3．5 DataSourceTask、BatchTask和DataSinkTask　227
7．4 總結(jié)　237
第8章 數(shù)據(jù)傳輸　238
8．1 基本概念與設(shè)計思想　238
8．1．1 從邏輯執(zhí)行圖到物理執(zhí)行圖　239
8．1．2 用同一套模型應(yīng)對批處理和流處理　242
8．1．3 混洗　242
8．1．4 流量控制　245
8．2 數(shù)據(jù)的輸出　252
8．2．1 ResultPartitionType　253
8．2．2 ResultPartitionWriter　256
8．2．3 ResultSubpartition　262
8．3 數(shù)據(jù)的讀取　265
8．3．1 ResultSubpartitionView　266
8．3．2 InputGate　269
8．3．3 InputChannel　273
8．4 反壓機(jī)制的原理　278
8．5 總結(jié)　283
第9章 時間與窗口　284
9．1 基本概念和設(shè)計思想　284
9．1．1 從批處理到流處理　284
9．1．2 數(shù)據(jù)流模型的設(shè)計思想　287
9．1．3 Flink中與窗口操作相關(guān)的核心概念　289
9．2 WindowedStream　290
9．3 窗口相關(guān)模型的實現(xiàn)　292
9．3．1 Window類　292
9．3．2 WindowAssigner類　293
9．3．3 Trigger類　294
9．3．4 Evictor類　296
9．4 WindowOperator　297
9．5 水位線　299
9．5．1 產(chǎn)生水位線　300
9．5．2 多個數(shù)據(jù)流傳來的水位　303
9．6 定時器　304
9．7 總結(jié)　307
第 10章 狀態(tài)與容錯　308
10．1 基本概念與設(shè)計思想　308
10．1．1 狀態(tài)與容錯的基本概念　308
10．1．2 Hadoop與Spark如何設(shè)計容錯機(jī)制　311
10．1．3 Flink中容錯機(jī)制的設(shè)計思想　311
10．1．4 Flink的狀態(tài)與容錯機(jī)制的核心概念　313
10．2 狀態(tài)存儲　315
10．2．1 檢查點(diǎn)的觸發(fā)　316
10．2．2 柵欄的傳輸　323
10．2．3 狀態(tài)數(shù)據(jù)的更新和存儲　331
10．2．4 元信息的存儲　336
10．3 狀態(tài)恢復(fù)　341
10．3．1 元信息的讀取　342
10．3．2 狀態(tài)的重分配　344
10．3．3 狀態(tài)數(shù)據(jù)的恢復(fù)　347
10．4 狀態(tài)的重分配策略　349
10．4．1 操作符狀態(tài)的重分配　350
10．4．2 鍵控狀態(tài)的重分配　352
10．5 總結(jié)　353
第二部分 特性開發(fā)篇
第 11章 動態(tài)調(diào)整并行度　357
11．1 模型設(shè)計　357
11．1．1 傳統(tǒng)模型的局限　357
11．1．2 DS2模型的核心概念　358
11．1．3 算法原理　359
11．1．4 架構(gòu)設(shè)計　360
11．1．5 使用DS2模型的注意事項　361
11．2 指標(biāo)收集　361
11．3 指標(biāo)管理　364
11．4 總結(jié)　366
第 12章 自適應(yīng)查詢執(zhí)行　367
12．1 Flink框架下的自適應(yīng)查詢執(zhí)行　368
12．1．1 執(zhí)行階段的劃分　368
12．1．2 優(yōu)化流程　368
12．1．3 優(yōu)化策略　370
12．2 統(tǒng)計信息的收集　373
12．3 執(zhí)行圖與調(diào)度拓?fù)涞男薷摹?74
12．4 上下游關(guān)系的建立　377
12．5 總結(jié)　378
第 13章 Flink Sort-Merge Shuffle　379
13．1 混洗機(jī)制的對比　379
13．2 Flink混洗機(jī)制　381
13．3 Blink混洗的數(shù)據(jù)流轉(zhuǎn)　382
13．3．1 ExternalResultPartition　383
13．3．2 PartitionMergeFileWriter　384
13．4 Blink混洗的Sort-Merge過程　386
13．4．1 PushedUnilateralSort Merger　387
13．4．2 NormalizedKeySorter　390
13．4．3 排序線程　393
13．4．4 溢寫線程　393
13．4．5 合并線程　395
13．5 文件的讀取和元信息管理　398
13．5．1 ExternalBlockResultPartition Manager　398
13．5．2 ExternalBlockResultPartition Meta　399
13．5．3 ExternalBlockSubpartition View　400
13．6 總結(jié)　402
第 14章 修改檢查點(diǎn)的狀態(tài)　403
14．1 狀態(tài)修改的原理　403
14．1．1 狀態(tài)元信息的讀取　404
14．1．2 狀態(tài)數(shù)據(jù)的讀取　405
14．2 狀態(tài)處理器API　407
14．2．1 數(shù)據(jù)的讀取　409
14．2．2 數(shù)據(jù)的寫出　413
14．3 總結(jié)　414