大數據管理：數據集成的技術、方法與最佳實踐

目　　錄
譯者序
序言
前言
第一部分　數據集成導論
第1章　數據集成的重要性 / 2
1.1　數據接口的天然復雜性 / 2
1.2　購買供應商應用包的數量日益增加 / 3
1.3　大數據和虛擬化的催化劑 / 3
第2章　什么是數據集成 / 5
2.1　運動中的數據 / 5
2.2　集成為通用格式—數據轉換 / 5
2.3　數據從一個系統(tǒng)遷移到另一個系統(tǒng) / 6
2.4　在組織內部移動數據 / 6
2.5　從非結構化數據中抽取信息 / 8
2.6　將處理移動到數據端 / 9
第3章　數據集成的類型和復雜性 / 10
3.1　管理運動中的數據和持久化數據的異同點 / 10
3.2　批處理數據集成 / 10
3.3　實時數據集成 / 11
3.4　大數據集成 / 11
3.5　數據虛擬化 / 12
第4章　數據集成開發(fā)過程 / 13
4.1　數據集成開發(fā)生命周期 / 13
4.2　包含業(yè)務知識和專家經驗 / 14
第二部分　批處理數據集成
第5章　批處理數據集成簡介 / 18
5.1　什么是批處理數據集成 / 18
5.2　批處理數據集成生命周期 / 19
第6章　抽取、轉換和加載 / 20
6.1　什么是ETL / 20
6.2　概要分析 / 20
6.3　抽取 / 21
6.4　暫存 / 22
6.5　訪問層次 / 22
6.6　轉換 / 23
6.6.1　簡單映射 / 23
6.6.2　查找表 / 24
6.6.3　聚合和規(guī)范化 / 24
6.6.4　計算 / 24
6.7　加載 / 24
第7章　數據倉庫 / 26
7.1　什么是數據倉庫 / 26
7.2　企業(yè)數據倉庫架構中的層次 / 26
7.2.1　操作型應用層 / 26
7.2.2　外部數據 / 27
7.2.3　數據倉庫中的數據暫存區(qū) / 27
7.2.4　數據倉庫數據結構 / 28
7.2.5　從數據倉庫到數據集市或者商務智能層的暫存 / 28
7.2.6　商務智能層 / 28
7.3　加載到數據倉庫中的數據類型 / 29
7.3.1　數據倉庫中的主數據 / 29
7.3.2　數據倉庫中的余額和快照數據 / 30
7.3.3　數據倉庫中的事務型數據 / 31
7.3.4　事件 / 31
7.3.5　調整 / 31
第8章　數據轉換 / 39
8.1　什么是數據轉換 / 39
8.2　數據轉換生命周期 / 39
8.3　數據轉換分析 / 39
8.4　數據加載最佳實踐 / 40
8.5　提高源數據質量 / 40
8.6　映射到目標系統(tǒng) / 41
8.7　配置數據 / 41
8.8　測試和依賴 / 42
8.9　私有數據 / 42
8.10　校對 / 43
8.11　環(huán)境 / 43
第9章　數據歸檔 / 47
9.1　什么是數據歸檔 / 47
9.2　歸檔數據選擇 / 47
9.3　已歸檔數據可以恢復嗎 / 48
9.4　歸檔環(huán)境下數據結構的確認 / 48
9.5　靈活的數據結構 / 49
第10章　批處理數據集成架構和元數據 / 54
10.1　什么是批處理數據集成架構 / 54
10.2　概要分析工具 / 55
10.3　建模工具 / 55
10.4　元數據存儲庫 / 55
10.5　數據移動 / 56
10.6　轉換 / 56
10.7　調度 / 57
第三部分　實時數據集成
第11章　實時數據集成簡介 / 64
11.1　為什么需要實時數據集成 / 64
11.2　為什么需要兩組技術 / 64
第12章　數據集成模式 / 66
12.1　交互模式 / 66
12.2　松耦合 / 66
12.3　中心和節(jié)點模式 / 66
12.4　同步交互和異步交互 / 69
12.5　請求和應答 / 70
12.6　發(fā)布和訂閱 / 70
12.7　兩階段提交 / 70
12.8　集成交互類型 / 71
第13章　核心實時數據集成技術 / 72
13.1　令人困惑的術語 / 72
13.2　企業(yè)服務總線 / 72
13.3　面向服務架構 / 75
13.4　可擴展標記語言 / 77
13.5　數據復制和變化數據捕獲 / 81
13.6　企業(yè)應用集成 / 82
13.7　企業(yè)信息集成 / 82
第14章　數據集成建模 / 84
14.1　規(guī)范化建模 / 84
14.2　消息建模 / 88
第15章　主數據管理 / 89
15.1　主數據管理簡介 / 89
15.2　需要主數據管理方案的原因 / 89
15.3　購買的軟件包與主數據 / 90
15.4　參考數據 / 90
15.5　主和從 / 91
15.6　外部數據 / 93
15.7　主數據管理功能 / 93
15.8　主數據管理方案的類型—注冊表以及數據中心 / 94
第16章　實時更新數據倉庫 / 95
16.1　企業(yè)信息工廠 / 95
16.2　操作型數據存儲 / 96
16.3　移動到數據倉庫的主數據 / 97
第17章　實時數據集成架構和元數據 / 99
17.1　實時數據集成元數據簡介 / 99
17.2　建模 / 100
17.3　概要分析 / 100
17.4　元數據庫 / 101
17.5　企業(yè)服務總線—數據轉換和調度 / 101
17.5.1　技術中介 / 101
17.5.2　業(yè)務內容 / 102
17.6　數據移動和中間件 / 102
17.7　外部交互 / 102
第四部分　大數據集成
第18章　大數據集成簡介 / 106
18.1　數據集成及非結構化數據 / 106
18.2　大數據、云數據及數據虛擬化 / 106
第19章　云架構和數據集成 / 107
19.1　為什么云中的數據集成比較重要 / 107
19.2　公共云 / 107
19.3　云安全 / 108
19.4　云延遲 / 109
19.5　云冗余 / 110
第20章　數據虛擬化 / 111
20.1　恰逢其時的一項技術 / 111
20.2　數據虛擬化的商業(yè)用途 / 112
20.2.1　商務智能方案 / 112
20.2.2　集成不同類型的數據 / 113
20.2.3　快速向數據倉庫中增加或者原型增加數據 / 113
20.2.4　將物理上不同的數據一起展現 / 113
20.2.5　利用不同的數據和模型觸發(fā)交易 / 114
20.3　數據虛擬化架構 / 114
20.3.1　源和適配器 / 114
20.3.2　映射、模型和視圖 / 114
20.3.3　轉換和展現 / 115
第21章　大數據集成 / 116
21.1　什么是大數據 / 116
21.2　大數據維度—量 / 116
21.2.1　大規(guī)模并行處理—將處理過程移動到數據端 / 116
21.2.2　Hadoop和MapReduce / 117
21.2.3　與外部數據集成 / 117
21.2.4　虛擬化 / 118
21.3　大數據維度—多樣性 / 118
21.3.1　數據類型 / 118
21.3.2　集成不同類型的數據 / 118
21.4　大數據維度—速度 / 120
21.4.1　流式數據 / 121
21.4.2　傳感器和GPS數據 / 121
21.4.3　社會化媒體數據 / 121
21.5　傳統(tǒng)大數據應用案例 / 121
21.6　更多大數據應用案例 / 122
21.6.1　醫(yī)療 / 122
21.6.2　物流 / 122
21.6.3　國家安全 / 122
21.7　利用大數據的力量—實施決策支持 / 123
21.7.1　觸發(fā)行動 / 123
21.7.2　從內存以及磁盤中檢索數據的速度 / 123
21.7.3　從數據分析到模型，從流式數據到決策 / 124
21.8　大數據架構 / 125
21.8.1　操作型系統(tǒng)和數據存儲 / 125
21.8.2　中間數據中心 / 126
21.8.3　商務智能工具 / 126
21.8.4　數據虛擬化服務器 / 127
21.8.5　批處理和實時數據集成工具 / 127
21.8.6　分析型沙盒 / 127
21.8.7　風險響應系統(tǒng)/推薦引擎 / 127
第22章　移動數據管理總結 / 132
22.1　數據集成架構 / 132
22.1.1　為什么需要數據集成架構 / 132
22.1.2　數據集成生命周期和專家經驗 / 132
22.1.3　安全和隱私 / 133
22.2　數據集成引擎 / 134
22.2.1　操作連貫性 / 134
22.2.2　ETL引擎 / 134
22.2.3　企業(yè)服務總線 / 135
22.2.4　數據虛擬化服務器 / 135
22.2.5　數據移動 / 136
22.3　數據集成中心 / 136
22.3.1　主數據 / 137
22.3.2　數據倉庫和操作型數據存儲 / 137
22.3.3　企業(yè)內容管理 / 138
22.3.4　數據歸檔 / 138
22.4　元數據管理 / 138
22.4.1　數據發(fā)現 / 138
22.4.2　數據概要分析 / 139
22.4.3　數據建模 / 139
22.4.4　數據流建模 / 139
22.4.5　元數據存儲庫 / 139
22.5　結束語 / 140
參考文獻 / 141