大數(shù)據(jù)治理與服務(wù)

基礎(chǔ)篇 1
第一章 大數(shù)據(jù)治理概述 1
1.1 大數(shù)據(jù)治理的基本概念 1
1.1.1 背景知識 1
1.1.1.1 數(shù)據(jù)、信息與知識 1
1.1.1.2 大數(shù)據(jù) 3
1.1.1.3 治理與管理 9
1.1.1.4 數(shù)據(jù)管理與信息管理 10
1.1.2 數(shù)據(jù)治理 12
1.1.2.1 數(shù)據(jù)治理的基本概念 12
1.1.2.2 數(shù)據(jù)治理與數(shù)據(jù)管理 14
1.1.2.3 數(shù)據(jù)治理與IT治理 16
1.1.3 大數(shù)據(jù)治理 17
1.1.3.1 大數(shù)據(jù)治理的基本概念 17
1.1.3.2 大數(shù)據(jù)治理與數(shù)據(jù)治理 19
1.2 從數(shù)據(jù)治理到大數(shù)據(jù)治理 22
1.2.1 國際數(shù)據(jù)治理進展 22
1.2.1.1 數(shù)據(jù)治理理論 22
1.2.1.2 數(shù)據(jù)治理實施方法 28
1.2.1.3 數(shù)據(jù)治理應(yīng)用 32
1.2.2 中國數(shù)據(jù)治理進展 33
1.2.2.1 數(shù)據(jù)治理實踐 33
1.2.2.2 數(shù)據(jù)治理理論 35
1.2.3 大數(shù)據(jù)治理——數(shù)據(jù)治理的新趨勢 36
1.3 大數(shù)據(jù)治理的重要作用 37
參考文獻 39
第二章 大數(shù)據(jù)治理框架 41
2.1 框架概述 41
2.2 大數(shù)據(jù)治理的原則 41
2.2.1 戰(zhàn)略一致 42
2.2.2 風(fēng)險可控 42
2.2.3 運營合規(guī) 42
2.2.4 績效提升 43
2.3 大數(shù)據(jù)治理的范圍 43
2.3.1 大數(shù)據(jù)治理的活動與范圍 43
2.3.2 戰(zhàn)略 44
2.3.3 組織 45
2.3.4 大數(shù)據(jù)質(zhì)量 45
2.3.5 大數(shù)據(jù)生命周期 46
2.3.6 大數(shù)據(jù)安全、隱私與合規(guī) 47
2.3.7 大數(shù)據(jù)架構(gòu) 48
2.3.8 大數(shù)據(jù)服務(wù)創(chuàng)新 49
2.4 大數(shù)據(jù)治理的實施與評估 50
2.4.1 促成因素 50
2.4.1.1 環(huán)境與文化 50
2.4.1.2 技術(shù)與工具 51
2.4.1.3 流程與活動 51
2.4.2 實施過程 52
2.4.3 成熟度評估 53
2.4.3.1 評估模型 53
2.4.3.2 評估內(nèi)容 54
2.4.3.3 評估方法 55
2.4.4 審計 56
參考文獻 56
關(guān)鍵域篇 57
第三章 大數(shù)據(jù)的戰(zhàn)略和組織 57
3.1 大數(shù)據(jù)戰(zhàn)略指明企業(yè)轉(zhuǎn)型的方向 57
3.2 企業(yè)制定大數(shù)據(jù)戰(zhàn)略的要點 59
3.2.1 融合業(yè)務(wù)需求 59
3.2.2 建立大數(shù)據(jù)價值實現(xiàn)的藍圖 60
3.2.3 融合企業(yè)組織和戰(zhàn)略 61
3.3 大數(shù)據(jù)戰(zhàn)略對組織的影響 62
3.3.1 組織架構(gòu)設(shè)計要素 62
3.3.2 大數(shù)據(jù)戰(zhàn)略對組織架構(gòu)設(shè)計的影響 64
3.4 典型大數(shù)據(jù)組織示例 66
參考文獻 70
第四章 大數(shù)據(jù)架構(gòu) 71
4.1 大數(shù)據(jù)架構(gòu)概述 71
4.1.1 架構(gòu)與架構(gòu)設(shè)計 71
4.1.2 數(shù)據(jù)和數(shù)據(jù)架構(gòu) 72
4.1.3 從數(shù)據(jù)架構(gòu)到大數(shù)據(jù)架構(gòu) 72
4.2 大數(shù)據(jù)架構(gòu)參考模型 73
4.2.1 總體架構(gòu) 73
4.2.2 大數(shù)據(jù)基礎(chǔ)資源層 74
4.2.3 大數(shù)據(jù)管理與分析層 76
4.2.4 大數(shù)據(jù)應(yīng)用與服務(wù)層 78
4.3 大數(shù)據(jù)架構(gòu)的實現(xiàn) 79
4.3.1 不同視角下的架構(gòu)分析 79
4.3.2 大數(shù)據(jù)技術(shù)架構(gòu) 80
4.3.3 大數(shù)據(jù)應(yīng)用架構(gòu) 82
參考文獻 84
第五章 大數(shù)據(jù)安全、隱私和合規(guī)管理 85
5.1 大數(shù)據(jù)安全和隱私的問題與挑戰(zhàn) 85
5.1.1 大數(shù)據(jù)帶來的安全隱私問題 86
5.1.2 大數(shù)據(jù)安全和隱私的十大技術(shù)挑戰(zhàn) 89
5.1.3 十大技術(shù)挑戰(zhàn)的建模、分析和實施 91
5.2 大數(shù)據(jù)安全防護 95
5.2.1 大數(shù)據(jù)安全防護對策 96
5.2.2 大數(shù)據(jù)安全防護關(guān)鍵技術(shù) 97
5.2.3 大數(shù)據(jù)分析技術(shù)帶來安全智能 99
5.3 大數(shù)據(jù)隱私保護 106
5.3.1 大數(shù)據(jù)隱私特點分析 108
5.3.2 大數(shù)據(jù)隱私保護對策 110
5.3.3 大數(shù)據(jù)的隱私保護關(guān)鍵技術(shù) 111
5.4 大數(shù)據(jù)合規(guī)管理 114
5.4.1 美國數(shù)據(jù)合規(guī)管理狀況 115
5.4.2 歐盟數(shù)據(jù)合規(guī)管理狀況 115
5.4.3 我國數(shù)據(jù)合規(guī)管理現(xiàn)狀 116
參考文獻 117
第六章 大數(shù)據(jù)質(zhì)量管理 118
6.1 大數(shù)據(jù)特性及其質(zhì)量管理的復(fù)雜性 118
6.1.1 大數(shù)據(jù)的特性分析 118
6.1.2 大數(shù)據(jù)質(zhì)量管理的復(fù)雜性 119
6.1.3 大數(shù)據(jù)質(zhì)量管理復(fù)雜性的原因分析 120
6.2 大數(shù)據(jù)質(zhì)量的概念和維度 120
6.2.1 大數(shù)據(jù)質(zhì)量的基本概念 120
6.2.2 大數(shù)據(jù)質(zhì)量的維度 120
6.3 大數(shù)據(jù)質(zhì)量管理參考框架 122
6.3.1 參考框架概述 122
6.3.2 大數(shù)據(jù)質(zhì)量策略 123
6.3.3 大數(shù)據(jù)質(zhì)量控制目標(biāo) 124
6.3.4 職責(zé)角色 125
6.3.5 流程和方法 126
6.3.6 支撐保障 127
6.4 大數(shù)據(jù)質(zhì)量項目實施方法 127
6.4.1 定義階段 128
6.4.2 測量階段 132
6.4.3 分析階段 133
6.4.4 改進階段 135
6.4.5 控制階段 136
6.5 大數(shù)據(jù)質(zhì)量管理常用方法和工具 137
6.5.1 常用質(zhì)量管理工具 137
6.5.2 數(shù)據(jù)質(zhì)量輔助工具 140
第七章 大數(shù)據(jù)生命周期 143
7.1 概述 143
7.2 大數(shù)據(jù)范圍確定 145
7.3 大數(shù)據(jù)采集 145
7.3.1 大數(shù)據(jù)采集的范圍 145
7.3.2 大數(shù)據(jù)采集的策略 146
7.3.3 大數(shù)據(jù)采集的規(guī)范 147
7.3.4 大數(shù)據(jù)采集的安全與隱私 147
7.3.5 數(shù)據(jù)采集的時效 148
7.3.6 非結(jié)構(gòu)化數(shù)據(jù)的采集 149
7.3.7 大數(shù)據(jù)的清理 149
7.4 大數(shù)據(jù)存儲 150
7.4.1 數(shù)據(jù)的熱度（熱數(shù)據(jù)、溫數(shù)據(jù)與冷數(shù)據(jù)） 150
7.4.2 不同熱度數(shù)據(jù)的存儲與備份要求 150
7.4.3 基于云的大數(shù)據(jù)存儲 151
7.5 大數(shù)據(jù)整合 152
7.5.1 批量數(shù)據(jù)的整合 152
7.5.2 實時數(shù)據(jù)的整合 154
7.5.3 數(shù)據(jù)整合與主數(shù)據(jù)管理 155
7.6 大數(shù)據(jù)呈現(xiàn)與使用 155
7.6.1 數(shù)據(jù)可視化 155
7.6.2 數(shù)據(jù)可見性的權(quán)限管理 156
7.6.3 數(shù)據(jù)展示與發(fā)布的流程管理 156
7.6.4 數(shù)據(jù)的展示與發(fā)布 157
7.6.5 數(shù)據(jù)使用管理 157
7.7 大數(shù)據(jù)分析與應(yīng)用 159
7.7.1 數(shù)據(jù)分析與應(yīng)用的策略 159
7.7.2 數(shù)據(jù)分析與建模 160
7.7.3 數(shù)據(jù)應(yīng)用 162
7.8 大數(shù)據(jù)歸檔與銷毀 162
7.8.1 數(shù)據(jù)歸檔 162
7.8.2 數(shù)據(jù)銷毀 163
實施和監(jiān)督篇 164
第八章 大數(shù)據(jù)治理實施 164
8.1 大數(shù)據(jù)治理實施的目標(biāo)和動力 164
8.1.1 大數(shù)據(jù)治理實施的目標(biāo) 164
8.1.2   大數(shù)據(jù)治理實施的動力 167
8.2 大數(shù)據(jù)治理實施過程 168
8.3 大數(shù)據(jù)治理實施路線圖 172
8.4 大數(shù)據(jù)治理實施的關(guān)鍵要素 174
8.4.1 實施目標(biāo) 174
8.4.2 企業(yè)文化 175
8.4.3 組織架構(gòu)和崗位職責(zé) 176
8.4.4 標(biāo)準和規(guī)范 176
8.4.5   合規(guī)管理和控制 177
8.5 大數(shù)據(jù)治理實施框架 178
參考文獻 180
第九章 大數(shù)據(jù)治理審計 181
9.1 大數(shù)據(jù)治理審計概述 181
9.1.1 大數(shù)據(jù)治理審計面臨的機遇與挑戰(zhàn) 181
9.1.2 大數(shù)據(jù)治理審計的基本概念 182
9.1.3 大數(shù)據(jù)治理審計的重要意義 185
9.1.4   大數(shù)據(jù)治理審計的前提與基礎(chǔ) 186
9.2 大數(shù)據(jù)治理審計內(nèi)容 186
9.2.1 戰(zhàn)略一致審計 187
9.2.2 風(fēng)險可控審計 187
9.2.3 運營合規(guī)審計 187
9.2.4 績效提升審計 188
9.2.5 大數(shù)據(jù)組織審計 188
9.2.6 大數(shù)據(jù)架構(gòu)審計 188
9.2.7   大數(shù)據(jù)安全與隱私管理審計 189
9.2.8 大數(shù)據(jù)質(zhì)量管理審計 189
9.2.9 大數(shù)據(jù)生命周期管理審計 189
9.3 大數(shù)據(jù)治理審計方法和技術(shù) 190
9.3.1 大數(shù)據(jù)治理審計相關(guān)標(biāo)準 190
9.3.1.1 大數(shù)據(jù)相關(guān)標(biāo)準 190
9.3.1.2 IT審計相關(guān)標(biāo)準 191
9.3.2 大數(shù)據(jù)治理審計方法 195
9.3.2.1 傳統(tǒng)審計方法 195
9.3.2.2 IT審計方法 196
9.3.2.3 大數(shù)據(jù)審計方法 197
9.3.3 大數(shù)據(jù)治理審計技術(shù) 198
9.3.4 大數(shù)據(jù)治理審計工作基礎(chǔ) 200
9.4 大數(shù)據(jù)治理審計流程 200
9.4.1 大數(shù)據(jù)治理審計準備階段 201
9.4.2   大數(shù)據(jù)治理審計實施階段 201
9.4.3 大數(shù)據(jù)治理審計終結(jié)階段 203
9.4.4 大數(shù)據(jù)治理審計后續(xù)跟蹤 204
服務(wù)與創(chuàng)新篇 205
第十章 大數(shù)據(jù)服務(wù) 205
10.1 大數(shù)據(jù)的服務(wù)創(chuàng)新 205
10.1.1 大數(shù)據(jù)的服務(wù)創(chuàng)新途徑 205
10.1.2 大數(shù)據(jù)服務(wù)的商業(yè)價值 207
10.2 大數(shù)據(jù)的服務(wù)內(nèi)容 209
10.2.1 面向業(yè)務(wù)的大數(shù)據(jù)服務(wù) 211
10.2.1.1戰(zhàn)略決策 211
10.2.1.2精細化管理 213
10.2.1.3精準營銷 215
10.2.1.4信息服務(wù) 217
10.2.1.5產(chǎn)品創(chuàng)新 219
10.2.2 面向技術(shù)的大數(shù)據(jù)服務(wù) 220
10.2.2.1大數(shù)據(jù)存儲服務(wù) 221
10.2.2.2大數(shù)據(jù)計算服務(wù) 221
10.2.2.3大數(shù)據(jù)集成服務(wù) 222
10.2.2.4大數(shù)據(jù)挖掘服務(wù) 226
10.2.2.5大數(shù)據(jù)可視化服務(wù) 226