寫給大家看的大數(shù)據(jù)

目　錄

第一部分　大數(shù)據(jù)入門　1

第1章　大數(shù)據(jù)基礎(chǔ)　3
　數(shù)據(jù)管理的演化過程　4
　理解數(shù)據(jù)管理的幾個(gè)關(guān)鍵　5
　　關(guān)鍵1：創(chuàng)建可管理的數(shù)據(jù)結(jié)構(gòu)　5
　　關(guān)鍵2：Web和內(nèi)容管理　7
　　關(guān)鍵3：管理大數(shù)據(jù)　7
　大數(shù)據(jù)的定義　9
　構(gòu)建成功的大數(shù)據(jù)管理架構(gòu)　10
　　捕捉、組織、集成分析與模擬　10
　　建立架構(gòu)基礎(chǔ)　11
　　性能問題　13
　　傳統(tǒng)與高級(jí)分析　15
　大數(shù)據(jù)之旅　16

第2章　研究大數(shù)據(jù)類型　17
　定義結(jié)構(gòu)化的數(shù)據(jù)　18
　　探索大結(jié)構(gòu)化數(shù)據(jù)源　18
　　理解關(guān)系型數(shù)據(jù)庫在大數(shù)據(jù)中的角色　19
　定義非結(jié)構(gòu)化數(shù)據(jù)　21
　　探索非結(jié)構(gòu)化數(shù)據(jù)源　21
　　理解CMS在大數(shù)據(jù)管理中的角色　23
　理解實(shí)時(shí)需求和非實(shí)時(shí)需求　23
　聚合大數(shù)據(jù)　25
　　管理不同類型的數(shù)據(jù)　25
　　將不同類型的數(shù)據(jù)整合到大數(shù)據(jù)環(huán)境中　25

第3章　當(dāng)老古董遇上新生代：分布式計(jì)算　27
　分布式計(jì)算簡(jiǎn)史　27
　　感謝DARPA　27
　　可持續(xù)模型的價(jià)值　28
　了解分布式計(jì)算基礎(chǔ)　29
　　為什么大數(shù)據(jù)需要分布式計(jì)算　29
　　計(jì)算經(jīng)濟(jì)的改變　30
　　時(shí)延帶來的問題　30
　　當(dāng)需求遇上解決方案　31
　獲取所需的性能　31

第二部分　大數(shù)據(jù)的技術(shù)基礎(chǔ)　33

第4章　深入大數(shù)據(jù)技術(shù)組件　35
　探索大數(shù)據(jù)棧　36
　第0層：帶冗余的物理基礎(chǔ)架構(gòu)　37
　　物理冗余網(wǎng)絡(luò)　38
　　管理硬件：存儲(chǔ)與服務(wù)器　39
　　基礎(chǔ)架構(gòu)操作　39
　第1層：安全框架　39
　進(jìn)/出應(yīng)用程序和互聯(lián)網(wǎng)的界面與接口　40
　第2層：可操作數(shù)據(jù)庫　42
　第3層：組織數(shù)據(jù)服務(wù)與工具　43
　第4層：可分析的數(shù)據(jù)倉庫　44
　大數(shù)據(jù)分析　45
　大數(shù)據(jù)應(yīng)用程序　46

第5章　虛擬化及其如何支持分布式計(jì)算　47
　理解虛擬化的基本知識(shí)　47
　　在大數(shù)據(jù)中使用虛擬化的重要性　48
　　服務(wù)器虛擬化　50
　　應(yīng)用程序虛擬化　50
　　網(wǎng)絡(luò)虛擬化　51
　　處理器和內(nèi)存虛擬化　51
　　數(shù)據(jù)和存儲(chǔ)虛擬化　52
　使用Hypervisor管理虛擬化　53
　抽象化與虛擬化　54
　實(shí)現(xiàn)在大數(shù)據(jù)中的虛擬化　54

第6章　云和大數(shù)據(jù)　56
　大數(shù)據(jù)領(lǐng)域中的云　56
　理解云部署和分發(fā)模型　57
　　云部署模型　57
　　云分發(fā)模型　59
　大數(shù)據(jù)需要云　60
　在大數(shù)據(jù)中使用云　61
　大數(shù)據(jù)云市場(chǎng)的服務(wù)提供商　62
　　亞馬遜公共彈性計(jì)算云(EC2)　63
　　谷歌的大數(shù)據(jù)服務(wù)　64
　　微軟Azure　64
　　OpenStack　65
　　在使用云服務(wù)時(shí)需要注意什么　65

第三部分　大數(shù)據(jù)管理　67

第7章　操作型數(shù)據(jù)庫　69
　RDBMS在大數(shù)據(jù)領(lǐng)域的重要性　71
　非關(guān)系型數(shù)據(jù)庫　72
　Key-Value型數(shù)據(jù)庫　73
　文檔數(shù)據(jù)庫　75
　　MongoDB　76
　　CouchDB　77
　縱列數(shù)據(jù)庫　78
　圖形數(shù)據(jù)庫　79
　空間數(shù)據(jù)庫　81
　混合持久化　83

第8章　MapReduce基礎(chǔ)　85
　MapReduce溯源　85
　理解Map函數(shù)　86
　添加Reduce函數(shù)　88
　結(jié)合Map和Reduce　89
　優(yōu)化MapReduce　91
　　硬件/網(wǎng)絡(luò)拓?fù)洹?2
　　同步　92
　　文件系統(tǒng)　92

第9章　探索Hadoop的世界　94
　談?wù)凥adoop　94
　理解Hadoop分布式文件系統(tǒng)(HDFS)　95
　　Name節(jié)點(diǎn)　95
　　數(shù)據(jù)節(jié)點(diǎn)　96
　　理解HDFS　97
　Hadoop的MapReduce　99
　　準(zhǔn)備數(shù)據(jù)　100
　　開始Mapping　101
　　Reduce和融合　101

第10章　Hadoop基礎(chǔ)和生態(tài)　103
　使用Hadoop生態(tài)系統(tǒng)構(gòu)建大數(shù)據(jù)基礎(chǔ)　103
　使用Hadoop YARN管理資源和應(yīng)用程序　104
　使用HBase存儲(chǔ)大數(shù)據(jù)　105
　使用Hive挖掘大數(shù)據(jù)　106
　使用Hadoop生態(tài)系統(tǒng)　107
　　Pig和Pig Latin　107
　　Sqoop　108
　　Zookeeper　109

第11章　設(shè)備和大數(shù)據(jù)倉庫　111
　使用傳統(tǒng)數(shù)據(jù)倉庫裝載大數(shù)據(jù)　111
　　優(yōu)化數(shù)據(jù)倉庫　112
　　區(qū)別大數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)倉庫數(shù)據(jù)　112
　　一個(gè)混合式處理的例子　113
　大數(shù)據(jù)分析和數(shù)據(jù)倉庫　114
　　集成的關(guān)鍵　115
　　再思考提取、變換和載入　115
　改變數(shù)據(jù)倉庫的角色　116
　改變部署模型　116
　　設(shè)備模型　117
　　云模型　117
　數(shù)據(jù)倉庫的未來　117

第四部分　數(shù)據(jù)分析與大數(shù)據(jù)　119

第12章　定義大數(shù)據(jù)分析　121
　使用大數(shù)據(jù)獲得結(jié)果　121
　　基本分析　122
　　高級(jí)分析　123
　　實(shí)用性分析　126
　　貨幣化分析　126
　為掌握大數(shù)據(jù)修改商務(wù)智能產(chǎn)品　126
　　數(shù)據(jù)　126
　　分析算法　127
　　基礎(chǔ)架構(gòu)支持　128
　大數(shù)據(jù)分析案例研究　128
　　Orbitz　129
　　Nokia　129
　　NASA　129
　大數(shù)據(jù)分析解決方案　130

第13章　理解文本分析和大數(shù)據(jù)　131
　探索非結(jié)構(gòu)化數(shù)據(jù)　132
　理解文本分析　133
　分析和提取技術(shù)　135
　　理解信息抽取　136
　　分類學(xué)　137
　將結(jié)果匯總成結(jié)構(gòu)化數(shù)據(jù)　138
　開始使用大數(shù)據(jù)　138
　　客戶的聲音　138
　　社交媒體分析　139
　大數(shù)據(jù)文本分析工具　141
　　Attensity　141
　　Clarabridge　142
　　IBM　142
　　OpenText　142
　　SAS　143

第14章　大數(shù)據(jù)分析的定制化　144
　構(gòu)建新的大數(shù)據(jù)模型　145
　理解大數(shù)據(jù)分析的各種方法　147
　　大數(shù)據(jù)分析的定制應(yīng)用程序　147
　　大數(shù)據(jù)分析的半定制化應(yīng)用程序　149
　大數(shù)據(jù)分析框架的特點(diǎn)　151
　由大到小：大數(shù)據(jù)悖論　153

第五部分　大數(shù)據(jù)實(shí)現(xiàn)　155

第15章　集成數(shù)據(jù)源　157
　識(shí)別你需要的數(shù)據(jù)　157
　　勘探階段　158
　　編制階段　159
　　集成和整合階段　160
　理解大數(shù)據(jù)集成基礎(chǔ)　161
　定義傳統(tǒng)ETL　163
　理解ELT——提取、載入和轉(zhuǎn)換　164
　大數(shù)據(jù)質(zhì)量?jī)?yōu)化　165
　使用Hadoop實(shí)現(xiàn)ETL　166
　大數(shù)據(jù)集成的最佳實(shí)踐　166

第16章　處理實(shí)時(shí)數(shù)據(jù)流和復(fù)雜事件　168
　流數(shù)據(jù)和復(fù)雜事件處理　169
　使用流數(shù)據(jù)　169
　　數(shù)據(jù)流　169
　　流的元數(shù)據(jù)　171
　使用復(fù)雜事件處理　172
　從流中分離出CEP　173
　商務(wù)領(lǐng)域的數(shù)據(jù)流和CEP　174

第17章　可操作的大數(shù)據(jù)　175
　讓大數(shù)據(jù)成為操作過程的一部分　175
　　集成大數(shù)據(jù)　175
　　疾病診斷中的大數(shù)據(jù)協(xié)作　177
　理解大數(shù)據(jù)工作流　180
　大數(shù)據(jù)的有效性、準(zhǔn)確性和波動(dòng)性　181
　　數(shù)據(jù)有效性　181
　　數(shù)據(jù)波動(dòng)性　182

第18章　在企業(yè)中應(yīng)用大數(shù)據(jù)　184
　大數(shù)據(jù)經(jīng)濟(jì)學(xué)　184
　　數(shù)據(jù)類型和數(shù)據(jù)來源的識(shí)別　185
　　修改業(yè)務(wù)流或創(chuàng)建新的業(yè)務(wù)流　187
　　大數(shù)據(jù)工作流的技術(shù)影響　188
　　網(wǎng)羅大數(shù)據(jù)項(xiàng)目的人才　188
　　計(jì)算大數(shù)據(jù)的投入產(chǎn)出(ROI)　189
　企業(yè)數(shù)據(jù)管理和大數(shù)據(jù)　189
　創(chuàng)建大數(shù)據(jù)實(shí)施里程碑　190
　　理解業(yè)務(wù)緊迫性　191
　　正確地預(yù)測(cè)工作量　191
　　選擇正確的軟件開發(fā)方法學(xué)　191
　　平衡預(yù)算和功能　192
　　評(píng)估風(fēng)險(xiǎn)承受能力　192
　邁出第一步　193

第19章　大數(shù)據(jù)環(huán)境的安全和管理　195
　大數(shù)據(jù)下的安全　195
　　評(píng)估業(yè)務(wù)風(fēng)險(xiǎn)　196
　　大數(shù)據(jù)中潛藏的風(fēng)險(xiǎn)　196
　理解數(shù)據(jù)保護(hù)　197
　數(shù)據(jù)管理的挑戰(zhàn)　198
　　大數(shù)據(jù)過程審計(jì)　199
　　定位關(guān)鍵利益者　200
　正確運(yùn)用組織架構(gòu)　200
　　為管理風(fēng)險(xiǎn)做準(zhǔn)備　200
　　制訂正確的管理規(guī)則和質(zhì)量保障　201
　開發(fā)管理完善、安全可靠的大數(shù)據(jù)環(huán)境　201

第六部分　現(xiàn)實(shí)中的大數(shù)據(jù)解決方案　203

第20章　大數(shù)據(jù)對(duì)業(yè)務(wù)的重要性　205
　將大數(shù)據(jù)作為業(yè)務(wù)規(guī)劃的工具　205
　　第一步：規(guī)劃中引入數(shù)據(jù)　206
　　第二步：執(zhí)行分析　206
　　第三步：檢查結(jié)果　207
　　第四步：落實(shí)計(jì)劃　207
　規(guī)劃過程的另一個(gè)維度　207
　　第五步：實(shí)時(shí)監(jiān)控　208
　　第六步：調(diào)節(jié)影響　208
　　第七步：適應(yīng)性實(shí)驗(yàn)　208
　正確地看待數(shù)據(jù)分析　208
　在正確的基礎(chǔ)上開始行動(dòng)　209
　規(guī)劃大數(shù)據(jù)　210
　調(diào)整業(yè)務(wù)流程　210

第21章　從現(xiàn)實(shí)視角看數(shù)據(jù)分析　212
　理解用戶對(duì)運(yùn)動(dòng)型數(shù)據(jù)的需求　213
　流數(shù)據(jù)對(duì)環(huán)境的影響　214
　　使用傳感器來提供實(shí)時(shí)水文信息　215
　　實(shí)時(shí)數(shù)據(jù)的優(yōu)勢(shì)　215
　流數(shù)據(jù)對(duì)公共政策的影響　216
　流數(shù)據(jù)在醫(yī)療行業(yè)的應(yīng)用　217
　流數(shù)據(jù)在能源行業(yè)的應(yīng)用　218
　　使用流數(shù)據(jù)提升能量產(chǎn)率　218
　　使用流數(shù)據(jù)提升能源產(chǎn)出　218
　連接數(shù)據(jù)流和歷史數(shù)據(jù)與其他實(shí)時(shí)數(shù)據(jù)源　219

第22章　從現(xiàn)實(shí)視角看大數(shù)據(jù)分析對(duì)業(yè)務(wù)流程的優(yōu)化　220
　了解企業(yè)對(duì)大數(shù)據(jù)分析的需求　220
　使用文本分析提升客戶體驗(yàn)　221
　使用大數(shù)據(jù)分析進(jìn)行決策　222
　使用大數(shù)據(jù)分析避免欺詐　224
　整合新數(shù)據(jù)源的商業(yè)價(jià)值　225

第七部分　十項(xiàng)注意　227

第23章　十條大數(shù)據(jù)最佳實(shí)踐　229
　理解你的目標(biāo)　229
　建立里程碑　230
　發(fā)現(xiàn)你的數(shù)據(jù)　230
　清楚你缺少什么數(shù)據(jù)　230
　理解可選技術(shù)方案　231
　規(guī)劃大數(shù)據(jù)安全　231
　規(guī)劃大數(shù)據(jù)管理策略　231
　規(guī)劃數(shù)據(jù)管家　232
　持續(xù)測(cè)試　232
　學(xué)習(xí)最佳實(shí)踐和利用模式　232

第24章　十個(gè)大數(shù)據(jù)資源　234
　Hurwitz & Associates　234
　標(biāo)準(zhǔn)化組織　234
　　開放數(shù)據(jù)基金會(huì)　234
　　云安全聯(lián)盟　235
　　美國(guó)國(guó)家標(biāo)準(zhǔn)和科技機(jī)構(gòu)　235
　　Apache軟件基金會(huì)　235
　　OASIS　235
　供應(yīng)商的網(wǎng)站　236
　在線協(xié)作套件　236
　大數(shù)據(jù)會(huì)議　237

第25章　十條“要”與“不要”　238
　要將所有業(yè)務(wù)單元都涵蓋在大數(shù)據(jù)戰(zhàn)略中　238
　要評(píng)估所有的大數(shù)據(jù)分發(fā)模型　238
　要將傳統(tǒng)數(shù)據(jù)源作為大數(shù)據(jù)戰(zhàn)略的一部分　238
　要計(jì)劃持久化元數(shù)據(jù)　239
　要分發(fā)你的數(shù)據(jù)　239
　不要依賴于單一的大數(shù)據(jù)分析方法　239
　不要在準(zhǔn)備充分之前就膨脹　239
　不要忽略數(shù)據(jù)集成的需求　239
　不要忘記安全地管理數(shù)據(jù)　240
　不要忽略數(shù)據(jù)的管理效率　240

術(shù)語表　241