云計(jì)算與大數(shù)據(jù)技術(shù)

目　錄
第1章　云計(jì)算與大數(shù)據(jù)基礎(chǔ)　1
1．1　云計(jì)算技術(shù)概述　1
1．1．1　云計(jì)算簡(jiǎn)介　1
1．1．2　云計(jì)算的特點(diǎn)　2
1．1．3　云計(jì)算技術(shù)分類　3
1．2　大數(shù)據(jù)技術(shù)概述　5
1．2．1　大數(shù)據(jù)簡(jiǎn)介　5
1．2．2　主要的大數(shù)據(jù)處理系統(tǒng)　8
1．2．3　大數(shù)據(jù)處理的基本流程　10
1．3　云計(jì)算與大數(shù)據(jù)的發(fā)展　11
練習(xí)題　17
第2章　云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù)　19
2．1　云計(jì)算與大數(shù)據(jù)　19
2．2　云計(jì)算與物聯(lián)網(wǎng)　21
2．3　一致性哈希算法　24
2．3．1　一致性哈希算法的基本原理　24
2．3．2　一致性哈希算法中計(jì)算和存儲(chǔ)位置的一致性　25
2．4　非關(guān)系型數(shù)據(jù)庫(kù)　27
2．4．1　從關(guān)系型數(shù)據(jù)庫(kù)到非關(guān)系型數(shù)據(jù)庫(kù)　27
2．4．2　非關(guān)系型數(shù)據(jù)庫(kù)的定義　28
2．4．3　非關(guān)系型數(shù)據(jù)庫(kù)的分類　28
2．5　集群高速通信標(biāo)準(zhǔn)InfiniBand　29
2．6　云計(jì)算大數(shù)據(jù)集群的自組織特性　30
練習(xí)題　32
第3章　虛擬化技術(shù)　33
3．1　虛擬化技術(shù)簡(jiǎn)介　33
3．1．1　虛擬化技術(shù)的發(fā)展　33
3．1．2　虛擬化的描述　34
3．1．3　虛擬化技術(shù)的優(yōu)勢(shì)和劣勢(shì)　35
3．1．4　虛擬化技術(shù)的分類　36
3．2　常見虛擬化軟件　39
3．2．1　VirtualBox　39
3．2．2　VMware Workstation　39
3．2．3　KVM　39
3．3　系統(tǒng)虛擬化　40
3．3．1　服務(wù)器虛擬化　41
3．3．2　桌面虛擬化　43
3．3．3　網(wǎng)絡(luò)虛擬化　45
3．4　使用KVM構(gòu)建虛擬機(jī)群　46
練習(xí)題　48
第4章　集群系統(tǒng)基礎(chǔ)　49
4．1　集群系統(tǒng)的基本概念　49
4．2　集群系統(tǒng)的分類　51
4．3　單一系統(tǒng)映射　52
4．4　Beowulf集群　53
4．5　集群文件系統(tǒng)　55
4．5．1　集群文件系統(tǒng)概念　55
4．5．2　典型的集群文件系統(tǒng)Lustre　56
4．6　分布式系統(tǒng)中計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制　　58
4．6．1　基于計(jì)算切分的分布式計(jì)算　58
4．6．2　基于計(jì)算和數(shù)據(jù)切分的混合型分布式計(jì)算技術(shù)——網(wǎng)格計(jì)算　60
4．6．3　基于數(shù)據(jù)切分的分布式計(jì)算技術(shù)　61
4．6．4　三種分布式系統(tǒng)的分析對(duì)比　63
練習(xí)題　65
第5章　MPI——面向計(jì)算的高性能集群技術(shù)　66
5．1　什么是MPI　66
5．2　MPI的架構(gòu)和特點(diǎn)　67
5．3　MPICH并行環(huán)境的建立　68
5．3．1　配置前的準(zhǔn)備工作　68
5．3．2　掛載NFS　68
5．3．3　配置ssh實(shí)現(xiàn)MPI節(jié)點(diǎn)間用戶的無密碼訪問　69
5．3．4　安裝MPICH2　70
5．3．5　建立并行計(jì)算環(huán)境時(shí)的注意事項(xiàng)　72
5．4　MPI分布式程序設(shè)計(jì)基礎(chǔ)　72
5．4．1　最簡(jiǎn)單的并行程序　73
5．4．2　獲取進(jìn)程標(biāo)志和機(jī)器名　76
5．4．3　有消息傳遞功能的并行程序　78
5．4．4　Monte Carlo法在并行程序設(shè)計(jì)中的應(yīng)用　82
5．4．5　并行計(jì)算中節(jié)點(diǎn)間的Reduce操作　84
5．4．6　用MPI的6個(gè)基本函數(shù)實(shí)現(xiàn)Reduce函數(shù)功能　87
5．4．7　設(shè)計(jì)MPI并行程序時(shí)的注意事項(xiàng)　89
練習(xí)題　90
第6章　Hadoop——分布式大數(shù)據(jù)系統(tǒng)　91
6．1　Hadoop概述　91
6．2　HDFS　92
6．2．1　HDFS文件系統(tǒng)的原型GFS　92
6．2．2　HDFS文件的基本結(jié)構(gòu)　94
6．2．3　HDFS的存儲(chǔ)過程　95
6．3　MapReduce編程框架　96
6．3．1　MapReduce的發(fā)展歷史　96
6．3．2　MapReduce的基本工作過程　96
6．3．3　LISP中的MapReduce　99
6．3．4　MapReduce的特點(diǎn)　100
6．4　實(shí)現(xiàn)Map/Reduce的C語(yǔ)言實(shí)例　101
6．5　建立Hadoop開發(fā)環(huán)境　104
6．5．1　相關(guān)準(zhǔn)備工作　105
6．5．2　JDK的安裝配置　105
6．5．3　下載、解壓Hadoop，配置Hadoop環(huán)境變量　106
6．5．4　修改Hadoop配置文件　107
6．5．5　將配置好的Hadoop文件復(fù)制到其他節(jié)點(diǎn)　108
6．5．6　啟動(dòng)、停止Hadoop　108
6．5．7　在Hadoop系統(tǒng)上運(yùn)行測(cè)試程序WordCount　109
練習(xí)題　111
第7章　HPCC——面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng)　112
7．1　HPCC簡(jiǎn)介　113
7．2　HPCC的系統(tǒng)架構(gòu)　115
7．3　HPCC平臺(tái)數(shù)據(jù)檢索任務(wù)的執(zhí)行過程　117
7．4　HPCC的安裝部署　118
7．5　數(shù)據(jù)的加載、切分和分發(fā)　123
7．6　ECL語(yǔ)言基礎(chǔ)知識(shí)　126
7．6．1　ECL語(yǔ)言的保留關(guān)鍵字　127
7．6．2　ECL語(yǔ)言的記錄定義和操作　128
7．6．3　ECL語(yǔ)言集成開發(fā)環(huán)境　129
7．7　ECL語(yǔ)言編程實(shí)例　130
7．7．1　聲明數(shù)據(jù)文件中的記錄結(jié)構(gòu)　130
7．7．2　讀取數(shù)據(jù)文件生成數(shù)據(jù)集　131
7．7．3　統(tǒng)計(jì)記錄條數(shù)　131
7．7．4　將數(shù)據(jù)集中的小寫字母改為大寫　132
7．7．5　建立索引實(shí)現(xiàn)對(duì)數(shù)據(jù)集的檢索　133
7．7．6　發(fā)布數(shù)據(jù)　135
7．7．7　HPCC中的WordCount操作　137
練習(xí)題　139
第8章　Storm——基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng)　141
8．1　Storm簡(jiǎn)介　141
8．2　Storm原理及其體系結(jié)構(gòu)　142
8．2．1　Storm編程模型原理　142
8．2．2　Storm體系結(jié)構(gòu)　143
8．3　搭建Storm開發(fā)環(huán)境　144
8．3．1　Storm的安裝步驟　144
8．3．2　Storm 的設(shè)置　146
8．3．3　Storm 的啟動(dòng)　147
8．4　Storm使用實(shí)例　148
8．4．1　使用Maven管理storm-starter　148
8．4．2　WordCountTopology實(shí)例分析　150　
練習(xí)題　154
第9章　服務(wù)器與數(shù)據(jù)中心　155
9．1 數(shù)據(jù)中心的發(fā)展歷史　155
9．2　數(shù)據(jù)中心的基本單元——服務(wù)器　159
9．3　數(shù)據(jù)中心選址　161
9．4　數(shù)據(jù)中心的能耗　161
練習(xí)題　163
第10章　云計(jì)算大數(shù)據(jù)仿真技術(shù)　164
10．1　用參數(shù)定義物理設(shè)備進(jìn)行仿真　164
10．2　云計(jì)算仿真系統(tǒng)——CloudSim　165
10．2．1　CloudSim基礎(chǔ)　165
10．2．2　CloudSim體系結(jié)構(gòu)　167
10．2．3　CloudSim的使用模型場(chǎng)景　169
10．2．4　CloudSim使用實(shí)例　170
10．3　云計(jì)算系統(tǒng)相空間模型　176
練習(xí)題　178
參考文獻(xiàn)　179