云計算（典藏版）

第1章 大數(shù)據(jù)與云計算 1
1.1 大數(shù)據(jù)時代 1
1.2 云計算概述 3
1.3 云計算發(fā)展現(xiàn)狀 5
1.4 云計算實現(xiàn)機制 7
1.5 云計算壓倒性的成本優(yōu)勢 8
習(xí)題 12
第2章 Google云計算原理與應(yīng)用 13
2.1 Google文件系統(tǒng) 13
2.1.1 系統(tǒng)架構(gòu) 14
2.1.2 容錯機制 16
2.1.3 系統(tǒng)管理技術(shù) 17
2.2 分布式計算編程模型MapReduce 17
2.2.1 產(chǎn)生背景 17
2.2.2 編程模型 18
2.2.3 實現(xiàn)機制 19
2.2.4 案例分析 20
2.3 分布式鎖服務(wù)Chubby 22
2.3.1 Paxos算法 22
2.3.2 Chubby系統(tǒng)設(shè)計 23
2.3.3 Chubby中的Paxos算法 24
2.3.4 Chubby文件系統(tǒng) 26
2.3.5 通信協(xié)議 27
2.3.6 正確性與性能 29
2.4 分布式結(jié)構(gòu)化數(shù)據(jù)表BigTable 30
2.4.1 設(shè)計動機與目標 31
2.4.2 數(shù)據(jù)模型 31
2.4.3 系統(tǒng)架構(gòu) 32
2.4.4 主服務(wù)器 33
2.4.5 子表服務(wù)器 34
2.4.6 性能優(yōu)化 37
2.5 分布式存儲系統(tǒng)Megastore 39
2.5.1 設(shè)計目標及方案選擇 39
2.5.2 Megastore數(shù)據(jù)模型 40
2.5.3 Megastore中的事務(wù)及并發(fā)控制 42
2.5.4 Megastore基本架構(gòu) 43
2.5.5 核心技術(shù)――復(fù)制 45
2.5.6 產(chǎn)品性能及控制措施 48
2.6 分布式監(jiān)控系統(tǒng)Dapper 50
2.6.1 基本設(shè)計目標 50
2.6.2 Dapper監(jiān)控系統(tǒng)簡介 50
2.6.3 關(guān)鍵性技術(shù) 53
2.6.4 常用Dapper工具 54
2.6.5 Dapper使用經(jīng)驗 56
2.7 海量數(shù)據(jù)的交互式分析工具Dremel 58
2.7.1 產(chǎn)生背景 58
2.7.2 數(shù)據(jù)模型 59
2.7.3 嵌套式的列存儲 60
2.7.4 查詢語言與執(zhí)行 64
2.7.5 性能分析 66
2.8 內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill 67
2.8.1 產(chǎn)生背景與設(shè)計目標 67
2.8.2 基本數(shù)據(jù)結(jié)構(gòu) 68
2.8.3 性能優(yōu)化 69
2.8.4 性能分析與對比 71
2.9 Google應(yīng)用程序引擎 72
2.9.1 Google App Engine簡介 72
2.9.2 應(yīng)用程序環(huán)境 74
2.9.3 Google App Engine服務(wù) 77
習(xí)題 87
第3章 云計算AWS 88
3.1 基礎(chǔ)存儲架構(gòu)Dynamo 88
3.1.1 Dynamo概況 88
3.1.2 Dynamo架構(gòu)的主要技術(shù) 90
3.2 彈性計算云 97
3.2.1 EC2的基本架構(gòu) 97
3.2.2 EC2的關(guān)鍵技術(shù) 99
3.2.3 EC2的安全及容錯機制 101
3.3 簡單存儲服務(wù) 102
3.3.1 S3的基本概念和操作 102
3.3.2 S3的數(shù)據(jù)一致性模型 103
3.3.3 S3的安全措施 104
3.4 非關(guān)系型數(shù)據(jù)庫服務(wù) 106
3.4.1 非關(guān)系型數(shù)據(jù)庫與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的比較 106
3.4.2 SimpleDB 107
3.4.3 DynamoDB 109
3.4.4 SimpleDB和DynamoDB的比較 109
3.5 關(guān)系型數(shù)據(jù)庫服務(wù) 110
3.5.1 RDS的基本原理 110
3.5.2 RDS的使用 111
3.6 簡單隊列服務(wù) 111
3.6.1 SQS的基本模型 111
3.6.2 SQS的消息 112
3.7 內(nèi)容推送服務(wù) 114
3.7.1 CDN 114
3.7.2 CloudFront 116
3.8 其他 云計算服務(wù) 117
3.8.1 快速應(yīng)用部署Elastic Beanstalk和服務(wù)模板CloudFormation 117
3.8.2 DNS服務(wù)Route53 118
3.8.3 虛擬私有云VPC 118
3.8.4 簡單通知服務(wù)和簡單郵件服務(wù) 119
3.8.5 彈性MapReduce服務(wù) 119
3.8.6 電子商務(wù)服務(wù)DevPay、FPS和簡單支付服務(wù) 121
3.8.7 執(zhí)行網(wǎng)絡(luò)服務(wù) 125
3.8.8 土耳其機器人 125
3.8.9 數(shù)據(jù)倉庫服務(wù)Redshift 126
3.8.10 應(yīng)用流服務(wù)AppStream和數(shù)據(jù)流服務(wù)Kinesis 127
3.8.11 增強現(xiàn)實（AR）和虛擬現(xiàn)實（VR）應(yīng)用Sumerian 128
3.8.12 區(qū)塊鏈應(yīng)用Managed Blockchain 128
3.9 AWS應(yīng)用實例 129
3.9.1 照片和視頻共享網(wǎng)站SmugMug 129
3.9.2 視頻制作網(wǎng)站Animoto 129
3.9.3 網(wǎng)站排名公司Alexa 130
3.10 小結(jié) 130
習(xí)題 131
第4章 微軟云計算Microsoft Azure 132
4.1 微軟云計算平臺 132
4.2 微軟云操作系統(tǒng)Microsoft Azure 134
4.2.1 Microsoft Azure概述 134
4.2.2 Microsoft Azure計算服務(wù) 135
4.2.3 Microsoft Azure存儲服務(wù) 139
4.2.4 Microsoft Azure Connect 147
4.2.5 Microsoft Azure CDN 148
4.2.6 Fabric控制器 149
4.3 微軟云關(guān)系數(shù)據(jù)庫SQL Azure 150
4.3.1 SQL Azure概述 150
4.3.2 SQL Azure關(guān)鍵技術(shù) 151
4.3.3 SQL Azure和SQL Server對比 153
4.4 Microsoft Azure Service Fabric 154
4.4.1 Service Fabric 概述 154
4.4.2 Service Fabric體系結(jié)構(gòu) 155
4.4.3 Service Fabric群集 157
4.5 Microsoft Azure Marketplace 163
4.6 Microsoft Azure服務(wù)平臺 164
4.6.1 網(wǎng)站 164
4.6.2 虛擬機 165
4.6.3 云服務(wù) 166
4.6.4 移動服務(wù) 167
4.6.5 大數(shù)據(jù)處理 168
4.6.6 媒體服務(wù) 169
4.6.7 物聯(lián)網(wǎng)平臺 170
4.6.8 人工智能服務(wù) 171
習(xí)題 172
第5章 Hadoop 3.0：主流開源云架構(gòu) 173
5.1 挑戰(zhàn)與對策 173
5.1.1 問題概述 173
5.1.2 常規(guī)解決方案 173
5.1.3 分布式下的解決方案 174
5.1.4 小結(jié) 178
5.2 Hadoop 3.0簡述 178
5.2.1 Hadoop發(fā)展 178
5.2.2 Hadoop 3.0生態(tài)圈項目 179
5.2.3 Hadoop應(yīng)用 181
5.3 Hadoop 3.0部署 181
5.3.1 部署綜述 182
5.3.2 傳統(tǒng)解壓包方式部署 186
5.4 Hadoop 3.0體系架構(gòu) 192
5.4.1 公共組件Common 192
5.4.2 分布式文件系統(tǒng)HDFS 194
5.4.3 分布式操作系統(tǒng)YARN 199
5.5 Hadoop 3.0訪問接口 206
5.5.1 配置項接口 206
5.5.2 瀏覽器接口 207
5.5.3 命令行接口 207
5.5.4 HDFS編程 209
5.5.5 YARN編程 212
5.6 Hadoop 3.0生態(tài)組件 220
5.6.1 組件簡介 220
5.6.2 Hive 224
5.6.3 Spark 228
5.6.4 ZooKeeper 239
5.6.5 HBase 243
5.6.6 Mahout 250
5.6.7 Redis 253
5.6.8 Kafka 258
5.6.9 Flink 263
5.6.10 Flume 266
5.6.11 Pig 271
習(xí)題 275
第6章 虛擬化技術(shù) 276
6.1 虛擬化技術(shù)簡介 276
6.2 服務(wù)器虛擬化 277
6.2.1 服務(wù)器虛擬化的層次 277
6.2.2 服務(wù)器虛擬化的底層實現(xiàn) 278
6.2.3 虛擬機遷移 279
6.2.4 隔離技術(shù) 281
6.2.5 案例分析 283
6.3 存儲虛擬化 284
6.3.1 存儲虛擬化的一般模型 284
6.3.2 存儲虛擬化的實現(xiàn)方式 284
6.3.3 案例分析 285
6.4 網(wǎng)絡(luò)虛擬化 287
6.4.1 網(wǎng)絡(luò)虛擬化簡介 287
6.4.2 案例分析：VMware的網(wǎng)絡(luò)虛擬化技術(shù) 288
6.5 桌面虛擬化 290
6.5.1 桌面虛擬化簡介 290
6.5.2 技術(shù)現(xiàn)狀 291
6.5.3 案例分析 292
6.6 OpenStack開源虛擬化平臺 292
6.6.1 OpenStack背景介紹 293
6.6.2 Nova 294
6.6.3 Swift 299
6.6.4 Glance 305
6.7 超融合技術(shù) 306
6.7.1 概念 306
6.7.2 產(chǎn)生背景 306
6.7.3 超融合技術(shù)簡介 308
習(xí)題 310
第7章 容器技術(shù) 311
7.1 容器技術(shù)簡介 311
7.1.1 容器技術(shù)的發(fā)展歷程 311
7.1.2 容器技術(shù)的架構(gòu) 313
7.1.3 容器的底層技術(shù) 314
7.1.4 容器的關(guān)鍵技術(shù) 315
7.1.5 容器技術(shù)的優(yōu)勢和局限性 316
7.1.6 容器技術(shù)的典型應(yīng)用 317
7.1.7 容器和虛擬機對比 318
7.2 Docker技術(shù) 320
7.2.1 Docker是什么 320
7.2.2 Docker的架構(gòu)和流程 322
7.2.3 Docker的優(yōu)勢和局限性 323
7.2.4 分布式Docker網(wǎng)絡(luò)環(huán)境搭建 327
7.3 Rocket（Rkt）技術(shù)簡介 328
7.3.1 Rkt的標準化嘗試 329
7.3.2 Rkt是什么 331
7.3.3 Rkt的基本使用方法 333
7.4 其他容器技術(shù) 335
7.4.1 Garden容器技術(shù) 335
7.4.2 Kata容器技術(shù) 337
7.5 容器編排系統(tǒng) 338
7.5.1 Google Kubernetes 339
7.5.2 Docker Swarm 346
7.5.3 Apache Mesos 350
7.5.4 CoreOS Fleet 356
習(xí)題 357
第8章 云原生技術(shù) 359
8.1 云原生簡介 359
8.2 微服務(wù) 361
8.2.1 Spring Cloud架構(gòu) 361
8.2.2 服務(wù)網(wǎng)格架構(gòu) 370
8.3 敏捷基礎(chǔ)設(shè)施 374
8.3.1 分布式消息中間件服務(wù) 375
8.3.2 分布式緩存服務(wù) 383
8.3.3 分布式任務(wù)調(diào)度服務(wù) 386
8.3.4 監(jiān)控告 務(wù) 390
8.4 DevOps 392
8.4.1 概念 393
8.4.2 Ansible 394
8.4.3 SaltStack 395
8.4.4 Jenkins 397
8.5 持續(xù)交付 399
8.5.1 持續(xù)交付與持續(xù)集成、持續(xù)部署 400
8.5.2 持續(xù)交付vs. DevOps 401
8.6 云原生應(yīng)用場景 401
8.6.1 深度學(xué)習(xí)應(yīng)用場景 402
8.6.2 區(qū)塊鏈應(yīng)用場景 403
8.6.3 邊緣計算應(yīng)用場景 404
8.6.4 傳統(tǒng)行業(yè)互聯(lián)網(wǎng)化應(yīng)用場景 404
習(xí)題 405
第9章 云計算數(shù)據(jù)中心 406
9.1 云計算數(shù)據(jù)中心的特征 406
9.2 云計算數(shù)據(jù)中心網(wǎng)絡(luò)部署 407
9.2.1 改進型樹形結(jié)構(gòu) 407
9.2.2 遞歸層次結(jié)構(gòu) 409
9.2.3 光交換網(wǎng)絡(luò) 412
9.2.4 無線數(shù)據(jù)中心網(wǎng)絡(luò) 414
9.2.5 軟件定義網(wǎng)絡(luò) 414
9.3 綠色節(jié)能技術(shù) 418
9.3.1 配電系統(tǒng)節(jié)能技術(shù) 418
9.3.2 空調(diào)系統(tǒng)節(jié)能技術(shù) 420
9.3.3 集裝箱數(shù)據(jù)中心節(jié)能技術(shù) 423
9.3.4 海底數(shù)據(jù)中心 424
9.3.5 數(shù)據(jù)中心節(jié)能策略和算法研究 427
9.3.6 新能源的應(yīng)用 429
9.3.7 典型的綠色節(jié)能數(shù)據(jù)中心 432
9.4 自動化管理 434
9.4.1 自動化管理的特征 434
9.4.2 自動化管理實現(xiàn)階段 435
9.4.3 Facebook自動化管理 436
9.5 容災(zāi)備份 438
9.5.1 容災(zāi)系統(tǒng)的等級標準 438
9.5.2 容災(zāi)備份的關(guān)鍵技術(shù) 439
9.5.3 云存儲在容災(zāi)備份中的應(yīng)用 441
習(xí)題 442
0章 云計算核心算法 443
10.1 Paxos算法 443
10.1.1 Paxos算法背景知識 443
10.1.2 Paxos算法詳解 444
10.1.3 Paxos算法舉例 447
10.1.4 Chubby中Paxos算法的具體實現(xiàn) 448
10.2 DHT算法 449
10.2.1 DHT原理介紹 450
10.2.2 Chord中DHT的具體實現(xiàn) 452
10.2.3 Pastry中DHT的具體實現(xiàn) 454
10.2.4 CAN中DHT的具體實現(xiàn) 455
10.2.5 Tapestry中DHT的具體實現(xiàn) 456
10.3 Gossip協(xié)議 457
10.3.1 Gossip協(xié)議的特點 457
10.3.2 Gossip協(xié)議的通信方式及收斂性 458
10.3.3 Gossip節(jié)點管理算法 459
10.3.4 Cassandra中Gossip協(xié)議的具體實現(xiàn)方式 460
10.3.5 CoolStreaming中Gossip協(xié)議的具體實現(xiàn)方式 463
10.3.6 Hyperledger Fabric中Gossip協(xié)議的具體實現(xiàn)方式 465
10.3.7 Chord網(wǎng)絡(luò)中Gossip協(xié)議的具體實現(xiàn)方式 467
習(xí)題 468
1章 云際計算技術(shù) 469
11.1 傳統(tǒng)云計算面臨的挑戰(zhàn) 469
11.2 云際計算誕生 470
11.2.1 云際計算概念 470
11.2.2 技術(shù)優(yōu)勢 470
11.3 云際計算架構(gòu) 471
11.3.1 集中式代理架構(gòu) 472
11.3.2 地理分布式代理架構(gòu) 472
11.4 云際計算關(guān)鍵技術(shù) 473
11.4.1 云際協(xié)作環(huán)境 474
11.4.2 對等協(xié)作機制 477
11.5 云際存儲關(guān)鍵技術(shù) 478
11.5.1 糾刪碼容錯技術(shù) 479
11.5.2 數(shù)據(jù)完整性證明機制 481
11.5.3 并發(fā)控制方法 483
11.5.4 安全重刪技術(shù) 485
11.6 云際計算研究進展 487
11.6.1 Inter-Cloud 488
11.6.2 SuperCloud 489
11.6.3 Multi-Cloud 490
11.6.4 Federated Cloud 491
11.6.5 Cloud Service Broker 493
11.6.6 Internetware 494
11.6.7 iVCE 496
11.7 云際計算應(yīng)用場景 497
習(xí)題 498
2章 中國云計算技術(shù) 499
12.1 云計算發(fā)展概況 499
12.2 云存儲技術(shù) 500
12.2.1 淘寶文件系統(tǒng) 501
12.2.2 云創(chuàng)大數(shù)據(jù)cStor超融合云存儲系統(tǒng) 503
12.2.3 A8000超低功耗云存儲一體機 507
12.3 大數(shù)據(jù)庫技術(shù) 510
12.3.1 阿里巴巴OceanBase 510
12.3.2 云創(chuàng)大數(shù)據(jù)數(shù)據(jù)立方 514
12.4 云視頻監(jiān)控技術(shù) 519
12.4.1 cVideo云視頻監(jiān)控系統(tǒng) 519
12.4.2 cVideo智能分析系統(tǒng) 521
12.4.3 cVideo云轉(zhuǎn)碼系統(tǒng) 523
12.5 阿里巴巴阿里云服務(wù) 525
12.5.1 阿里云計算體系架構(gòu) 526
12.5.2 彈性計算服務(wù) 526
12.5.3 對象存儲服務(wù) 527
12.5.4 表格存儲服務(wù) 527
12.5.5 開放數(shù)據(jù)處理服務(wù) 528
12.5.6 關(guān)系型數(shù)據(jù)庫服務(wù) 528
12.6 云創(chuàng)大數(shù)據(jù)萬物云服務(wù) 529
12.6.1 平臺簡介 529
12.6.2 系統(tǒng)架構(gòu) 530
12.6.3 功能服務(wù) 531
12.6.4 應(yīng)用舉例 533
12.7 云創(chuàng)大數(shù)據(jù)人工智能云平臺 534
12.7.1 訓(xùn)練平臺 534
12.7.2 推理平臺 536
12.7.3 開放平臺 540
習(xí)題 542
3章 總結(jié)與展望 543
13.1 主流商業(yè)云計算解決方案比較 543
13.1.1 應(yīng)用場景 543
13.1.2 使用流程 545
13.1.3 體系結(jié)構(gòu) 546
13.1.4 實現(xiàn)技術(shù) 546
13.1.5 核心業(yè)務(wù) 547
13.2 主流開源云計算系統(tǒng)比較 549
13.2.1 開發(fā)目的 549
13.2.2 體系結(jié)構(gòu) 551
13.2.3 實現(xiàn)技術(shù) 552
13.2.4 核心服務(wù) 552
13.3 云計算發(fā)展趨勢 553
13.3.1 標準化 553
13.3.2 混合云模式 558
13.3.3 多云部署 559
13.3.4 云計算與人工智能相融合 560
習(xí)題 561