大數(shù)據(jù) 數(shù)據(jù)管理與數(shù)據(jù)工程

第一部分大數(shù)據(jù)管理理論框架與生態(tài)系統(tǒng) 第1章大數(shù)據(jù)概述 1.1大數(shù)據(jù)時(shí)代 1.2什么是大數(shù)據(jù) 1.2.1大數(shù)據(jù)定義 1.2.2大數(shù)據(jù)特征 1.2.3大數(shù)據(jù)結(jié)構(gòu)類型 1.2.4數(shù)據(jù)、信息、知識(shí)與智能的關(guān)系 1.3大數(shù)據(jù)發(fā)展史 1.3.1數(shù)據(jù)管理發(fā)展歷程 1.3.2大數(shù)據(jù)的演變及回顧 1.4大數(shù)據(jù)的度量和價(jià)值 1.4.1大數(shù)據(jù)的度量 1.4.2大數(shù)據(jù)的價(jià)值 1.5大數(shù)據(jù)生態(tài)系統(tǒng) 1.5.1大數(shù)據(jù)生態(tài)系統(tǒng)全貌 1.5.2大數(shù)據(jù)生態(tài)系統(tǒng)框架 1.6大數(shù)據(jù)應(yīng)用研究方向 1.6.1大數(shù)據(jù)管理與技術(shù) 1.6.2大數(shù)據(jù)科學(xué)與工程 1.7大數(shù)據(jù)的挑戰(zhàn) 1.7.1大數(shù)據(jù)管理方面帶來的挑戰(zhàn) 1.7.2大數(shù)據(jù)技術(shù)方面帶來的挑戰(zhàn) 1.7.3大數(shù)據(jù)工程方面帶來的挑戰(zhàn) 第2章大數(shù)據(jù)戰(zhàn)略與商業(yè)模式變革 2.1大數(shù)據(jù)戰(zhàn)略 2.1.1國(guó)外大數(shù)據(jù)戰(zhàn)略視角 2.1.2國(guó)內(nèi)大數(shù)據(jù)戰(zhàn)略視角 2.2大數(shù)據(jù)商業(yè)模式和商業(yè)機(jī)會(huì) 2.2.1基于大數(shù)據(jù)的商業(yè)模式創(chuàng)新 2.2.2大數(shù)據(jù)對(duì)企業(yè)管理決策的影響 2.2.3基于大數(shù)據(jù)驅(qū)動(dòng)的商業(yè)機(jī)會(huì) 2.3大數(shù)據(jù)市場(chǎng)的行業(yè)應(yīng)用需求 2.3.1移動(dòng)互聯(lián)網(wǎng)和社交網(wǎng)絡(luò) 2.3.2政府公共管理 2.3.3教育科研行業(yè) 2.3.4金融行業(yè) 2.3.5醫(yī)療健康業(yè) 2.3.6中國(guó)制造2025 2.3.7智能交通領(lǐng)域 第3章大數(shù)據(jù)平臺(tái)的架構(gòu)體系 3.1大數(shù)據(jù)基礎(chǔ)設(shè)施 3.1.1虛擬化 3.1.2云計(jì)算 3.1.3數(shù)據(jù)中心 3.2數(shù)據(jù)采集 3.2.1系統(tǒng)日志采集方法 3.2.2網(wǎng)絡(luò)數(shù)據(jù)采集方法： 對(duì)非結(jié)構(gòu)化數(shù)據(jù)的采集 3.2.3其他數(shù)據(jù)采集方法 3.3數(shù)據(jù)存儲(chǔ) 3.3.1結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 3.3.2非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) 3.4數(shù)據(jù)處理 3.4.1離線批處理 3.4.2實(shí)時(shí)交互計(jì)算 3.4.3流計(jì)算 3.5數(shù)據(jù)交互展示 3.5.1數(shù)據(jù)可視化基礎(chǔ) 3.5.2數(shù)據(jù)可視化模式 3.5.3數(shù)據(jù)可視化工具 3.6大數(shù)據(jù)應(yīng)用 3.7運(yùn)營(yíng)管理 3.8安全管理 第4章大數(shù)據(jù)的數(shù)據(jù)整合、交換與交易 4.1大數(shù)據(jù)平臺(tái)整合 4.1.1HDFS分布式文件系統(tǒng) 4.1.2MapReduce分布式計(jì)算框架 4.1.3HBase分布式數(shù)據(jù)庫(kù) 4.1.4交互式數(shù)據(jù)查詢分析 4.1.5數(shù)據(jù)收集、轉(zhuǎn)換工具 4.1.6其他大數(shù)據(jù)平臺(tái) 4.2大數(shù)據(jù)與存儲(chǔ)架構(gòu)的整合 4.2.1傳統(tǒng)存儲(chǔ)架構(gòu) 4.2.2集群存儲(chǔ)的發(fā)展 4.2.3基于HDFS的集群存儲(chǔ) 4.2.4固態(tài)硬盤對(duì)內(nèi)存計(jì)算的支持 4.3大數(shù)據(jù)與網(wǎng)絡(luò)架構(gòu)的發(fā)展 4.4大數(shù)據(jù)與虛擬化技術(shù)的整合 4.5Hadoop環(huán)境下的數(shù)據(jù)整合 4.5.1Hadoop計(jì)算環(huán)境下的數(shù)據(jù)整合問題 4.5.2數(shù)據(jù)庫(kù)整合工具Sqoop 4.5.3Hadoop平臺(tái)內(nèi)部數(shù)據(jù)整合工具HCatalog 4.6大數(shù)據(jù)數(shù)據(jù)交換 4.6.1數(shù)據(jù)集成技術(shù) 4.6.2數(shù)據(jù)交換體系應(yīng)用框架 4.6.3數(shù)據(jù)交換關(guān)鍵技術(shù) 4.7大數(shù)據(jù)交易 4.7.1大數(shù)據(jù)交易產(chǎn)業(yè)鏈 4.7.2大數(shù)據(jù)交易業(yè)務(wù)模式分析 4.7.3大數(shù)據(jù)交易發(fā)展趨勢(shì) 第5章大數(shù)據(jù)管理和治理 5.1建立數(shù)據(jù)驅(qū)動(dòng)的管理體系和架構(gòu) 5.1.1建立數(shù)據(jù)管理組織和團(tuán)隊(duì) 5.1.2建立數(shù)據(jù)管理規(guī)章和制度 5.2大數(shù)據(jù)治理體系 5.2.1數(shù)據(jù)標(biāo)準(zhǔn)管理 5.2.2數(shù)據(jù)質(zhì)量管理 5.2.3元數(shù)據(jù)管理 5.2.4主數(shù)據(jù)管理 5.2.5數(shù)據(jù)資產(chǎn)的全生命周期管理 5.3大數(shù)據(jù)技術(shù)管理體系 5.3.1數(shù)據(jù)類型和結(jié)構(gòu) 5.3.2數(shù)據(jù)存儲(chǔ)管理 5.3.3數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能 5.3.4數(shù)據(jù)計(jì)算和處理 5.3.5數(shù)據(jù)展示與交互 5.4大數(shù)據(jù)事務(wù)管理 5.4.1事務(wù)的基本屬性 5.4.2大數(shù)據(jù)事務(wù)管理機(jī)制 5.5大數(shù)據(jù)流程管理 5.6大數(shù)據(jù)易用性管理 5.7數(shù)據(jù)的安全管理 第6章大數(shù)據(jù)創(chuàng)新方法論 6.1大數(shù)據(jù)的爆發(fā) 6.2大數(shù)據(jù)創(chuàng)新理論 6.2.1大數(shù)據(jù)的宏觀性和微觀性 6.2.2大數(shù)據(jù)的生產(chǎn)要素性 6.2.3大數(shù)據(jù)的基因特性 6.2.4大數(shù)據(jù)的催化劑特性 6.2.5大數(shù)據(jù)的活性和流動(dòng)性 6.2.6大數(shù)據(jù)的黑洞效應(yīng)和核聚變效應(yīng) 6.3大數(shù)據(jù)創(chuàng)新方法論 6.4信息演變趨勢(shì) 6.5大數(shù)據(jù)創(chuàng)新實(shí)踐閉環(huán) 6.6中國(guó)創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)版圖 6.6.1大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理 6.6.2大眾創(chuàng)業(yè)萬眾創(chuàng)新的浪潮 6.6.3中國(guó)創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)版圖的推出 6.6.4雙創(chuàng)版圖中的大數(shù)據(jù)管理挑戰(zhàn) 6.6.5雙創(chuàng)版圖中大數(shù)據(jù)技術(shù)的集中運(yùn)用 6.6.6雙創(chuàng)大數(shù)據(jù)版圖的意義 第二部分?jǐn)?shù)據(jù)科學(xué)和數(shù)據(jù)工程 第7章數(shù)據(jù)科學(xué)理論與工具 7.1數(shù)據(jù)科學(xué)理論基礎(chǔ) 7.1.1數(shù)據(jù)科學(xué)概念 7.1.2數(shù)據(jù)科學(xué)預(yù)測(cè)預(yù)警分析 7.1.3商業(yè)智能與數(shù)據(jù)科學(xué) 7.2數(shù)據(jù)科學(xué)研究的重要角色 7.2.1數(shù)據(jù)科學(xué)家 7.2.2數(shù)據(jù)科學(xué)與工程相關(guān)角色 7.3大數(shù)據(jù)生命周期管理方法論 7.3.1數(shù)據(jù)分析模型概述 7.3.2數(shù)據(jù)分析模型流程框架 7.3.3數(shù)據(jù)分析模型創(chuàng)新案例 7.3.4數(shù)據(jù)分析工具 7.4數(shù)據(jù)倉(cāng)庫(kù)理論 7.4.1數(shù)據(jù)倉(cāng)庫(kù)的主要特征 7.4.2數(shù)據(jù)倉(cāng)庫(kù)建模 7.4.3數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) 7.4.4數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法論 7.4.5數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù) 7.4.6DW、OLAP與DM的關(guān)系 7.5數(shù)據(jù)挖掘高級(jí)理論 7.5.1聚類分析 7.5.2關(guān)聯(lián)分析 7.5.3回歸和分類分析 7.5.4時(shí)序模型 7.5.5結(jié)構(gòu)優(yōu)化 7.5.6深度機(jī)器學(xué)習(xí) 7.6大數(shù)據(jù)語義分析知識(shí)發(fā)現(xiàn) 7.6.1大數(shù)據(jù)知識(shí)發(fā)現(xiàn)過程 7.6.2大數(shù)據(jù)知識(shí)發(fā)現(xiàn)技術(shù)框架 7.6.3大數(shù)據(jù)知識(shí)發(fā)現(xiàn)專家系統(tǒng) 7.6.4企業(yè)大數(shù)據(jù)知識(shí)管理框架 7.7大數(shù)據(jù)分析處理平臺(tái) 7.7.1結(jié)構(gòu)化大數(shù)據(jù)處理架構(gòu) 7.7.2非結(jié)構(gòu)化大數(shù)據(jù)處理架構(gòu) 7.7.3主流大數(shù)據(jù)分析平臺(tái) 第8章醫(yī)療健康大數(shù)據(jù)解決方案 8.1醫(yī)療信息化 8.1.1美國(guó)醫(yī)療信息化發(fā)展情況 8.1.2我國(guó)醫(yī)療信息化發(fā)展趨勢(shì) 8.1.3醫(yī)療健康大數(shù)據(jù)挑戰(zhàn)和機(jī)遇 8.2醫(yī)療健康大數(shù)據(jù)綜述 8.2.1醫(yī)療健康大數(shù)據(jù)類型 8.2.2臨床服務(wù)數(shù)據(jù) 8.2.3公共衛(wèi)生調(diào)查和監(jiān)測(cè)數(shù)據(jù) 8.2.4醫(yī)學(xué)研究性數(shù)據(jù) 8.2.5個(gè)人健康數(shù)據(jù) 8.3醫(yī)療健康大數(shù)據(jù)總體架構(gòu) 8.3.1建設(shè)原則 8.3.2建設(shè)目標(biāo) 8.3.3醫(yī)療健康大數(shù)據(jù)業(yè)務(wù)架構(gòu) 8.3.4醫(yī)療健康大數(shù)據(jù)技術(shù)架構(gòu) 8.3.5醫(yī)療健康大數(shù)據(jù)網(wǎng)絡(luò)架構(gòu) 8.4醫(yī)療健康數(shù)據(jù)中心解決方案 8.4.1醫(yī)療數(shù)據(jù)中心架構(gòu)設(shè)計(jì)方案 8.4.2集中存儲(chǔ)解決方案 8.4.3PACS數(shù)據(jù)存儲(chǔ)方案 8.4.4容災(zāi)備份解決方案 8.5醫(yī)療健康大數(shù)據(jù)分析 8.5.1醫(yī)療實(shí)體對(duì)象建模分析 8.5.2醫(yī)療個(gè)人健康檔案建模分析 8.5.3相關(guān)數(shù)據(jù)特征對(duì)比分析 8.5.4臨床信息學(xué)大數(shù)據(jù)分析 8.5.5醫(yī)學(xué)文獻(xiàn)研究知識(shí)發(fā)現(xiàn) 8.6醫(yī)療健康大數(shù)據(jù)展望 第9章環(huán)保行業(yè)大數(shù)據(jù)解決方案 9.1環(huán)保物聯(lián)網(wǎng) 9.1.1物聯(lián)網(wǎng)概念 9.1.2物聯(lián)網(wǎng)基本架構(gòu) 9.1.3環(huán)保物聯(lián)網(wǎng)數(shù)據(jù) 9.2環(huán)保電力脫硫 9.2.1火電脫硫的重要性 9.2.2火電脫硫系統(tǒng)工作原理 9.2.3火電脫硫相關(guān)數(shù)據(jù) 9.2.4脫硫性能優(yōu)化目標(biāo) 9.3火電行業(yè)脫硫大數(shù)據(jù)分析 9.3.1主要理論和方法 9.3.2最優(yōu)化脫硫可調(diào)參數(shù) 9.3.3最小化脫硫系統(tǒng)成本 9.4空氣質(zhì)量大數(shù)據(jù)分析評(píng)價(jià)體系 9.4.1基于熵權(quán)的模糊綜合評(píng)價(jià)方法的原理 9.4.2綜合評(píng)價(jià)指標(biāo)選擇與數(shù)據(jù)來源 9.4.3環(huán)境質(zhì)量綜合評(píng)價(jià)結(jié)果及分析 第10章移動(dòng)社交大數(shù)據(jù)解決方案 10.1移動(dòng)社交網(wǎng)絡(luò)發(fā)展情況 10.1.1移動(dòng)社交網(wǎng)絡(luò)發(fā)展現(xiàn)狀 10.1.2移動(dòng)社交網(wǎng)絡(luò)發(fā)展方向 10.2社交網(wǎng)絡(luò)基礎(chǔ)理論和商業(yè)模式 10.2.1社交網(wǎng)絡(luò)相關(guān)理論 10.2.2社交化商業(yè)模式 10.3移動(dòng)社交網(wǎng)絡(luò)數(shù)據(jù)處理架構(gòu) 10.3.1移動(dòng)社交網(wǎng)絡(luò)服務(wù)架構(gòu)模型 10.3.2Facebook應(yīng)用案例 10.4移動(dòng)社交網(wǎng)絡(luò)大數(shù)據(jù)分析 10.4.1社交網(wǎng)絡(luò)平臺(tái)行為影響分析模型 10.4.2社交網(wǎng)絡(luò)單平臺(tái)內(nèi)影響力分析 10.4.3社交網(wǎng)絡(luò)多平臺(tái)影響力分析 第11章金融大數(shù)據(jù)解決方案 11.1金融信息化 11.1.1全球金融信息化發(fā)展歷程 11.1.2我國(guó)金融信息化發(fā)展趨勢(shì) 11.2金融大數(shù)據(jù)綜述 11.2.1金融大數(shù)據(jù)的特征 11.2.2金融大數(shù)據(jù)的機(jī)遇和挑戰(zhàn) 11.3金融大數(shù)據(jù)平臺(tái)總體架構(gòu) 11.3.1建設(shè)原則和目標(biāo) 11.3.2金融大數(shù)據(jù)業(yè)務(wù)架構(gòu) 11.3.3金融大數(shù)據(jù)技術(shù)架構(gòu) 11.3.4金融大數(shù)據(jù)網(wǎng)絡(luò)架構(gòu) 11.4金融大數(shù)據(jù)分析 11.4.1銀行風(fēng)險(xiǎn)管理狀況分析 11.4.2金融大數(shù)據(jù)風(fēng)險(xiǎn)管理云平臺(tái) 11.4.3大數(shù)據(jù)征信 11.4.4大數(shù)據(jù)反欺詐 11.4.5大數(shù)據(jù)精準(zhǔn)營(yíng)銷 11.5金融大數(shù)據(jù)帶來的產(chǎn)業(yè)變革 第12章中國(guó)制造大數(shù)據(jù)解決方案 12.1全球工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.1美國(guó)工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.2日本工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.3德國(guó)工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.4我國(guó)工業(yè)信息化發(fā)展歷程和現(xiàn)狀 12.1.5我國(guó)《中國(guó)制造2025》的發(fā)展戰(zhàn)略 12.2工業(yè)信息化技術(shù)集成和協(xié)同發(fā)展方向 12.2.1集成和協(xié)同的空間跨度 12.2.2集成和協(xié)同的時(shí)間跨度 12.2.3集成和協(xié)同的重點(diǎn)和對(duì)象 12.2.4主要的集成和協(xié)同技術(shù) 12.3中國(guó)制造信息化應(yīng)用系統(tǒng) 12.3.1工業(yè)設(shè)計(jì)自動(dòng)化系統(tǒng) 12.3.2制造控制自動(dòng)化系統(tǒng) 12.3.3制造執(zhí)行系統(tǒng) 12.3.4柔性制造系統(tǒng) 12.3.5工業(yè)互聯(lián)網(wǎng)與CPS系統(tǒng) 12.3.6ERP信息系統(tǒng) 12.4工業(yè)大數(shù)據(jù)架構(gòu)體系 12.4.1互聯(lián)網(wǎng)催生工業(yè)大數(shù)據(jù) 12.4.2工業(yè)大數(shù)據(jù)內(nèi)涵特征 12.4.3工業(yè)大數(shù)據(jù)業(yè)務(wù)架構(gòu) 12.4.4工業(yè)大數(shù)據(jù)技術(shù)架構(gòu) 12.4.5工業(yè)大數(shù)據(jù)安全架構(gòu) 12.5智能化協(xié)同制造體系架構(gòu) 12.5.1智能化協(xié)同制造發(fā)展需求 12.5.2智能化協(xié)同制造總體架構(gòu) 12.5.3智能化協(xié)同制造設(shè)計(jì)思想 12.5.4智能化協(xié)同制造應(yīng)用場(chǎng)景 12.6智能化協(xié)同制造服務(wù)生命周期過程 12.6.1制造資源服務(wù)集成與發(fā)現(xiàn) 12.6.2制造服務(wù)資源訪問策略 12.6.3制造服務(wù)資源的優(yōu)化與智能調(diào)度 12.6.4智能化協(xié)同制造研究與自學(xué)習(xí)機(jī)制 12.7工業(yè)大數(shù)據(jù)展望 第13章大數(shù)據(jù)工程保障體系建設(shè) 13.1法律體系建設(shè) 13.2標(biāo)準(zhǔn)體系建設(shè) 13.3建立標(biāo)準(zhǔn)化大數(shù)據(jù)治理體系 13.4加強(qiáng)大數(shù)據(jù)行業(yè)應(yīng)用研究 13.5加強(qiáng)元數(shù)據(jù)的研究和應(yīng)用 13.6加強(qiáng)大數(shù)據(jù)核心技術(shù)研究 13.7促進(jìn)大數(shù)據(jù)交易市場(chǎng)的規(guī)范化發(fā)展 13.8推動(dòng)大數(shù)據(jù)標(biāo)準(zhǔn)化進(jìn)程 參考文獻(xiàn)