大數(shù)據(jù)技術及應用教程

第1章大數(shù)據(jù)技術基本概念31.1數(shù)據(jù)3 1.1.1數(shù)據(jù)的單位4 1.1.2數(shù)據(jù)與信息的關系 4 1.1.3數(shù)據(jù)的分類 4 1.2信息6 1.2.1信息的定義6 1.2.2信息資源7 1.2.3信息的應用意義8 1.3大數(shù)據(jù)9 1.3.1大數(shù)據(jù)發(fā)展歷史9 1.3.2大數(shù)據(jù)的定義和特點10 1.4大數(shù)據(jù)技術的基本概念15 1.4.1傳統(tǒng)數(shù)據(jù)處理15 1.4.2大數(shù)據(jù)分析的方法理論16 1.4.3大數(shù)據(jù)技術17 1.5大數(shù)據(jù)的社會價值21 1.5.1大數(shù)據(jù)的社會價值體現(xiàn)21 1.5.2大數(shù)據(jù)在政府管理方面的應用22 1.5.3大數(shù)據(jù)在公共服務領域的應用23 1.6大數(shù)據(jù)的商業(yè)應用24 1.6.1商業(yè)大數(shù)據(jù)的類型和價值挖掘方法24 1.6.2全球大數(shù)據(jù)市場結構26 1.6.3中國大數(shù)據(jù)市場26 1.6.4大數(shù)據(jù)給中國帶來的十大商業(yè)應用場景27 1.7大數(shù)據(jù)與商業(yè)模式創(chuàng)新32 1.7.1商業(yè)模式的創(chuàng)新特點32 1.7.2商業(yè)模式創(chuàng)新可以為企業(yè)帶來什么32 1.7.3基于大數(shù)據(jù)分析的商業(yè)模式創(chuàng)新33 1.8如何成為“大數(shù)據(jù)企業(yè)”35 1.8.1駕馭企業(yè)外部大數(shù)據(jù)35 1.8.2成為“大數(shù)據(jù)企業(yè)”36 1.8.3如何挖掘企業(yè)大數(shù)據(jù)的價值37 1.8.4大數(shù)據(jù)實質(zhì)上是一種管理思維38 1.9大數(shù)據(jù)應用案例之: 男女嘉賓《非誠勿擾》牽手數(shù)據(jù)分析39 習題與思考題42 大數(shù)據(jù)技術及應用教程目錄第二部分大數(shù)據(jù)技術 第2章基礎架構——云計算平臺472.1大數(shù)據(jù)處理的基礎架構47 2.2云計算網(wǎng)絡47 2.2.1云計算簡介48 2.2.2云計算系統(tǒng)的體系結構50 2.2.3云計算服務層次55 2.2.4云計算技術層次57 2.2.5云計算的核心技術58 2.2.6典型云計算平臺59 2.2.7典型的云計算系統(tǒng)及應用64 2.2.8大數(shù)據(jù)平臺的應用67 2.3大數(shù)據(jù)應用案例之: 在“北上廣”打拼是怎樣一種體驗69 習題與思考題72第3章大數(shù)據(jù)采集與預處理74 3.1大數(shù)據(jù)采集概念74 3.2數(shù)據(jù)采集來源75 3.3大數(shù)據(jù)采集方法76 3.3.1大數(shù)據(jù)數(shù)據(jù)采集方面新方法76 3.3.2網(wǎng)頁數(shù)據(jù)采集方法76 3.3.3Web信息數(shù)據(jù)自動采集79 3.4導入/預處理82 3.4.1大數(shù)據(jù)導入/預處理的過程 82 3.4.2數(shù)據(jù)清洗84 3.4.3數(shù)據(jù)采集(ETL)技術86 3.4.4基于大數(shù)據(jù)的數(shù)據(jù)預處理88 3.4.5數(shù)據(jù)處理的基本流程與關鍵技術90 3.5數(shù)據(jù)集成91 3.5.1數(shù)據(jù)集成的概念91 3.5.2數(shù)據(jù)集成面臨問題92 3.6數(shù)據(jù)變換92 3.6.1異構數(shù)據(jù)交換綜述93 3.6.2異構數(shù)據(jù)分析94 3.6.3異構數(shù)據(jù)交換方式97 3.6.4異構數(shù)據(jù)交換技術99 3.6.5異構數(shù)據(jù)交換與集成的研究方向103 3.7大數(shù)據(jù)應用案例之: 互聯(lián)網(wǎng)行業(yè)哪個職位比較有前途103 習題與思考題107第4章大數(shù)據(jù)存儲110 4.1傳統(tǒng)數(shù)據(jù)存儲110 4.1.1傳統(tǒng)數(shù)據(jù)存儲介質(zhì)110 4.1.2存儲的模式112 4.2海量數(shù)據(jù)存儲的需求113 4.3分布式存儲系統(tǒng)117 4.3.1分布式存儲系統(tǒng)117 4.3.2典型系統(tǒng)118 4.4云存儲120 4.5數(shù)據(jù)庫123 4.5.1數(shù)據(jù)庫分類123 4.5.2常規(guī)SQL結構化關系數(shù)據(jù)庫124 4.5.3NoSQL非結構化數(shù)據(jù)庫124 4.5.4NoSQL技術126 4.5.5大規(guī)模并行分析數(shù)據(jù)庫129 4.6數(shù)據(jù)倉庫131 4.6.1數(shù)據(jù)倉庫的概念131 4.6.2數(shù)據(jù)倉庫技術發(fā)展133 4.6.3數(shù)據(jù)倉庫原理及構成133 4.6.4數(shù)據(jù)倉庫的基本架構136 4.6.5數(shù)據(jù)倉庫的數(shù)據(jù)存儲136 4.6.6數(shù)據(jù)倉庫的數(shù)據(jù)應用137 4.6.7元數(shù)據(jù)管理138 4.7大數(shù)據(jù)應用案例之: 一場霧霾將損失多少GDP 138 習題與思考題141 第5章大數(shù)據(jù)計算模式與處理系統(tǒng)143 5.1數(shù)據(jù)計算143 5.1.1離線批處理143 5.1.2實時交互計算145 5.1.3海量數(shù)據(jù)實時計算145 5.1.4流計算146 5.2聚類算法147 5.2.1聚類算法的分類147 5.2.2數(shù)據(jù)分類與聚類147 5.3數(shù)據(jù)集成148 5.3.1數(shù)據(jù)集成概述149 5.3.2數(shù)據(jù)集成方案155 5.3.3企業(yè)數(shù)據(jù)集成應用形式157 5.3.4企業(yè)整體解決方案160 5.4機器學習161 5.4.1機器學習的定義和例子162 5.4.2機器學習的范圍164 5.4.3機器學習的方法165 5.4.4機器學習的應用——大數(shù)據(jù)170 5.4.5機器學習的子類——深度學習172 5.4.6機器學習的父類——人工智能174 5.5數(shù)據(jù)處理語言175 5.5.1數(shù)據(jù)分析語言R175 5.5.2大數(shù)據(jù)開發(fā)語言Python177 5.6大數(shù)據(jù)應用案例之: 北京的人流在哪兒？用大數(shù)據(jù)看城市179 習題與思考題183第6章大數(shù)據(jù)查詢、顯現(xiàn)與交互185 6.1數(shù)據(jù)的查詢185 6.1.1常規(guī)數(shù)據(jù)庫查詢結構化數(shù)據(jù)185 6.1.2大數(shù)據(jù)時代的數(shù)據(jù)搜索186 6.1.3數(shù)據(jù)庫與信息檢索技術的比較188 6.1.4數(shù)據(jù)庫技術面臨的Web數(shù)據(jù)管理問題 189 6.2網(wǎng)絡數(shù)據(jù)索引與查詢技術192 6.2.1搜索引擎技術概述192 6.2.2Web搜索引擎工作原理192 6.3大數(shù)據(jù)索引與查詢技術200 6.3.1大數(shù)據(jù)索引和查詢200 6.3.2大數(shù)據(jù)處理案例: 登機牌、閱卷與MapReduce201 6.4相似性搜索工具206 6.5數(shù)據(jù)展現(xiàn)與交互209 6.6數(shù)據(jù)可視化210 6.6.1數(shù)據(jù)可視化概念210 6.6.2數(shù)據(jù)可視化定義與方法211 6.6.3數(shù)據(jù)可視化分析216 6.6.4個性化精準推薦217 6.6.5預測和預警217 6.6.6決策分析219 6.7知識圖譜220 6.7.1知識圖譜的概念221 6.7.2知識圖譜的表示221 6.7.3知識圖譜的存儲222 6.7.4知識圖譜的應用223 6.8大數(shù)據(jù)應用案例之: 數(shù)據(jù)告訴你，上海的房子都被 誰買走了229 習題與思考題233第7章大數(shù)據(jù)分析與數(shù)據(jù)挖掘235 7.1大數(shù)據(jù)的分析及應用235 7.1.1數(shù)據(jù)處理和分析的發(fā)展235 7.1.2大數(shù)據(jù)分析面對的數(shù)據(jù)類型236 7.1.3大數(shù)據(jù)分析與處理方法237 7.1.4數(shù)據(jù)分析的步驟237 7.1.5大數(shù)據(jù)分析應用240 7.2數(shù)據(jù)挖掘技術242 7.2.1數(shù)據(jù)挖掘的定義242 7.2.2數(shù)據(jù)挖掘的常用方法244 7.2.3數(shù)據(jù)挖掘的功能 245 7.2.4數(shù)據(jù)挖掘技術 246 7.2.5數(shù)據(jù)挖掘的流程248 7.2.6數(shù)據(jù)挖掘的應用250 7.2.7“大數(shù)據(jù)自動挖掘”才是大數(shù)據(jù)的真正意義251 7.3商業(yè)智能與數(shù)據(jù)分析252 7.3.1商業(yè)智能技術輔助決策的發(fā)展252 7.3.2商業(yè)智能系統(tǒng)架構253 7.3.3商業(yè)智能的技術體系253 7.3.4商務智能=數(shù)據(jù)+分析+決策+利益254 7.4電商大數(shù)據(jù)分析技術257 7.4.1移動互聯(lián)網(wǎng)應用數(shù)據(jù)分析基礎257 7.4.2用戶規(guī)模和質(zhì)量258 7.4.3參與度分析259 7.4.4渠道分析260 7.4.5功能分析261 7.4.6用戶屬性分析262 7.5大數(shù)據(jù)營銷業(yè)務模型263 7.5.1大數(shù)據(jù)對業(yè)務模式的影響263 7.5.2大數(shù)據(jù)時代的網(wǎng)絡化精確營銷264 7.5.3移動互聯(lián)和大數(shù)據(jù)時代的電子商務265 7.5.4大數(shù)據(jù)營銷的定義與特點266 7.5.5網(wǎng)絡營銷大數(shù)據(jù)實際操作268 7.5.6數(shù)據(jù)營銷方法論270 7.6基于社會媒體的分析預測技術273 7.6.1基于空間大數(shù)據(jù)的社會感知273 7.6.2基于社會媒體的預測技術278 7.6.3基于消費意圖挖掘的預測279 7.6.4基于事件抽取的預測282 7.6.5基于因果分析的預測282 7.7大數(shù)據(jù)應用案例之: 如何用大數(shù)據(jù)看風水？以星巴克和海底撈的 選址為例286 習題與思考題287第8章大數(shù)據(jù)隱私與安全290 8.1大數(shù)據(jù)面臨的問題290 8.1.1大數(shù)據(jù)面臨的安全問題290 8.1.2使用大數(shù)據(jù)分析安全與隱私的問題295 8.2大數(shù)據(jù)安全與隱私保護關鍵技術296 8.2.1基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術296 8.2.2基于大數(shù)據(jù)的認證技術297 8.2.3基于大數(shù)據(jù)的數(shù)據(jù)真實性分析298 8.2.4大數(shù)據(jù)與“安全即服務”298 8.3大數(shù)據(jù)安全的防護策略298 8.4大數(shù)據(jù)應用案例之: 電影《爸爸去哪兒》大賣有前兆么？300 習題與思考題305 第三部分大數(shù)據(jù)分析案例 第9章行業(yè)案例研究——銀行、保險、證券、金融行業(yè)309 9.1銀行業(yè)應用309 9.1.1大數(shù)據(jù)時代: 銀行如何玩轉(zhuǎn)數(shù)據(jù)挖掘309 9.1.2工商銀行客戶關系管理案例311 9.1.3銀行風險管理314 9.2保險業(yè)應用318 9.2.1保險產(chǎn)業(yè)擁抱“大數(shù)據(jù)時代” 或帶來顛覆性變革318 9.2.2保險欺詐識別320 9.3證券期貨應用322 9.3.1安徽使用大數(shù)據(jù)監(jiān)管證券期貨322 9.3.2“大數(shù)據(jù)”分析挖出基金“老鼠倉”的啟示323 9.4金融行業(yè)應用324 9.4.1汽車金融公司怎么實現(xiàn)大數(shù)據(jù)管理324 9.4.2大數(shù)據(jù)決定互聯(lián)網(wǎng)金融未來326 9.4.3移動大數(shù)據(jù)在互聯(lián)網(wǎng)金融反欺詐領域的應用329 9.5大數(shù)據(jù)應用案例之: 大吃一驚！大數(shù)據(jù)下的中國原來是這樣的331 第四部分大數(shù)據(jù)技術現(xiàn)狀及發(fā)展展望 第10章大數(shù)據(jù)技術發(fā)展前景339 10.1大數(shù)據(jù)引發(fā)新一代信息技術變革浪潮339 10.2大數(shù)據(jù)采集與預處理技術發(fā)展前景341 10.3大數(shù)據(jù)存儲與管理技術發(fā)展前景342 10.4大數(shù)據(jù)計算模式與系統(tǒng)技術發(fā)展前景347 10.5大數(shù)據(jù)分析與挖掘技術發(fā)展前景351 10.6大數(shù)據(jù)可視化分析技術發(fā)展前景353 10.7大數(shù)據(jù)隱私與安全技術發(fā)展前景357 10.8大數(shù)據(jù)應用案例之: 數(shù)據(jù)解讀城市: 北京本地人VS外地人360參考文獻366