機(jī)器學(xué)習(xí)

序言
第 一章 機(jī)器學(xué)習(xí)概述 1
1．1 機(jī)器學(xué)習(xí)簡介 1
1．1．1 機(jī)器學(xué)習(xí)簡史 1
1．1．2 機(jī)器學(xué)習(xí)主要流派 2
1．2 機(jī)器學(xué)習(xí)、人工智能和數(shù)據(jù)挖掘 4
1．2．1 什么是人工智能 4
1．2．2 機(jī)器學(xué)習(xí)、人工智能與數(shù)據(jù)挖掘 5
1．3 典型機(jī)器學(xué)習(xí)應(yīng)用領(lǐng)域 5
1．4 機(jī)器學(xué)習(xí)算法 12
1．5 機(jī)器學(xué)習(xí)的一般流程 20
第 二章 機(jī)器學(xué)習(xí)基本方法 23
2．1 統(tǒng)計(jì)分析 23
2．1．1 統(tǒng)計(jì)基礎(chǔ) 23
2．1．2 常見概率分布 29
2．1．3 參數(shù)估計(jì) 31
2．1．4 假設(shè)檢驗(yàn) 33
2．1．5 線性回歸 33
2．1．6 Logistics回歸 37
2．1．7 判別分析 38
2．1．8 非線性模型 39
2．2 高維數(shù)據(jù)降維 40
2．2．1 主成分分析 40
2．2．2 線性判別分析 43
2．2．3 局部線性嵌入 47
2．3 特征工程 48
2．3．1 特征構(gòu)造 48
2．3．2 特征選擇 49
2．3．3 特征提取 50
2．4 模型訓(xùn)練 50
2．4．1 模型訓(xùn)練常見術(shù)語 50
2．4．2 訓(xùn)練數(shù)據(jù)收集 51
2．5 可視化分析 52
2．5．1 可視化分析的作用 52
2．5．2 可視化分析方法 53
2．5．3 可視化分析常用工具 54
2．5．4 常見的可視化圖表 56
2．5．5 可視化分析面臨的挑戰(zhàn) 62
第三章 決策樹與分類算法 64
3．1 決策樹算法 64
3．1．1 分支處理 66
3．1．2 連續(xù)屬性離散化 72
3．1．3 過擬合問題 74
3．1．4 分類效果評價(jià) 78
3．2 集成學(xué)習(xí) 83
3．2．1 裝袋法 83
3．2．2 提升法 84
3．2．3 GBDT 86
3．2．4 隨機(jī)森林 87
3．3 決策樹應(yīng)用 89
第四章 聚類分析 95
4．1 聚類分析概念 95
4．1．1 聚類方法分類 95
4．1．2 良好聚類算法的特征 97
4．2 聚類分析的度量 97
4．2．1 外部指標(biāo) 98
4．2．2 內(nèi)部指標(biāo) 99
4．3 基于劃分的方法 101
4．3．1 k-均值算法 101
4．3．2 k-medoids算法 106
4．3．3 k-prototype算法 107
4．4 基于密度聚類 107
4．4．1 DBSCAN算法 108
4．4．2 OPTICS算法 110
4．4．3 DENCLUE算法 111
4．5 基于層次的聚類 116
4．5．1 BIRCH聚類 117
4．5．2 CURE算法 120
4．6 基于網(wǎng)格的聚類 122
4．7 基于模型的聚類 123
4．7．1 概率模型聚類 123
4．7．2 模糊聚類 129
4．7．3 Kohonen神經(jīng)網(wǎng)絡(luò)聚類 129
第五章 文本分析 137
5．1 文本分析介紹 137
5．2 文本特征提取及表示 138
5．2．1 TF-IDF 138
5．2．2 信息增益 139
5．2．3 互信息 139
5．2．4 卡方統(tǒng)計(jì)量 140
5．2．5 詞嵌入 141
5．2．6 語言模型 142
5．2．7 向量空間模型 144
5．3 知識圖譜 146
5．3．1 知識圖譜相關(guān)概念 147
5．3．2 知識圖譜的存儲 147
5．3．3 知識圖譜挖掘與計(jì)算 148
5．3．4 知識圖譜的構(gòu)建過程 150
5．4 詞法分析 155
5．4．1 文本分詞 156
5．4．2 命名實(shí)體識別 159
5．4．3 詞義消歧 160
5．5 句法分析 161
5．6 語義分析 163
5．7 文本分析應(yīng)用 164
5．7．1 文本分類 164
5．7．2 信息抽取 167
5．7．3 問答系統(tǒng) 168
5．7．4 情感分析 169
5．7．5 自動摘要 171
第六章 神經(jīng)網(wǎng)絡(luò) 173
6．1 神經(jīng)網(wǎng)絡(luò)介紹 173
6．1．1 前饋神經(jīng)網(wǎng)絡(luò) 173
6．1．2 反饋神經(jīng)網(wǎng)絡(luò) 176
6．1．3 自組織神經(jīng)網(wǎng)絡(luò) 179
6．2 神經(jīng)網(wǎng)絡(luò)相關(guān)概念 180
6．2．1 激活函數(shù) 180
6．2．2 損失函數(shù) 184
6．2．3 學(xué)習(xí)率 185
6．2．4 過擬合 188
6．2．5 模型訓(xùn)練中的問題 189
6．2．6 神經(jīng)網(wǎng)絡(luò)效果評價(jià) 192
6．3 神經(jīng)網(wǎng)絡(luò)應(yīng)用 192
第七章 貝葉斯網(wǎng)絡(luò) 197
7．1 貝葉斯理論概述 197
7．1．1 貝葉斯方法的基本觀點(diǎn) 197
7．1．2 貝葉斯網(wǎng)絡(luò)的應(yīng)用 198
7．2 貝葉斯概率基礎(chǔ) 198
7．2．1 概率論 198
7．2．2 貝葉斯概率 199
7．3 樸素貝葉斯分類模型 200
7．4 貝葉斯網(wǎng)絡(luò) 203
7．5 貝葉斯網(wǎng)絡(luò)的應(yīng)用 209
7．5．1 中文分詞 210
7．5．2 機(jī)器翻譯 210
7．5．3 故障診斷 211
7．5．4 疾病診斷 211
第八章 支持向量機(jī) 215
8．1 支持向量機(jī)模型 215
8．1．1 核函數(shù) 215
8．1．2 模型原理分析 216
8．2 支持向量機(jī)應(yīng)用 219
第九章 進(jìn)化計(jì)算 226
9．1 遺傳算法的基礎(chǔ) 226
9．1．1 基因重組（交叉）與基因突變 227
9．1．2 遺傳算法實(shí)現(xiàn)技術(shù) 228
9．1．3 遺傳算法案例 234
9．2 蟻群算法 237
9．2．1 蟻群算法應(yīng)用案例 238
9．3 蜂群算法簡介 239
9．3．1 蜂群算法應(yīng)用案例 241
第十章 分布式機(jī)器學(xué)習(xí) 245
10．1 分布式機(jī)器學(xué)習(xí)基礎(chǔ) 245
10．1．1 參數(shù)服務(wù)器 245
10．1．2 分布式并行計(jì)算類型 246
10．2 分布式機(jī)器學(xué)習(xí)框架 247
10．3 并行決策樹 254
10．4 并行k-均值算法 255
第十一章 深度學(xué)習(xí) 258
11．1 卷積神經(jīng)網(wǎng)絡(luò) 258
11．1．1 卷積神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu) 259
11．1．2 常見卷積神經(jīng)網(wǎng)絡(luò) 262
11．2 循環(huán)神經(jīng)網(wǎng)絡(luò) 271
11．2．1 RNN基本原理 271
11．2．2 長短期記憶網(wǎng)絡(luò) 274
11．2．3 門限循環(huán)單元 277
11．3 深度學(xué)習(xí)流行框架 278
第十二章 高等級深度學(xué)習(xí) 281
12．1 高等級卷積神經(jīng)網(wǎng)絡(luò) 281
12．1．1 目標(biāo)檢測與追蹤 281
12．1．2 目標(biāo)分割 295
12．2 高等級循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用 301
12．2．1 Encoder-Decoder模型 301
12．2．2 注意力模型 301
12．2．3 LSTM高等級應(yīng)用 302
12．3 無監(jiān)督式深度學(xué)習(xí) 307
12．3．1 深度信念網(wǎng)絡(luò) 307
12．3．2 自動編碼器網(wǎng)絡(luò) 309
12．3．3 生成對抗網(wǎng)絡(luò)模型 312
12．4 強(qiáng)化學(xué)習(xí) 316
12．4．1 增強(qiáng)學(xué)習(xí)基礎(chǔ) 316
12．4．2 深度增強(qiáng)學(xué)習(xí) 318
12．5 遷移學(xué)習(xí) 321
12．6 對偶學(xué)習(xí) 324
第十三章 推薦系統(tǒng) 327
13．1 推薦系統(tǒng)介紹 327
13．1．1 推薦系統(tǒng)的應(yīng)用場景 327
13．2 推薦系統(tǒng)通用模型 329
13．2．1 推薦系統(tǒng)結(jié)構(gòu) 329
13．2．2 基于內(nèi)容的推薦 330
13．2．3 基于協(xié)同過濾的推薦算法 331
13．2．4 基于圖的模型 334
13．2．5 基于關(guān)聯(lián)規(guī)則的推薦 335
13．2．6 基于知識的推薦 341
13．2．7 基于標(biāo)簽的推薦 342
13．3 推薦系統(tǒng)評測 343
13．3．1 評測方法 343
13．3．2 評測指標(biāo) 345
13．4 推薦系統(tǒng)常見問題 349
13．4．1 冷啟動問題 349
13．4．2 推薦系統(tǒng)注意事項(xiàng) 351
13．5 推薦系統(tǒng)實(shí)例 352
第十四章 實(shí)驗(yàn) 364
14．1 華為FusionInsight產(chǎn)品平臺介紹 364
14．2 銀行定期存款業(yè)務(wù)預(yù)測 365
14．2．1 上傳銀行客戶及存貸款數(shù)據(jù) 366
14．2．2 準(zhǔn)備存款業(yè)務(wù)分析工作區(qū) 367
14．2．3 創(chuàng)建數(shù)據(jù)挖掘流程 368
14．2．4 定期存款業(yè)務(wù)模型保存和應(yīng)用 375
14．3 客戶分群 378
14．3．1 分析業(yè)務(wù)需求 379
14．3．2 上傳客戶信息數(shù)據(jù) 381
14．3．3 準(zhǔn)備客戶分群工作區(qū) 382
14．3．4 創(chuàng)建數(shù)據(jù)挖掘流程 383
14．3．5 客戶分群模型保存和應(yīng)用 392