模式識(shí)別與機(jī)器學(xué)習(xí)

第1章 緒論 1
1.1 引言 1
1.2 模式識(shí)別的基本概念 3
1.2.1 模式和模式識(shí)別 3
1.2.2 模式空間、特征空間和類空間 5
1.2.3 預(yù)處理 7
1.2.4 特征提取/選擇 7
1.2.5 分類 7
1.3 模式識(shí)別系統(tǒng) 8
1.4 機(jī)器學(xué)習(xí)的主要方法 9
1.4.1 監(jiān)督學(xué)習(xí) 9
1.4.2 無(wú)監(jiān)督學(xué)習(xí) 10
1.4.3 半監(jiān)督學(xué)習(xí) 11
1.4.4 集成學(xué)習(xí) 11
1.4.5 強(qiáng)化學(xué)習(xí) 12
1.5 概率分布 12
1.5.1 隨機(jī)變量及分布 13
1.5.2 隨機(jī)向量及分布 16
1.5.3 邊際分布 18
1.5.4 條件概率分布 18
1.6 習(xí)題 19
第2章 貝葉斯統(tǒng)計(jì)決策 20
2.1 引言 20
2.2 小錯(cuò)誤率判別規(guī)則 22
2.3 小風(fēng)險(xiǎn)判別規(guī)則 24
2.4 似然比判別規(guī)則 27
2.5 Neyman-Pearson判別規(guī)則 30
2.6 小判別規(guī)則 33
2.7 分類器設(shè)計(jì) 37
2.8 正態(tài)分布中的貝葉斯分類方法 41
2.9 小結(jié) 50
習(xí)題 50
第3章 概率密度函數(shù)的估計(jì) 52
3.1 引言 52
3.2 似然估計(jì) 52
3.2.1 似然估計(jì)基礎(chǔ) 52
3.2.2 正態(tài)分布下的似然估計(jì) 54
3.3 貝葉斯估計(jì)與貝葉斯學(xué)習(xí) 56
3.3.1 貝葉斯估計(jì) 56
3.3.2 正態(tài)分布下的貝葉斯估計(jì) 57
3.3.3 貝葉斯學(xué)習(xí) 59
3.4 EM估計(jì)方法 61
3.4.1 EM算法 61
3.4.2 混合正態(tài)分布的EM估計(jì) 63
3.5 非參數(shù)估計(jì)方法 65
3.5.1 非參數(shù)估計(jì)的基本方法與限制條件 65
3.5.2 Parzen窗法 67
3.5.3 kN近鄰估計(jì)方法 72
3.6 小結(jié) 74
習(xí)題 74
第4章 線性分類與回歸模型 75
4.1 引言 75
4.2 線性判別函數(shù)和決策面 75
4.2.1 兩類情況 76
4.2.2 多類問(wèn)題中的線性判別函數(shù) 76
4.2.3 設(shè)計(jì)線性分類器的主要步驟 81
4.3 廣義線性判別函數(shù) 83
4.4 小均方誤差判別 86
4.4.1 小均方和準(zhǔn)則 86
4.4.2 H-K算法 88
4.4.3 H-K算法的多類推廣 90
4.5 線性回歸模型 91
4.6 正則化線性回歸 92
4.7 小結(jié) 94
習(xí)題 94
第5章 其他分類方法 96
5.1 近鄰法 96
5.1.1 近鄰法 96
5.1.2 k近鄰法 96
5.2 邏輯斯蒂回歸 99
5.3 決策樹與隨機(jī)森林 102
5.3.1 非數(shù)值特征 102
5.3.2 決策樹 102
5.3.3 屬性選擇方法 104
5.3.4 過(guò)學(xué)習(xí)與決策樹的剪枝 107
5.3.5 隨機(jī)森林 108
5.4 小結(jié) 109
習(xí)題 109
第6章 無(wú)監(jiān)督學(xué)習(xí)和聚類 110
6.1 引言 110
6.2 混合模型的估計(jì) 110
6.2.1 無(wú)監(jiān)督似然估計(jì) 111
6.2.2 正態(tài)分布下的無(wú)監(jiān)督參數(shù)估計(jì) 112
6.3 動(dòng)態(tài)聚類算法 115
6.3.1 均值聚類算法 116
6.3.2 ISODATA聚類算法 121
6.4 層次聚類算法 127
6.4.1 凝聚的層次聚類算法 127
6.4.2 分裂的層次聚類算法 128
6.5 譜聚類 130
6.6 模糊聚類方法 134
6.6.1 模糊集基本知識(shí) 134
6.6.2 模糊c均值算法 135
6.7 相似性傳播聚類 136
6.8 小結(jié) 138
習(xí)題 138
第7章 核方法和支持向量機(jī) 139
7.1 引言 139
7.2 核學(xué)習(xí)機(jī) 139
7.3 支持向量機(jī) 140
7.3.1 線性可分支持向量機(jī) 141
7.3.2 軟間隔線性支持向量機(jī) 144
7.3.3 非線性支持向量機(jī) 146
7.4 支持向量回歸機(jī) 147
7.5 小結(jié) 151
習(xí)題 151
第8章 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí) 152
8.1 引言 152
8.2 感知器 153
8.2.1 感知器的概念 153
8.2.2 感知器訓(xùn)練算法及其收斂性 154
8.2.3 感知器準(zhǔn)則函數(shù)及梯度法 158
8.3 多層前向神經(jīng)網(wǎng)絡(luò) 162
8.3.1 多層前向神經(jīng)網(wǎng)絡(luò) 163
8.3.2 BP神經(jīng)網(wǎng)絡(luò) 165
8.3.3 RBF神經(jīng)網(wǎng)絡(luò) 170
8.4 自組織特征映射神經(jīng)網(wǎng)絡(luò) 176
8.4.1 SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 176
8.4.2 SOM神經(jīng)網(wǎng)絡(luò)算法 177
8.5 深度學(xué)習(xí) 179
8.5.1 堆棧式自編碼網(wǎng)絡(luò)（SAE） 179
8.5.2 深度置信網(wǎng)絡(luò)（DBN） 182
8.5.3 卷積神經(jīng)網(wǎng)絡(luò)（CNN） 185
8.5.4 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 191
8.5.5 生成對(duì)抗網(wǎng)絡(luò)（GAN） 194
8.5.6 擴(kuò)散模型 196
8.5.7 Transformer模型 197
8.6 小結(jié) 201
習(xí)題 204
第9章 特征選擇與提取 205
9.1 引言 205
9.2 特征選擇的一般流程 205
9.2.1 生成特征子集 205
9.2.2 評(píng)價(jià)準(zhǔn)則 207
9.2.3 停止條件和結(jié)果驗(yàn)證 209
9.3 特征選擇方法 209
9.3.1 過(guò)濾式特征選擇方法 210
9.3.2 封裝式特征選擇方法 214
9.3.3 嵌入式特征選擇方法 215
9.3.4 集成式特征選擇方法 215
9.4 線性特征提取方法 216
9.4.1 線性判別分析 216
9.4.2 主成分分析方法 217
9.5 非線性特征提取方法 219
9.5.1 核線性判別分析 219
9.5.2 核主成分分析 221
9.5.3 流形學(xué)習(xí) 222
9.6 小結(jié) 224
習(xí)題 225
參考文獻(xiàn) 226