統(tǒng)計機(jī)器學(xué)習(xí)理論和方法及Python實(shí)現(xiàn)

目錄
前言
第1章 引言 1
1.1 問題驅(qū)動 1
1.2 統(tǒng)計機(jī)器學(xué)習(xí)的基本任務(wù) 2
1.3 統(tǒng)計機(jī)器學(xué)習(xí)的總體目標(biāo)和樣本策略 3
1.3.1 監(jiān)督學(xué)習(xí) 4
1.3.2 無監(jiān)督學(xué)習(xí) 8
1.3.3 基于樣本的統(tǒng)計機(jī)器學(xué)習(xí)方法 9
1.4 Anaconda、TensorFlow 2.0和PyTorch的安裝 10
1.4.1 Anaconda的安裝 10
1.4.2 TensorFlow 2.0的安裝 11
1.4.3 PyTorch的安裝 11
第2章 線性回歸 13
2.1 一般線性回歸模型 13
2.1.1 基本框架 13
2.1.2 梯度下降法 14
2.1.3 性能度量 15
2.2 多項(xiàng)式回歸 15
2.3 線性回歸的正則化方法 18
2.3.1 線性嶺回歸 19
2.3.2 LASSO回歸 21
2.4 線性回歸Python實(shí)現(xiàn) 24
第3章 線性分類器 37
3.1 概率生成模型 37
3.2 二分類概率生成模型 38
3.3 邏輯回歸 39
3.4 Softmax回歸 40
3.5 邏輯回歸的限制 41
3.6 分類任務(wù)的Python實(shí)現(xiàn) 43
第4章 支持向量機(jī) 48
4.1 線性SVM分類器 48
4.2 線性支持向量回歸 51
4.3 SVM的Python實(shí)現(xiàn) 52
4.3.1 軟間隔分類 52
4.3.2 非線性SVM分類 55
4.3.3 支持向量回歸的實(shí)現(xiàn) 58
第5章 核方法 61
5.1 特征映射 61
5.2 核函數(shù) 63
5.3 核方法的數(shù)學(xué)基礎(chǔ) 64
5.3.1 希爾伯特空間 65
5.3.2 Riesz表示定理 67
5.3.3 再生核希爾伯特空間 67
5.4 核技巧 70
5.5 核方法的Python實(shí)現(xiàn) 73
5.5.1 基于核方法的嶺回歸和支持向量回歸 73
5.5.2 基于核方法的支持向量分類 76
第6章 集成學(xué)習(xí) 78
6.1 決策樹 78
6.1.1 決策樹的基本概念 78
6.1.2 決策樹的訓(xùn)練 80
6.2 學(xué)習(xí)器集成 81
6.3 Bagging和隨機(jī)森林 81
6.3.1 Bagging 81
6.3.2 隨機(jī)森林 83
6.4 Boosting 83
6.4.1 AdaBoost基本算法 84
6.4.2 AdaBoost算法的解釋 87
6.4.3 多分類AdaBoost 91
6.4.4 Boosting的一般梯度下降算法 96
6.5 集成學(xué)習(xí)的Python實(shí)現(xiàn) 98
6.5.1 決策樹的Python實(shí)現(xiàn) 98
6.5.2 Bagging的Python實(shí)現(xiàn) 100
6.5.3 隨機(jī)森林的Python實(shí)現(xiàn) 101
6.5.4 Boosting的Python實(shí)現(xiàn) 102
第7章 深度學(xué)習(xí)的基礎(chǔ) 104
7.1 前饋神經(jīng)網(wǎng)絡(luò) 104
7.1.1 感知器模型 104
7.1.2 多層感知器及其變體 107
7.1.3 BP算法 110
7.1.4 回歸和分類任務(wù)中的MLP 114
7.2 利用Keras和TensorFlow實(shí)施MLP 115
7.2.1 使用Sequential API建立分類器 116
7.2.2 使用Functional API構(gòu)建復(fù)雜模型 123
7.2.3 使用Subclassing API構(gòu)建動態(tài)模型 123
7.2.4 保存和恢復(fù)模型 124
第8章 卷積神經(jīng)網(wǎng)絡(luò) 126
8.1 簡介 126
8.2 CNN的網(wǎng)絡(luò)架構(gòu) 126
第9章 循環(huán)神經(jīng)網(wǎng)絡(luò) 132
9.1 框架 132
9.2 循環(huán)層 132
9.3 長短期記憶網(wǎng)絡(luò) 136
9.4 基于RNN的時間序列預(yù)測 139
第10章 無監(jiān)督學(xué)習(xí) 148
10.1 無監(jiān)督學(xué)習(xí)的主要任務(wù) 148
10.2 自編碼器 149
10.2.1 棧式自編碼器 150
10.2.2 變分自編碼器 152
10.3 GAN 163
10.3.1 經(jīng)典GAN的基本思想 164
10.3.2 經(jīng)典GAN的推廣 168
10.3.3 WGAN 170
10.3.4 條件GAN 175
10.4 無監(jiān)督學(xué)習(xí)的Python實(shí)現(xiàn) 181
10.4.1 PyTorch實(shí)戰(zhàn)基礎(chǔ) 181
10.4.2 圖像分類的PyTorch實(shí)現(xiàn) 191
10.4.3 VAE的PyTorch實(shí)現(xiàn) 196
10.4.4 GAN的PyTorch實(shí)現(xiàn) 201
第11章 深度強(qiáng)化學(xué)習(xí) 205
11.1 深度強(qiáng)化學(xué)習(xí)的主要任務(wù) 205
11.2 強(qiáng)化學(xué)習(xí)的基本概念 205
11.2.1 強(qiáng)化學(xué)習(xí)的基本模型 206
11.2.2 價值函數(shù) 207
11.3 基于策略梯度的深度強(qiáng)化學(xué)習(xí) 207
11.4 基于值函數(shù)的深度強(qiáng)化學(xué)習(xí) 213
11.4.1 值函數(shù)的估計方法 213
11.4.2 Q-Learning 214
11.5 Actor-Critic方法 216
11.5.1 A2C和A3C方法 216
11.5.2 路徑導(dǎo)數(shù)策略梯度方法 218
11.6 強(qiáng)化學(xué)習(xí)的PyTorch實(shí)現(xiàn) 220
11.6.1 導(dǎo)入必需的包 220
11.6.2 回放內(nèi)存設(shè)置 222
11.6.3 獲取狀態(tài)輸入 224
11.6.4 訓(xùn)練 230
參考文獻(xiàn) 235