突圍算法：機(jī)器學(xué)習(xí)算法應(yīng)用

第1章 引言\t1
1．1 人工智能概述\t2
1．1．1 人工智能的分類(lèi)\t2
1．1．2 人工智能的應(yīng)用\t3
1．2 人工智能與傳統(tǒng)機(jī)器學(xué)習(xí)\t5
1．2．1 人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)\t5
1．2．2 落地的關(guān)鍵因素\t6
1．3 機(jī)器學(xué)習(xí)算法領(lǐng)域發(fā)展綜述\t8
1．3．1 計(jì)算機(jī)視覺(jué)\t9
1．3．2 自然語(yǔ)言處理\t10
1．3．3 語(yǔ)音識(shí)別\t11
1．4 小結(jié)\t13
參考文獻(xiàn)\t13
第2章 數(shù)據(jù)理解\t16
2．1 數(shù)據(jù)的三個(gè)基本維度\t17
2．1．1 集中趨勢(shì)\t17
2．1．2 離散趨勢(shì)\t19
2．1．3 分布形態(tài)\t20
2．2 數(shù)據(jù)的統(tǒng)計(jì)推論的基本方法\t22
2．2．1 數(shù)據(jù)抽樣\t22
2．2．2 參數(shù)估計(jì)\t24
2．2．3 假設(shè)檢驗(yàn)\t26
2．3 數(shù)據(jù)分析\t31
2．3．1 基本理念\t31
2．3．2 體系結(jié)構(gòu)\t32
2．3．3 傳統(tǒng)數(shù)據(jù)分析方法與示例\t33
2．3．4 基于數(shù)據(jù)挖掘的數(shù)據(jù)分析方法與示例\t35
2．3．5 工作流程\t38
2．3．6 數(shù)據(jù)分析技巧\t40
2．3．7 數(shù)據(jù)可視化\t43
2．4 小結(jié)\t45
參考文獻(xiàn)\t45
第3章 數(shù)據(jù)處理與特征\t47
3．1 數(shù)據(jù)的基本處理\t48
3．1．1 數(shù)據(jù)預(yù)處理\t48
3．1．2 數(shù)據(jù)清洗中的異常值判定和處理\t49
3．1．3 數(shù)據(jù)清洗中的缺失值填充\t51
3．2 數(shù)據(jù)的特征縮放和特征編碼\t54
3．2．1 特征縮放\t54
3．2．2 特征編碼\t57
3．3 數(shù)據(jù)降維\t58
3．3．1 基本思想與方法\t58
3．3．2 變量選擇\t59
3．3．3 特征提取\t61
3．4 圖像的特征分析\t68
3．4．1 圖像預(yù)處理\t68
3．4．2 傳統(tǒng)圖像特征提取\t74
3．4．3 指紋識(shí)別\t77
3．5 小結(jié)\t78
參考文獻(xiàn)\t79
第4章 機(jī)器學(xué)習(xí)基礎(chǔ)\t81
4．1 統(tǒng)計(jì)學(xué)習(xí)\t82
4．1．1 統(tǒng)計(jì)學(xué)習(xí)概述\t82
4．1．2 一般研發(fā)流程\t83
4．2 機(jī)器學(xué)習(xí)算法分類(lèi)\t85
4．2．1 體系框架\t85
4．2．2 模型的形式\t88
4．3 機(jī)器學(xué)習(xí)的學(xué)習(xí)規(guī)則\t90
4．3．1 誤差修正學(xué)習(xí)\t90
4．3．2 赫布學(xué)習(xí)規(guī)則\t91
4．3．3 最小均方規(guī)則\t92
4．3．4 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則\t93
4．3．5 其他學(xué)習(xí)規(guī)則\t94
4．4 機(jī)器學(xué)習(xí)的基礎(chǔ)應(yīng)用\t95
4．4．1 基于最小二乘法的回歸分析\t95
4．4．2 基于K-Means的聚類(lèi)分析\t98
4．4．3 基于樸素貝葉斯的分類(lèi)分析\t101
4．5 小結(jié)\t103
參考文獻(xiàn)\t103
第5章 模型選擇和結(jié)構(gòu)設(shè)計(jì)\t105
5．1 傳統(tǒng)機(jī)器學(xué)習(xí)模型選擇\t106
5．1．1 基本原則\t106
5．1．2 經(jīng)典模型\t107
5．2 經(jīng)典回歸模型的理解和選擇\t108
5．2．1 邏輯回歸\t108
5．2．2 多項(xiàng)式回歸\t109
5．2．3 各類(lèi)回歸模型的簡(jiǎn)單對(duì)比\t112
5．3 經(jīng)典分類(lèi)模型的理解和選擇\t113
5．3．1 K近鄰算法\t113
5．3．2 支持向量機(jī)\t114
5．3．3 多層感知器\t115
5．3．4 AdaBoost算法\t117
5．3．5 各類(lèi)分類(lèi)算法的簡(jiǎn)單對(duì)比\t118
5．4 經(jīng)典聚類(lèi)模型的理解和選擇\t120
5．4．1 基于劃分的聚類(lèi)\t120
5．4．2 基于層次的聚類(lèi)\t122
5．4．3 基于密度的聚類(lèi)\t126
5．4．4 基于網(wǎng)格的聚類(lèi)\t131
5．4．5 聚類(lèi)算法的簡(jiǎn)單對(duì)比\t131
5．5 深度學(xué)習(xí)模型選擇\t132
5．5．1 分類(lèi)問(wèn)題模型\t132
5．5．2 聚類(lèi)問(wèn)題模型\t138
5．5．3 回歸預(yù)測(cè)模型\t139
5．5．4 各類(lèi)深度學(xué)習(xí)模型的簡(jiǎn)單對(duì)比\t140
5．6 深度學(xué)習(xí)模型結(jié)構(gòu)的設(shè)計(jì)方向\t141
5．6．1 基于深度的設(shè)計(jì)\t141
5．6．2 基于升維或降維的設(shè)計(jì)\t144
5．6．3 基于寬度和多尺度的設(shè)計(jì)\t145
5．7 模型結(jié)構(gòu)設(shè)計(jì)中的簡(jiǎn)單技巧\t146
5．7．1 激活函數(shù)的選擇\t146
5．7．2 隱藏神經(jīng)元的估算\t147
5．7．3 卷積核串聯(lián)使用\t148
5．7．4 利用Dropout提升性能\t149
5．8 小結(jié)\t150
參考文獻(xiàn)\t151
第6章 目標(biāo)函數(shù)設(shè)計(jì)\t154
6．1 損失函數(shù)\t155
6．1．1 一般簡(jiǎn)單損失函數(shù)\t155
6．1．2 圖像分類(lèi)場(chǎng)景經(jīng)典損失函數(shù)\t156
6．1．3 目標(biāo)檢測(cè)中的經(jīng)典損失函數(shù)\t158
6．1．4 圖像分割中的經(jīng)典損失函數(shù)\t159
6．1．5 對(duì)比場(chǎng)景中的經(jīng)典損失函數(shù)\t161
6．2 風(fēng)險(xiǎn)最小化和設(shè)計(jì)原則\t165
6．2．1 期望風(fēng)險(xiǎn)、經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)\t165
6．2．2 目標(biāo)函數(shù)的設(shè)計(jì)原則\t166
6．3 基于梯度下降法的目標(biāo)函數(shù)優(yōu)化\t167
6．3．1 理論基礎(chǔ)\t167
6．3．2 常見(jiàn)的梯度下降法\t169
6．3．3 改進(jìn)方法\t169
6．4 基于牛頓法的目標(biāo)求解\t173
6．4．1 基本原理\t173
6．4．2 牛頓法的計(jì)算步驟\t174
6．5 小結(jié)\t175
參考文獻(xiàn)\t176
第7章 模型訓(xùn)練過(guò)程設(shè)計(jì)\t178
7．1 數(shù)據(jù)選擇\t179
7．1．1 數(shù)據(jù)集篩選\t179
7．1．2 難例挖掘\t180
7．1．3 數(shù)據(jù)增強(qiáng)\t181
7．2 參數(shù)初始化\t183
7．2．1 避免全零初始化\t183
7．2．2 隨機(jī)初始化\t184
7．3 擬合的驗(yàn)證與判斷\t185
7．3．1 過(guò)擬合的模型參數(shù)\t185
7．3．2 不同算法場(chǎng)景中的欠擬合和過(guò)擬合\t187
7．4 學(xué)習(xí)速率的選擇\t188
7．4．1 學(xué)習(xí)速率的一般觀測(cè)方法\t188
7．4．2 學(xué)習(xí)速率與批處理大小的關(guān)系\t189
7．5 遷移學(xué)習(xí)\t189
7．5．1 概念與基本方法\t189
7．5．2 應(yīng)用示例：基于VGG-16的遷移思路\t190
7．6 分布式訓(xùn)練\t191
7．6．1 數(shù)據(jù)并行\(zhòng)t191
7．6．2 模型并行\(zhòng)t193
7．7 小結(jié)\t194
參考文獻(xiàn)\t194
第8章 模型效果的評(píng)估與驗(yàn)證\t196
8．1 模型效果評(píng)估的一般性指標(biāo)\t197
8．1．1 分類(lèi)算法的效果評(píng)估\t197
8．1．2 聚類(lèi)算法的效果評(píng)估\t201
8．1．3 回歸算法的效果評(píng)估\t205
8．1．4 不同應(yīng)用場(chǎng)景下的效果評(píng)估\t206
8．2 交叉驗(yàn)證\t208
8．2．1 基本思想\t208
8．2．2 不同的交叉驗(yàn)證方法\t209
8．3 模型的穩(wěn)定性分析\t210
8．3．1 計(jì)算的穩(wěn)定性\t210
8．3．2 數(shù)據(jù)的穩(wěn)定性\t211
8．3．3 模型性能\t212
8．4 小結(jié)\t213
參考文獻(xiàn)\t213
第9章 計(jì)算性能與模型加速\t215
9．1 計(jì)算優(yōu)化\t216
9．1．1 問(wèn)題與挑戰(zhàn)\t216
9．1．2 設(shè)備與推斷計(jì)算\t216
9．2 性能指標(biāo)\t217
9．2．1 計(jì)算平臺(tái)的重要指標(biāo)：算力和帶寬\t217
9．2．2 模型的兩個(gè)重要指標(biāo)：計(jì)算量和訪(fǎng)存量\t218
9．3 模型壓縮與裁剪\t219
9．3．1 問(wèn)題背景\t219
9．3．2 基本思路和方法\t220
9．4 小結(jié)\t221
參考文獻(xiàn)\t221
第10章 應(yīng)用案例專(zhuān)題\t223
10．1 求解二元一次方程\t224
10．1．1 問(wèn)題分析\t224
10．1．2 模型設(shè)計(jì)\t225
10．2 鳶尾花的案例分析\t226
10．2．1 數(shù)據(jù)說(shuō)明\t226
10．2．2 數(shù)據(jù)理解和可視化\t227
10．2．3 數(shù)據(jù)特征的降維\t230
10．2．4 數(shù)據(jù)分類(lèi)\t231
10．2．5 數(shù)據(jù)聚類(lèi)\t235
10．3 形體識(shí)別\t237
10．3．1 問(wèn)題定義\t237
10．3．2 應(yīng)用形式\t239
10．3．3 數(shù)據(jù)準(zhǔn)備與處理\t241
10．3．4 技術(shù)方案與模型設(shè)計(jì)\t243
10．3．5 改進(jìn)思考\t245
10．4 小結(jié)\t246
參考文獻(xiàn)\t246