深度學(xué)習(xí)與圖像分析：基礎(chǔ)與應(yīng)用

目錄
前言
第一部分 基礎(chǔ)部分
第1章 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)基礎(chǔ)知識(shí) 3
1.1 神經(jīng)元模型與感知機(jī) 3
1.2 從感知機(jī)到神經(jīng)網(wǎng)絡(luò)—激活函數(shù)的引入 6
1.3 從神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)網(wǎng)絡(luò) 12
1.4 深度學(xué)習(xí)網(wǎng)絡(luò)示例 16
1.5 深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過(guò)程 20
1.5.1 數(shù)據(jù)集的準(zhǔn)備 20
1.5.2 常用損失函數(shù)的介紹與比較 21
1.5.3 基于數(shù)值微分計(jì)算損失函數(shù)關(guān)于網(wǎng)絡(luò)參數(shù)的梯度 23
1.5.4 基于誤差反向傳播算法計(jì)算損失函數(shù)關(guān)于網(wǎng)絡(luò)參數(shù)的梯度 25
1.5.5 基于隨機(jī)梯度下降算法實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)更新 29
1.5.6 基于動(dòng)量法實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)更新 30
1.5.7 基于自適應(yīng)梯度算法實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)更新 31
1.5.8 基于自適應(yīng)矩估計(jì)算法實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)更新 32
1.6 深度學(xué)習(xí)常用工具介紹與比較 32
1.6.1 TensorFlow框架介紹與實(shí)例 32
1.6.2 Caffe框架介紹與實(shí)例 35
1.6.3 MXNet框架介紹與實(shí)例 38
1.6.4 Keras框架介紹與實(shí)例 39
1.6.5 PyTorch框架介紹與實(shí)例 40
1.6.6 各框架性能比較與評(píng)價(jià) 41
1.7 本章小結(jié) 41
參考文獻(xiàn) 42
第2章 基于深度學(xué)習(xí)的圖像分類(lèi)算法核心思想與算法進(jìn)化 44
2.1 圖像分類(lèi)基礎(chǔ)概念與原理 44
2.2 基于深度學(xué)習(xí)的圖像分類(lèi)算法的誕生與發(fā)展 46
2.2.1 基于深度學(xué)習(xí)的圖像分類(lèi)算法的誕生—LeNet 546
2.2.2 開(kāi)創(chuàng)基于深度學(xué)習(xí)圖像分類(lèi)算法的新局面—AlexNet 47
2.2.3 基于小卷積核的圖像分類(lèi)算法—VGGNet 49
2.2.4 基于*優(yōu)局部稀疏結(jié)構(gòu)的圖像分類(lèi)算法—Inception系列 50
2.2.5 基于恒等映射殘差單元的圖像分類(lèi)算法—ResNet 54
2.2.6 基于聚合轉(zhuǎn)換殘差單元的圖像分類(lèi)算法—ResNeXt 55
2.2.7 基于多層密集連接的圖像分類(lèi)算法—DenseNet 57
2.2.8 基于特征通道重標(biāo)定的圖像分類(lèi)算法—SENet 59
2.2.9 基于通道壓縮與擴(kuò)展的圖像分類(lèi)算法—SqueezeNet 61
2.2.10 基于深度可分離卷積的圖像分類(lèi)算法—MobileNet 63
2.2.11 基于逐點(diǎn)群卷積與通道混洗的圖像分類(lèi)算法—ShuffleNet 65
2.2.12 基于神經(jīng)架構(gòu)自動(dòng)搜索的圖像分類(lèi)算法—NASNet 67
2.3 算法評(píng)價(jià)與性能比較 68
2.3.1 常用數(shù)據(jù)集介紹 69
2.3.2 評(píng)價(jià)指標(biāo) 69
2.3.3 性能比較與算法評(píng)價(jià) 70
2.4 本章小結(jié) 70
參考文獻(xiàn) 71
第3章 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法核心思想及優(yōu)化過(guò)程 73
3.1 目標(biāo)檢測(cè)基礎(chǔ)概念與原理 73
3.2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的提出與優(yōu)化 74
3.2.1 首個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法—R-CNN 75
3.2.2 基于空間金字塔池化的目標(biāo)檢測(cè)算法—SPPNet 76
3.2.3 基于R-CNN和SPPNet改進(jìn)的目標(biāo)檢測(cè)算法—FastR-CNN 78
3.2.4 基于卷積提取候選區(qū)域的R-CNN—FasterR-CNN 79
3.2.5 基于語(yǔ)義分割和FasterR-CNN的目標(biāo)檢測(cè)網(wǎng)絡(luò)—MaskR-CNN 82
3.2.6 一步式目標(biāo)檢測(cè)算法的提出—YOLO系列 84
3.2.7 基于特征金字塔的目標(biāo)檢測(cè)算法—FPN 91
3.2.8 基于單發(fā)細(xì)化目標(biāo)的檢測(cè)算法—RefineDet 92
3.2.9 基于主干架構(gòu)搜索的目標(biāo)檢測(cè)算法—DetNAS 94
3.2.10 基于神經(jīng)架構(gòu)搜索的目標(biāo)檢測(cè)算法—NAS-FPN 96
3.3 性能比較 99
3.4 本章小結(jié) 106
參考文獻(xiàn) 106
第4章 基于深度學(xué)習(xí)的語(yǔ)義分割算法的本質(zhì)與革新 109
4.1 語(yǔ)義分割基礎(chǔ)概念與原理 109
4.2 基于深度學(xué)習(xí)的語(yǔ)義分割算法的提出與改進(jìn) 110
4.2.1 首個(gè)基于深度學(xué)習(xí)的語(yǔ)義分割算法—FCN 111
4.2.2 基于深度編解碼結(jié)構(gòu)的語(yǔ)義分割算法—SegNet 112
4.2.3 基于空洞卷積的語(yǔ)義分割算法—dilate convolution 114
4.2.4 基于金字塔池化聚合多尺度信息的語(yǔ)義分割算法—PSPNet 115
4.2.5 基于卷積神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)的語(yǔ)義分割算法—DeepLab-v1 117
4.2.6 基于空洞空間金字塔池化與條件隨機(jī)場(chǎng)的語(yǔ)義分割算法—DeepLab-v 2119
4.2.7 基于級(jí)聯(lián)空洞卷積與并行多空洞率金字塔池化的語(yǔ)義分割算法—DeepLab-v 3120
4.2.8 基于深度可分離卷積與并行多空洞率金字塔池化的語(yǔ)義分割算法—DeepLab-v3+ 121
4.2.9 基于多路徑優(yōu)化的語(yǔ)義分割算法—RefineNet 123
4.2.10 基于注意力優(yōu)化與特征融合的語(yǔ)義分割算法—BiSeNet 125
4.2.11 基于增強(qiáng)特征融合的語(yǔ)義分割算法—ExFuse 126
4.2.12 基于雙路注意力機(jī)制的語(yǔ)義分割算法—DANet 129
4.3 算法評(píng)價(jià)與性能比較 131
4.3.1 常用數(shù)據(jù)集介紹 131
4.3.2 評(píng)價(jià)指標(biāo) 132
4.3.3 性能比較與算法評(píng)價(jià) 133
4.4 本章小結(jié) 133
參考文獻(xiàn) 134
第5章 基于深度學(xué)習(xí)的圖像生成算法原理及發(fā)展 136
5.1 圖像生成基礎(chǔ) 136
5.2 基于深度學(xué)習(xí)的圖像生成算法的提出與發(fā)展 138
5.2.1 生成對(duì)抗網(wǎng)絡(luò)的提出—GAN 138
5.2.2 基于條件約束的生成對(duì)抗網(wǎng)絡(luò)—CGAN 140
5.2.3 基于深度卷積的生成對(duì)抗網(wǎng)絡(luò)—DCGAN 141
5.2.4 基于*小二乘法的生成對(duì)抗網(wǎng)絡(luò)—LSGAN 142
5.2.5 基于Wasserstein距離的生成對(duì)抗網(wǎng)絡(luò)—WGAN 142
5.2.6 從能量的角度理解GAN—EBGAN 143
5.2.7 實(shí)現(xiàn)圖像到圖像翻譯的生成對(duì)抗網(wǎng)絡(luò)—PIX 2PIX 144
5.2.8 基于兩領(lǐng)域圖像風(fēng)格轉(zhuǎn)換的生成對(duì)抗網(wǎng)絡(luò)—CycleGAN 145
5.2.9 基于多領(lǐng)域圖像生成的生成對(duì)抗網(wǎng)絡(luò)—StarGAN 146
5.2.10 基于神經(jīng)架構(gòu)搜索的生成對(duì)抗網(wǎng)絡(luò)—AutoGAN 148
5.3 性能比較 150
5.4 本章小結(jié) 155
參考文獻(xiàn) 156
第二部分 應(yīng)用部分
第6章 基于非對(duì)稱(chēng)卷積塊架構(gòu)增強(qiáng)和通道特征選擇機(jī)制的車(chē)道線檢測(cè)算法 159
6.1 引言 159
6.2 相關(guān)研究現(xiàn)狀 160
6.2.1 基于深度學(xué)習(xí)的車(chē)道線檢測(cè) 160
6.2.2 注意力機(jī)制 161
6.2.3 生成對(duì)抗網(wǎng)絡(luò) 161
6.3 非對(duì)稱(chēng)卷積與通道特征選擇機(jī)制網(wǎng)絡(luò)模型 162
6.3.1 卷積下采樣單元 162
6.3.2 轉(zhuǎn)置卷積上采樣單元 163
6.3.3 非對(duì)稱(chēng)卷積模型 164
6.3.4 雙通道注意力機(jī)制 165
6.3.5 通道選擇機(jī)制 166
6.4 網(wǎng)絡(luò)結(jié)構(gòu) 167
6.5 模型實(shí)現(xiàn) 169
6.5.1 數(shù)據(jù)加載 169
6.5.2 模型的構(gòu)建 170
6.5.3 訓(xùn)練和測(cè)試 175
6.6 性能分析與討論 177
6.6.1 數(shù)據(jù)準(zhǔn)備 177
6.6.2 模型訓(xùn)練 178
6.6.3 結(jié)果與分析 178
6.7 本章小結(jié) 181
參考文獻(xiàn) 181
第7章 基于多尺度特征提取和重用及特征重標(biāo)定的高效火災(zāi)檢測(cè)方法 184
7.1 引言 184
7.2 相關(guān)研究現(xiàn)狀 185
7.3 高效的火災(zāi)檢測(cè)模型 187
7.3.1 多尺度特征提取 188
7.3.2 多尺度特征重用 189
7.3.3 特征重標(biāo)定 190
7.3.4 特征分類(lèi) 191
7.3.5 模型設(shè)計(jì)過(guò)程 191
7.4 模型實(shí)現(xiàn) 193
7.4.1 數(shù)據(jù)加載 193
7.4.2 模型定義 195
7.4.3 模型訓(xùn)練 198
7.5 性能分析與討論 200
7.5.1 數(shù)據(jù)準(zhǔn)備 200
7.5.2 模型訓(xùn)練 201
7.5.3 實(shí)驗(yàn)結(jié)果與分析 201
7.6 本章小結(jié) 205
參考文獻(xiàn) 205
第8章 基于噪聲殘差卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)矢量和幀內(nèi)預(yù)測(cè)模式調(diào)制信息隱藏通用檢測(cè)方法 209
8.1 引言 209
8.2 相關(guān)研究現(xiàn)狀 210
8.3 卷積神經(jīng)網(wǎng)絡(luò)用于信息隱藏檢測(cè)的合理性 211
8.4 噪聲殘差卷積神經(jīng)網(wǎng)絡(luò)模型 212
8.4.1 殘差卷積層 214
8.4.2 卷積層 215
8.4.3 激活函數(shù) 216
8.4.4 隱寫(xiě)殘差單元 217
8.4.5 池化層 218
8.4.6 全連接層 219
8.4.7 批量標(biāo)準(zhǔn)化 219
8.5 模型實(shí)現(xiàn) 219
8.5.1 數(shù)據(jù)加載 219
8.5.2 模型定義 220
8.5.3 模型訓(xùn)練 224
8.6 性能分析與討論 226
8.6.1 數(shù)據(jù)準(zhǔn)備 226
8.6.2 模型訓(xùn)練 227
8.6.3 結(jié)果與分析 227
8.7 本章小結(jié) 233
參考文獻(xiàn) 234
第9章 基于多尺度特征融合和注意力機(jī)制的病蟲(chóng)害檢測(cè) 239
9.1 引言 239
9.2 相關(guān)研究現(xiàn)狀 240
9.2.1 病蟲(chóng)害識(shí)別與檢測(cè) 240
9.2.2 語(yǔ)義分割技術(shù) 241
9.3 基于多尺度特征融合及注意力機(jī)制的病蟲(chóng)害檢測(cè)模型 242
9.3.1 編碼器 243
9.3.2 解碼器 247
9.4 模型實(shí)現(xiàn) 250
9.4.1 數(shù)據(jù)加載 250
9.4.2 模型定義 251
9.4.3 模型訓(xùn)練 256
9.5 性能分析與討論 257
9.5.1 數(shù)據(jù)準(zhǔn)備 257
9.5.2 模型訓(xùn)練 258
9.5.3 評(píng)價(jià)指標(biāo) 259
9.5.4 燒蝕實(shí)驗(yàn)結(jié)果與分析 259
9.5.5 與現(xiàn)有語(yǔ)義分割算法的比較 262
9.6 本章小結(jié) 263
參考文獻(xiàn) 263
第10章 基于深度學(xué)習(xí)的GAN生成虛假圖像檢測(cè)方法 267
10.1 引言 267
10.2 相關(guān)研究現(xiàn)狀 268
10.3 基于寬度拓展的虛假圖像檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)模型 269
10.3.1 網(wǎng)絡(luò)寬度拓展 271
10.3.2 深層殘差特征學(xué)習(xí) 273
10.4 模型實(shí)現(xiàn) 274
10.4.1 數(shù)據(jù)加載 274
10.4.2 模型定義 275
10.4.3 模型訓(xùn)練 281
10.5 性能分析與討論 282
10.5.1 數(shù)據(jù)準(zhǔn)備 282
10.5.2 模型訓(xùn)練 284
10.5.3 評(píng)價(jià)指標(biāo) 284
10.5.4 燒蝕實(shí)驗(yàn)結(jié)果與分析 284
10.5.5 與現(xiàn)有方法的比較結(jié)果 286
10.6 本章小結(jié) 286
參考文獻(xiàn) 287