深度學(xué)習(xí)：從神經(jīng)網(wǎng)絡(luò)到深度強化學(xué)習(xí)的演進

目錄





第1章人工智能與深度學(xué)習(xí)概述

1.1人工智能與機器學(xué)習(xí)

1.1.1人工智能的發(fā)展歷程

1.1.2機器學(xué)習(xí)及深度學(xué)習(xí)的發(fā)展歷程

1.1.3人工智能與機器學(xué)習(xí)及深度學(xué)習(xí)的關(guān)系

1.2機器學(xué)習(xí)的分類

1.2.1監(jiān)督學(xué)習(xí)

1.2.2非監(jiān)督學(xué)習(xí)

1.2.3半監(jiān)督學(xué)習(xí)

1.2.4強化學(xué)習(xí)

1.2.5其他分類方式

1.3深度學(xué)習(xí)的分類及發(fā)展趨勢

1.3.1深度神經(jīng)網(wǎng)絡(luò)

1.3.2卷積神經(jīng)網(wǎng)絡(luò)

1.3.3其他深度神經(jīng)網(wǎng)絡(luò)

1.3.4深度學(xué)習(xí)的發(fā)展趨勢

1.4深度學(xué)習(xí)與強化學(xué)習(xí)的結(jié)合

1.4.1強化學(xué)習(xí)

1.4.2強化學(xué)習(xí)算法分類

1.4.3深度強化學(xué)習(xí)

本章小結(jié)

第2章神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

2.1深度學(xué)習(xí)簡介

2.1.1傳統(tǒng)機器學(xué)習(xí)算法與深度學(xué)習(xí)算法對比

2.1.2深度學(xué)習(xí)發(fā)展歷程

2.2圖像分類問題

2.2.1KNN分類器

2.2.2線性分類器

2.2.3損失及優(yōu)化

2.3損失函數(shù)

2.3.1折頁損失函數(shù)

2.3.2交叉熵損失函數(shù)

2.4反向傳播算法

2.4.1計算圖

2.4.2反向傳播舉例

2.5人工神經(jīng)網(wǎng)絡(luò)

2.5.1神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2.5.2神經(jīng)網(wǎng)絡(luò)的分類

2.6激活函數(shù)

2.6.1常用激活函數(shù)

2.6.2各種激活函數(shù)的優(yōu)缺點

本章小結(jié)

第3章卷積神經(jīng)網(wǎng)絡(luò)

3.1基本概念

3.1.1卷積

3.1.2池化

3.1.3經(jīng)典網(wǎng)絡(luò)LeNet5

3.2幾種卷積神經(jīng)網(wǎng)絡(luò)介紹

3.2.1AlexNet

3.2.2VGGNet

3.2.3NIN

3.2.4GoogLeNet

3.2.5ResNet

3.3計算機視覺問題

3.3.1圖像分類

3.3.2目標(biāo)定位

3.3.3目標(biāo)檢測

3.3.4圖像分割

3.4深度學(xué)習(xí)應(yīng)用實例

3.4.1深度學(xué)習(xí)框架

3.4.2MNIST手寫數(shù)字識別

3.4.3基于DeepLabV3+模型的軌道圖像分割

本章小結(jié)

第4章循環(huán)神經(jīng)網(wǎng)絡(luò)及其他深層神經(jīng)網(wǎng)絡(luò)

4.1從DNN到RNN

4.1.1RNN結(jié)構(gòu)

4.1.2深度 RNN

4.1.3RNN的訓(xùn)練

4.2RNN變體

4.2.1LSTM

4.2.2GRU

4.2.3其他結(jié)構(gòu)

4.3RNN應(yīng)用舉例

4.3.1時序數(shù)據(jù)預(yù)測

4.3.2自然語言處理

4.4自編碼器

4.4.1稀疏自編碼器

4.4.2去噪自編碼器

4.4.3壓縮自編碼器

4.5深度生成式模型

4.5.1全可見信念網(wǎng)絡(luò)

4.5.2變分自編碼器

4.5.3生成式對抗網(wǎng)絡(luò)

本章小結(jié)

第5章深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

5.1參數(shù)更新方法

5.1.1梯度下降算法的問題

5.1.2基于動量的更新

5.1.3二階優(yōu)化方法

5.1.4共軛梯度

5.1.5擬牛頓法

5.2自適應(yīng)學(xué)習(xí)率算法

5.2.1學(xué)習(xí)率衰減

5.2.2AdaGrad算法

5.2.3RMSProp算法

5.2.4AdaDelta算法

5.2.5Adam算法

5.2.6幾種常見優(yōu)化算法的比較

5.3參數(shù)初始化

5.3.1合理初始化的重要性

5.3.2隨機初始化

5.3.3Xavier初始化

5.3.4He初始化

5.3.5批量歸一化

5.3.6預(yù)訓(xùn)練

5.4網(wǎng)絡(luò)正則化

5.4.1正則化的目的

5.4.2L1和L2正則化

5.4.3權(quán)重衰減

5.4.4提前停止

5.4.5數(shù)據(jù)增強

5.4.6丟棄法

5.4.7標(biāo)簽平滑

5.5訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的小技巧

5.5.1數(shù)據(jù)預(yù)處理

5.5.2超參數(shù)調(diào)優(yōu)

5.5.3集成學(xué)習(xí)

5.5.4監(jiān)視訓(xùn)練過程

本章小結(jié)

第6章輕量化神經(jīng)網(wǎng)絡(luò)模型

6.1深度學(xué)習(xí)輕量化模型

6.1.1SqueezeNet模型

6.1.2MobileNet模型

6.1.3ShuffleNet模型

6.1.4Xception模型

6.2深度神經(jīng)網(wǎng)絡(luò)模型壓縮

6.2.1推理階段的壓縮算法

6.2.2訓(xùn)練階段的壓縮算法

6.3深度神經(jīng)網(wǎng)絡(luò)的硬件加速

6.3.1推理階段的硬件加速

6.3.2訓(xùn)練階段的硬件加速

6.4移動端深度學(xué)習(xí)

6.4.1移動端深度學(xué)習(xí)概述

6.4.2移動端深度學(xué)習(xí)框架

6.4.3移動端深度學(xué)習(xí)示例

本章小結(jié)

第7章強化學(xué)習(xí)算法

7.1強化學(xué)習(xí)綜述

7.1.1目標(biāo)、單步獎勵與累積回報

7.1.2馬爾可夫決策過程

7.1.3值函數(shù)與最優(yōu)值函數(shù)

7.2動態(tài)規(guī)劃方法

7.2.1策略迭代

7.2.2值迭代

7.3基于值函數(shù)的強化學(xué)習(xí)算法

7.3.1基于蒙特卡羅的強化學(xué)習(xí)算法

7.3.2基于時間差分的強化學(xué)習(xí)算法

7.3.3TDλ算法

7.4基于策略梯度的強化學(xué)習(xí)算法

7.4.1何時應(yīng)用基于策略的學(xué)習(xí)方法

7.4.2策略梯度詳解

7.4.3蒙特卡羅策略梯度算法

7.4.4ActorCritic算法

7.5值函數(shù)近似和衍生算法

7.5.1值函數(shù)近似

7.5.2基于值函數(shù)近似的TD方法

7.5.3基于線性值函數(shù)近似的GTD方法

7.5.4OffPolicy ActorCritic算法

本章小結(jié)

第8章多智能體多任務(wù)學(xué)習(xí)

8.1多智能體學(xué)習(xí)

8.1.1多智能體強化學(xué)習(xí)背景

8.1.2多智能體強化學(xué)習(xí)任務(wù)分類及算法介紹

8.1.3多智能體增強學(xué)習(xí)平臺

8.2多任務(wù)學(xué)習(xí)

8.2.1多任務(wù)學(xué)習(xí)的背景與定義

8.2.2多任務(wù)監(jiān)督學(xué)習(xí)

8.2.3其他多任務(wù)學(xué)習(xí)

8.2.4多任務(wù)學(xué)習(xí)的應(yīng)用

8.3元學(xué)習(xí)

8.3.1從模型評估中學(xué)習(xí)

8.3.2從任務(wù)特征中學(xué)習(xí)

8.4聯(lián)邦學(xué)習(xí)

8.4.1背景

8.4.2聯(lián)邦學(xué)習(xí)的特點及優(yōu)勢

8.4.3聯(lián)邦學(xué)習(xí)的分類

8.4.4聯(lián)邦學(xué)習(xí)的應(yīng)用

本章小結(jié)

第9章深度強化學(xué)習(xí)

9.1基于值函數(shù)的深度強化學(xué)習(xí)

9.1.1深度Q學(xué)習(xí)

9.1.2深度Q學(xué)習(xí)的衍生方法

9.2基于策略梯度的深度強化學(xué)習(xí)

9.2.1深度確定性策略梯度算法

9.2.2異步深度強化學(xué)習(xí)算法

9.2.3信賴域策略優(yōu)化及其衍生算法

9.3深度強化學(xué)習(xí)的應(yīng)用

9.3.1計算機圍棋程序AlphaGo

9.3.2深度強化學(xué)習(xí)的其他應(yīng)用

9.3.3深度強化學(xué)習(xí)在通信網(wǎng)絡(luò)中的應(yīng)用

本章小結(jié)

第10章遷移學(xué)習(xí)

10.1遷移學(xué)習(xí)簡介及分類

10.1.1遷移學(xué)習(xí)概述

10.1.2遷移學(xué)習(xí)的分類

10.2遷移學(xué)習(xí)的應(yīng)用

10.2.1遷移學(xué)習(xí)在深度學(xué)習(xí)中的應(yīng)用

10.2.2遷移學(xué)習(xí)在強化學(xué)習(xí)中的應(yīng)用

本章小結(jié)

附錄A最近鄰算法實現(xiàn)代碼

附錄BTensorFlow訓(xùn)練LeNet5網(wǎng)絡(luò)實現(xiàn)代碼

附錄C基于DeepLabv3+模型的軌道圖像分割

附錄D時序數(shù)據(jù)預(yù)測實現(xiàn)代碼

附錄E自然語言處理實現(xiàn)代碼

附錄F移動端深度學(xué)習(xí)示例

參考文獻