深入淺出Embedding：原理解析與應(yīng)用實(shí)踐

前言
部分　Embedding基礎(chǔ)知識
第1章　萬物皆可嵌入2
1.1　處理序列問題的一般步驟3
1.2　Word Embedding4
1.2.1　word2vec之前4
1.2.2　CBOW模型5
1.2.3　Skip-Gram模型6
1.2.4　可視化Skip-Gram模型實(shí)現(xiàn)過程8
1.2.5　Hierarchical Softmax優(yōu)化14
1.2.6　Negative Sampling優(yōu)化15
1.3　Item Embedding16
1.3.1　微軟推薦系統(tǒng)使用Item Embedding16
1.3.2　Airbnb推薦系統(tǒng)使用Item Embedding17
1.4　用Embedding處理分類特征17
1.5　Graph Embedding20
1.5.1　DeepWalk方法21
1.5.2　LINE方法21
1.5.3　node2vec方法23
1.5.4　Graph Embedding在阿里的應(yīng)用23
1.5.5　知識圖譜助力推薦系統(tǒng)實(shí)例26
1.6　Contextual Word Embedding26
1.6.1　多種預(yù)訓(xùn)練模型概述27
1.6.2　多種預(yù)訓(xùn)練模型的發(fā)展脈絡(luò)29
1.6.3　各種預(yù)訓(xùn)練模型的優(yōu)缺點(diǎn)29
1.6.4　常用預(yù)訓(xùn)練模型30
1.6.5　Transformer的應(yīng)用32
1.7　使用Word Embedding實(shí)現(xiàn)中文自動(dòng)摘要35
1.7.1　背景說明35
1.7.2　預(yù)處理中文語料庫35
1.7.3　生成詞向量36
1.7.4　把文檔的詞轉(zhuǎn)換為詞向量36
1.7.5　生成各主題的關(guān)鍵詞38
1.7.6　查看運(yùn)行結(jié)果39
1.8　小結(jié)40
第2章　獲取Embedding的方法41
2.1　使用PyTorch的Embedding Layer41
2.1.1　語法格式41
2.1.2　簡單實(shí)例43
2.1.3　初始化44
2.2　使用TensorFlow 2.0的Embedding Layer45
2.2.1　語法格式45
2.2.2　簡單實(shí)例45
2.3　從預(yù)訓(xùn)練模型獲取Embedding47
2.3.1　背景說明47
2.3.2　下載IMDB數(shù)據(jù)集47
2.3.3　進(jìn)行分詞47
2.3.4　下載并預(yù)處理GloVe詞嵌入48
2.3.5　構(gòu)建模型49
2.3.6　訓(xùn)練模型50
2.3.7　可視化訓(xùn)練結(jié)果50
2.3.8　不使用預(yù)訓(xùn)練詞嵌入的情況51
2.4　小結(jié)53
第3章　計(jì)算機(jī)視覺處理54
3.1　卷積神經(jīng)網(wǎng)絡(luò)54
3.1.1　卷積網(wǎng)絡(luò)的一般架構(gòu)55
3.1.2　增加通道的魅力56
3.1.3　加深網(wǎng)絡(luò)的動(dòng)機(jī)57
3.1.4　殘差連接58
3.2　使用預(yù)訓(xùn)練模型59
3.2.1　遷移學(xué)習(xí)簡介59
3.2.2　使用預(yù)訓(xùn)練模型的方法60
3.3　獲取預(yù)訓(xùn)練模型63
3.4　使用PyTorch實(shí)現(xiàn)數(shù)據(jù)遷移實(shí)例64
3.4.1　特征提取實(shí)例64
3.4.2　微調(diào)實(shí)例67
3.5　小結(jié)69
第4章　文本及序列處理70
4.1　循環(huán)網(wǎng)絡(luò)的基本結(jié)構(gòu)70
4.1.1　標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)71
4.1.2　深度循環(huán)神經(jīng)網(wǎng)絡(luò)72
4.1.3　LSTM網(wǎng)絡(luò)結(jié)構(gòu)72
4.1.4　GRU網(wǎng)絡(luò)結(jié)構(gòu)73
4.1.5　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)74
4.2　構(gòu)建一些特殊模型75
4.2.1　Encoder-Decoder模型75
4.2.2　Seq2Seq模型77
4.3　小結(jié)77
第5章　注意力機(jī)制78
5.1　注意力機(jī)制概述78
5.1.1　兩種常見的注意力機(jī)制79
5.1.2　注意力機(jī)制的本質(zhì)79
5.2　帶注意力機(jī)制的Encoder-Decoder模型81
5.2.1　引入注意力機(jī)制81
5.2.2　計(jì)算注意力分配值83
5.2.3　使用PyTorch實(shí)現(xiàn)帶注意力機(jī)制的Encoder-Decoder模型85
5.3　可視化Transformer88
5.3.1　Transformer的頂層設(shè)計(jì)89
5.3.2　Encoder與Decoder的輸入91
5.3.3　高并發(fā)長記憶的實(shí)現(xiàn)91
5.3.4　為加深Transformer網(wǎng)絡(luò)層保駕護(hù)航的幾種方法98
5.3.5　如何自監(jiān)督學(xué)習(xí)98
5.4　使用PyTorch實(shí)現(xiàn)Transformer101
5.4.1　Transformer背景介紹101
5.4.2　構(gòu)建Encoder-Decoder模型101
5.4.3　構(gòu)建Encoder102
5.4.4　構(gòu)建Decoder105
5.4.5　構(gòu)建MultiHeadedAttention107
5.4.6　構(gòu)建前饋網(wǎng)絡(luò)層109
5.4.7　預(yù)處理輸入數(shù)據(jù)109
5.4.8　構(gòu)建完整網(wǎng)絡(luò)112
5.4.9　訓(xùn)練模型113
5.4.10　實(shí)現(xiàn)一個(gè)簡單實(shí)例117
5.5　Transformer-XL119
5.5.1　引入循環(huán)機(jī)制119
5.5.2　使用相對位置編碼121
5.5.3　Transformer-XL計(jì)算過程122
5.6　使用PyTorch構(gòu)建Transformer-XL123
5.6.1　構(gòu)建單個(gè)Head Attention123
5.6.2　構(gòu)建MultiHeadAttention126
5.6.3　構(gòu)建Decoder129
5.7　Reformer130
5.7.1　使用局部敏感哈希130
5.7.2　使用可逆殘差網(wǎng)絡(luò)131
5.8　小結(jié)132
第6章　從Word Embedding到ELMo133
6.1　從word2vec到ELMo133
6.2　可視化ELMo原理134
6.2.1　字符編碼層135
6.2.2　雙向語言模型137
6.2.3　生成ELMo詞嵌入138
6.3　小結(jié)139
第7章　從ELMo到BERT和GPT140
7.1　ELMo的優(yōu)缺點(diǎn)140
7.2　可視化BERT原理141
7.2.1　BERT的整體架構(gòu)141
7.2.2　BERT的輸入143
7.2.3　掩碼語言模型144
7.2.4　預(yù)測下一個(gè)句子145
7.2.5　微調(diào)146
7.2.6　使用特征提取方法147
7.3　使用PyTorch實(shí)現(xiàn)BERT148
7.3.1　BERTEmbedding類的代碼149
7.3.2　TransformerBlock類的代碼149
7.3.3　構(gòu)建BERT的代碼150
7.4　可視化GPT原理151
7.4.1　GPT簡介151
7.4.2　GPT的整體架構(gòu)151
7.4.3　GPT的模型結(jié)構(gòu)152
7.4.4　GPT-2的Multi-Head與BERT的Multi-Head之間的區(qū)別153
7.4.5　GPT-2的輸入153
7.4.6　GPT-2計(jì)算遮掩自注意力的詳細(xì)過程154
7.4.7　輸出156
7.4.8　GPT與GPT-2的異同156
7.5　GPT-3簡介157
7.6　小結(jié)160
第8章　BERT的優(yōu)化方法161
8.1　可視化XLNet原理162
8.1.1　排列語言模型簡介162
8.1.2　使用雙流自注意力機(jī)制163
8.1.3　融入Transformer-XL的理念164
8.1.4　改進(jìn)后的效果164
8.2　ALBERT方法164
8.2.1　分解Vocabulary Embedding矩陣165
8.2.2　跨層共享參數(shù)167
8.2.3　用SOP代替NSP方法168
8.2.4　其他優(yōu)化方法169
8.3　ELECTRA方法170
8.3.1　ELECTRA概述170
8.3.2　RTD結(jié)構(gòu)171
8.3.3　損失函數(shù)171
8.3.4　ELECTRA與GAN的異同172
8.3.5　評估172
8.4　小結(jié)173
第9章　推薦系統(tǒng)174
9.1　推薦系統(tǒng)概述174
9.1.1　推薦系統(tǒng)的一般流程174
9.1.2　常用推薦算法175
9.2　協(xié)同過濾176
9.2.1　基于用戶的協(xié)同過濾176
9.2.2　基于物品的協(xié)同過濾177
9.3　深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用178
9.3.1　協(xié)同過濾中與神經(jīng)網(wǎng)絡(luò)結(jié)合178
9.3.2　融入多層感知機(jī)的推薦系統(tǒng)179
9.3.3　融入卷積網(wǎng)絡(luò)的推薦系統(tǒng)180
9.3.4　融入Transformer的推薦系統(tǒng)181
9.4　小結(jié)183
第二部分　Embedding應(yīng)用實(shí)例
第10章　用Embedding表現(xiàn)分類特征186
10.1　項(xiàng)目背景186
10.1.1　項(xiàng)目概述186
10.1.2　數(shù)據(jù)集說明187
10.2　TensorFlow 2詳細(xì)實(shí)現(xiàn)188
10.2.1　導(dǎo)入TensorFlow和其他庫188
10.2.2　導(dǎo)入數(shù)據(jù)集并創(chuàng)建dataframe188
10.2.3　將dataframe拆分為訓(xùn)練、驗(yàn)證和測試集189
10.2.4　用tf.data創(chuàng)建輸入流水線189
10.2.5　TensorFlow提供的幾種處理特征列的方法190
10.2.6　選擇特征193
10.2.7　創(chuàng)建網(wǎng)絡(luò)的輸入層194
10.2.8　創(chuàng)建、編譯和訓(xùn)練模型194
10.2.9　可視化訓(xùn)練過程195
10.2.10　測試模型196
10.3　小結(jié)197
第11章　用Embedding提升機(jī)器學(xué)習(xí)性能198
11.1　項(xiàng)目概述198
11.1.1　數(shù)據(jù)集簡介199
11.1.2　導(dǎo)入數(shù)據(jù)200
11.1.3　預(yù)處理數(shù)據(jù)201
11.1.4　定義公共函數(shù)203
11.2　使用Embedding提升神經(jīng)網(wǎng)絡(luò)性能205
11.2.1　基于獨(dú)熱編碼的模型205
11.2.2　基于Embedding的模型207
11.3　構(gòu)建XGBoost模型211
11.4　使用Embedding數(shù)據(jù)的XGBoost模型212
11.5　可視化Embedding數(shù)據(jù)213
11.6　小結(jié)215
第12章　用Transformer實(shí)現(xiàn)英譯中216
12.1　TensorFlow 2 實(shí)例概述216
12.2　預(yù)處理數(shù)據(jù)217
12.2.1　下載數(shù)據(jù)217
12.2.2　分割數(shù)據(jù)219
12.2.3　創(chuàng)建英文語料字典220
12.2.4　創(chuàng)建中文語料字典222
12.2.5　定義編碼函數(shù)222
12.2.6　過濾數(shù)據(jù)223
12.2.7　創(chuàng)建訓(xùn)練集和驗(yàn)證集223
12.3　構(gòu)建Transformer模型225
12.3.1　Transformer模型架構(gòu)圖225
12.3.2　架構(gòu)說明226
12.3.3　構(gòu)建scaled_dot_product_attention模塊226
12.3.4　構(gòu)建MultiHeadAttention模塊227
12.3.5　構(gòu)建point_wise_feed_forward_network模塊228
12.3.6　構(gòu)建EncoderLayer模塊228
12.3.7　構(gòu)建Encoder模塊229
12.3.8　構(gòu)建DecoderLayer模塊230
12.3.9　構(gòu)建Decoder模塊231
12.3.10　構(gòu)建Transformer模型232
12.3.11　定義掩碼函數(shù)233
12.4　定義損失函數(shù)236
12.5　定義優(yōu)化器237
12.6　訓(xùn)練模型239
12.6.1　實(shí)例化Transformer239
12.6.2　設(shè)置checkpoint239
12.6.3　生成多種掩碼240
12.6.4　定義訓(xùn)練模型函數(shù)240
12.6.5　訓(xùn)練模型241
12.7　評估預(yù)測模型242
12.7.1　定義評估函數(shù)242
12.7.2　測試翻譯幾個(gè)簡單語句243
12.8　可視化注意力權(quán)重243
12.9　小結(jié)245
第13章　Embedding技術(shù)在推薦系統(tǒng)中的應(yīng)用246
13.1　Embedding在Airbnb推薦系統(tǒng)中的應(yīng)用246
13.2　Transformer在阿里推薦系統(tǒng)中的應(yīng)用249
13.3　BERT在美團(tuán)推薦系統(tǒng)中的應(yīng)用250
13.4　小結(jié)253
第14章　用BERT實(shí)現(xiàn)中文語句分類254
14.1　背景說明254
14.1.1　查看中文BERT字典里的一些信息255
14.1.2　使用tokenizer分割中文語句256
14.2　可視化BERT注意力權(quán)重256
14.2.1　BERT對MASK字的預(yù)測256
14.2.2　導(dǎo)入可視化需要的庫257
14.2.3　可視化258
14.3　用BERT預(yù)訓(xùn)練模型微調(diào)下游任務(wù)259
14.3.1　準(zhǔn)備原始文本數(shù)據(jù)259
14.3.2　將原始文本轉(zhuǎn)換成BERT的輸入格式260
14.3.3　定義讀取數(shù)據(jù)的函數(shù)261
14.3.4　讀取數(shù)據(jù)并進(jìn)行數(shù)據(jù)轉(zhuǎn)換263
14.3.5　增加一個(gè)批量維度264
14.3.6　查看一個(gè)批次數(shù)據(jù)樣例265
14.3.7　微調(diào)BERT完成下游任務(wù)265
14.3.8　查看微調(diào)后模型的結(jié)構(gòu)266
14.4　訓(xùn)練模型267
14.4.1　定義預(yù)測函數(shù)267
14.4.2　訓(xùn)練模型268
14.5　測試模型269
14.5.1　用新數(shù)據(jù)測試模型269
14.5.2　比較微調(diào)前后的數(shù)據(jù)異同270
14.5.3　可視化注意力權(quán)重271
14.6　小結(jié)272
第15章　用GPT-2生成文本273
15.1　GPT-2概述273
15.2　用GPT-2生成新聞275
15.2.1　定義隨機(jī)選擇函數(shù)275
15.2.2　使用預(yù)訓(xùn)練模型生成新聞275
15.3　微調(diào)GPT-2生成戲劇文本277
15.3.1　讀取文件277
15.3.2　對文件進(jìn)行分詞277
15.3.3　把數(shù)據(jù)集轉(zhuǎn)換為可迭代對象278
15.3.4　訓(xùn)練模型278
15.3.5　使用模型生成文本279
15.4　小結(jié)280
第16章　Embedding技術(shù)總結(jié)281
16.1　Embedding技術(shù)回顧281
16.1.1　Embedding表示281
16.1.2　多種學(xué)習(xí)Embedding表示的算法282
16.1.3　幾種Embedding衍生技術(shù)283
16.1.4　Embedding技術(shù)的不足285
16.2　Embedding技術(shù)展望285
16.2.1　從Embedding的表示方面進(jìn)行優(yōu)化285
16.2.2　從Embedding的結(jié)構(gòu)上進(jìn)行優(yōu)化286
16.3　小結(jié)286
附錄A　基于GPU的TensorFlow 2 、PyTorch 1 升級安裝287
附錄B　語言模型307