大規(guī)模語言模型開發(fā)基礎(chǔ)與實踐

第1章 大模型基礎(chǔ)
1.1人工智能
1.1.1 人工智能的發(fā)展歷程
1.1.2 人工智能的研究領(lǐng)域
1.1.3 人工智能對人們生活的影響
1.2機器學習和深度學習
1.2.1 機器學習
1.2.2 深度學習
1.2.3 機器學習和深度學習的區(qū)別
1.3大模型簡介
1.3.1 大模型的作用
1.3.2 數(shù)據(jù)
1.3.3 數(shù)據(jù)和大模型的關(guān)系
1.4大模型開發(fā)與應(yīng)用的技術(shù)棧
第2章 數(shù)據(jù)集的加載、基本處理和制作
2.1數(shù)據(jù)集的加載
2.1.1 PyTorch加載數(shù)據(jù)集
2.1.2 TensorFlow加載數(shù)據(jù)集
2.2數(shù)據(jù)集的基本處理
2.2.1 轉(zhuǎn)換為Tensor格式
2.2.2 標準化處理
2.2.3 調(diào)整大小和裁剪
2.2.4 隨機翻轉(zhuǎn)和旋轉(zhuǎn)
2.3數(shù)據(jù)集的制作
2.3.1 自定義數(shù)據(jù)集
2.3.2 制作簡易圖片數(shù)據(jù)集
2.3.3 制作有標簽的數(shù)據(jù)集
第3章 數(shù)據(jù)集的預(yù)處理
3.1數(shù)據(jù)清洗和處理
3.1.1 缺失值處理
3.1.2 異常值檢測與處理
3.1.3 重復(fù)數(shù)據(jù)處理
3.2數(shù)據(jù)轉(zhuǎn)換與整合
3.2.1 特征選擇與抽取
3.2.2 特征變換與降維
3.2.3 數(shù)據(jù)集成與關(guān)聯(lián)
3.3數(shù)據(jù)標準化與歸一化
3.3.1 標準化及其重要性
3.3.2 特征縮放和歸一化
3.3.3 數(shù)據(jù)轉(zhuǎn)換和規(guī)范化
3.3.4 “最小-最大 ”縮放
3.4數(shù)據(jù)增強技術(shù)
3.4.1 數(shù)據(jù)增強的意義
3.4.2 圖像數(shù)據(jù)增強
3.4.3 自然語言數(shù)據(jù)增強
第4章 卷積神經(jīng)網(wǎng)絡(luò)模型
4.1卷積神經(jīng)網(wǎng)絡(luò)簡介
4.1.1 卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展背景
4.1.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
4.2卷積神經(jīng)網(wǎng)絡(luò)模型開發(fā)實戰(zhàn)
4.2.1 使用TensorFlow創(chuàng)建一個卷積神經(jīng)網(wǎng)絡(luò)模型并評估
4.2.2 使用PyTorch創(chuàng)建手寫數(shù)字模型
第5章 循環(huán)神經(jīng)網(wǎng)絡(luò)模型
5.1文本處理與循環(huán)神經(jīng)網(wǎng)絡(luò)簡介
5.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
5.1.2 文本分類
5.2循環(huán)神經(jīng)網(wǎng)絡(luò)模型開發(fā)實戰(zhàn)
5.2.1 使用PyTorch開發(fā)歌詞生成器模型
5.2.2 使用TensorFlow制作情感分析模型
第6章 特征提取
6.1特征提取簡介
6.1.1 特征在大模型中的關(guān)鍵作用
6.1.2 特征提取與數(shù)據(jù)預(yù)處理的關(guān)系
6.2特征的類型和重要性
6.2.1 數(shù)值特征和類別特征
6.2.2 高維數(shù)據(jù)的挑戰(zhàn)
6.3特征選擇
6.3.1 特征選擇的必要性
6.3.2 特征選擇的方法
6.4特征抽取
6.4.1 特征抽取的概念
6.4.2 主成分分析
6.4.3 獨立成分分析
6.4.4 自動編碼器
6.5文本數(shù)據(jù)的特征提取
6.5.1 嵌入
6.5.2 詞袋模型
6.5.3 TF-IDF特征
6.6 圖像數(shù)據(jù)的特征提取
6.6.1 預(yù)訓練的圖像特征提取模型
6.6.2 基本圖像特征：邊緣檢測、顏色直方圖等
第7章 注意力機制
7.1注意力機制基礎(chǔ)
7.1.1 注意力機制簡介
7.1.2 注意力機制的變體
7.1.3 注意力機制解決的問題
7.2TensorFlow 機器翻譯系統(tǒng)
7.2.1 項目簡介
7.2.2 下載并準備數(shù)據(jù)集
7.2.3 文本預(yù)處理
7.2.4 編碼器模型
7.2.5 繪制可視化注意力圖
7.2.6 解碼器
7.2.7 訓練
7.2.8 翻譯
7.3 PyTorch 機器翻譯系統(tǒng)
7.3.1 準備數(shù)據(jù)集
7.3.2 數(shù)據(jù)預(yù)處理
7.3.3 實現(xiàn)Seq2Seq 模型
7.3.4 訓練模型
7.3.5 模型評估
7.3.6 訓練和評估
7.3.7 注意力的可視化
第8章 模型訓練與調(diào)優(yōu)
8.1模型訓練優(yōu)化
8.1.1 底層優(yōu)化
8.1.2 樣本權(quán)重和分類權(quán)重
8.2損失函數(shù)和優(yōu)化算法
8.2.1 損失函數(shù)和優(yōu)化算法的概念
8.2.2 TensorFlow損失函數(shù)和優(yōu)化算法
8.2.3 PyTorch損失函數(shù)和優(yōu)化算法
8.3批量訓練和隨機訓練
8.3.1 批量訓練和隨機訓練的概念
8.3.2 小批量隨機梯度下降
8.3.3 批量歸一化
8.3.4 丟棄
8.4模型驗證和調(diào)優(yōu)
8.4.1 訓練集、驗證集和測試集
8.4.2 交叉驗證優(yōu)化
8.4.3 超參數(shù)調(diào)優(yōu)
第9章 模型推理和評估
9.1模型推理
9.1.1 模型推理的步驟
9.1.2 前向傳播和輸出計算的過程
9.1.3 模型推理的優(yōu)化和加速
9.2模型評估
9.2.1 模型評估的方法和指標
9.2.2 交叉驗證和統(tǒng)計顯著性測試的應(yīng)用
第10章 大模型優(yōu)化算法和技術(shù)
10.1常見的大模型優(yōu)化算法和技術(shù)
10.2梯度下降法
10.2.1 梯度下降法簡介
10.2.2 TensorFlow梯度下降法優(yōu)化實踐
10.2.3 PyTorch梯度下降法優(yōu)化實踐
10.3模型并行和數(shù)據(jù)并行
10.3.1 模型并行和數(shù)據(jù)并行的基本概念
10.3.2 TensorFlow模型并行和數(shù)據(jù)并行實踐
10.3.3 PyTorch模型并行和數(shù)據(jù)并行實踐
10.4學習率調(diào)度
10.4.1 學習率調(diào)度的方法
10.4.2 TensorFlow學習率調(diào)度優(yōu)化實踐
10.4.3 PyTorch學習率調(diào)度優(yōu)化實踐
10.5權(quán)重初始化策略
10.6遷移學習
10.6.1 遷移學習的基本概念
10.6.2 TensorFlow遷移學習優(yōu)化實踐
10.6.3 PyTorch遷移學習優(yōu)化實踐
10.7其他大模型優(yōu)化算法和技術(shù)
10.7.1 分布式訓練
10.7.2 正則化
10.7.3 梯度裁剪
10.7.4 混合精度訓練優(yōu)化
10.7.5 量化優(yōu)化技術(shù)
10.7.6 剪枝優(yōu)化技術(shù)
第11章 AI智能問答系統(tǒng)（TensorFlow TensorFlow. js SQuAD 2.0 Mobile-BERT）
11.1背景簡介
11.1.1 互聯(lián)網(wǎng)的影響
11.1.2 問答系統(tǒng)的發(fā)展
11.2問答系統(tǒng)的發(fā)展趨勢：AI 問答系統(tǒng)
11.3技術(shù)架構(gòu)
11.3.1 TensorFlow.js
11.3.2 SQuAD 2.0
11.3.3 BERT
11.3.4 知識蒸餾
11.4具體實現(xiàn)
11.4.1 編寫HTML文件
11.4.2 腳本處理
11.4.3 加載訓練模型
11.4.4 查詢處理
11.4.5 文章處理
11.4.6 加載處理
11.4.7 尋找答案
11.4.8 提取最佳答案
11.4.9 將答案轉(zhuǎn)換回原始文本
11.5調(diào)試運行
第12章 AI人臉識別系統(tǒng)（PyTorch OpenCV Scikit-Image MobileNet ArcFace）
12.1 系統(tǒng)簡介
12.1.1 背景簡介
12.1.2 人臉識別的發(fā)展歷史和現(xiàn)狀
12.2系統(tǒng)需求分析
12.2.1 系統(tǒng)功能分析
12.2.2 技術(shù)分析
12.2.3 實現(xiàn)流程分析
12.3數(shù)據(jù)集
12.3.1 準備數(shù)據(jù)集
12.3.2 提取人臉
12.4訓練模型
12.4.1 ArcFace算法
12.4.2 MobileNet算法
12.4.3 開始訓練
12.5評估模型
12.5.1 評估的重要性
12.5.2 評估程序
12.6人臉識別
12.6.1 圖像預(yù)處理
12.6.2 人臉識別模型
12.6.3 開始識別