MindSpore深度學(xué)習(xí)高階技術(shù)

第1章數(shù)據(jù)處理00
1.1轉(zhuǎn)換數(shù)據(jù)集為MindRecord00
1.1.1背景與現(xiàn)狀00
1.1.2MindRecord技術(shù)原理00
1.1.3使用示例00
1.2自動(dòng)數(shù)據(jù)增強(qiáng)00
1.2.1背景與現(xiàn)狀00
1.2.2自動(dòng)數(shù)據(jù)增強(qiáng)技術(shù)原理00
1.2.3使用示例0
1.3輕量化數(shù)據(jù)處理0
1.3.1背景與現(xiàn)狀0
1.3.2Eager模式原理0
1.3.3使用示例0
1.4單節(jié)點(diǎn)緩存加速0
1.4.1背景與現(xiàn)狀0
1.4.2單節(jié)點(diǎn)緩存原理0
1.4.3單節(jié)點(diǎn)預(yù)處理數(shù)據(jù)緩存功能的使用0
1.4.4性能優(yōu)勢(shì)展示0
1.5優(yōu)化數(shù)據(jù)處理0
1.5.1背景與現(xiàn)狀0
1.5.2數(shù)據(jù)處理優(yōu)化途徑0
1.6本章小結(jié)0
第2章網(wǎng)絡(luò)構(gòu)建0
2.1自定義算子0
2.1.1算子原語(yǔ)0
2.1.2算子實(shí)現(xiàn)和算子信息注冊(cè)0
2.1.3使用自定義算子0
2.1.4定義算子反向傳播函數(shù)0
2.1.5小結(jié)0
2.2深度概率學(xué)習(xí)0
2.2.1框架模塊0
2.2.2深度概率推斷算法與概率模型0
2.2.3貝葉斯神經(jīng)網(wǎng)絡(luò)0
2.2.4貝葉斯應(yīng)用工具箱0
2.2.5小結(jié)0
2.3高階自動(dòng)微分0
2.3.1微分求解方法概述0
2.3.2技術(shù)原理0
2.3.3相關(guān)案例0
2.4本章小結(jié)0

第3章訓(xùn)練與推理性能優(yōu)化0
3.1千億參數(shù)模型自動(dòng)并行0
3.1.1分布式訓(xùn)練基礎(chǔ)0
3.1.2關(guān)鍵問(wèn)題0
3.1.3整體流程0
3.1.4流水線并行0
3.1.5并行子圖切分0
3.1.6算子級(jí)并行0
3.1.7優(yōu)化器切分0
3.1.8異構(gòu)圖切分0
3.1.9重計(jì)算0
3.1.10GPT3超大規(guī)模分布式并行方案0
3.1.11小結(jié)0
3.2二階優(yōu)化0
3.2.1優(yōu)化器背景介紹0
3.2.2THOR簡(jiǎn)介0
3.2.3THOR的實(shí)踐應(yīng)用0
3.2.4小結(jié)0
3.3模型量化0
3.3.1量化算法原理0
3.3.2感知量化訓(xùn)練0
3.3.3訓(xùn)練后量化
3.3.4小結(jié)

3.4類型推導(dǎo)
3.4.1靜態(tài)分析技術(shù)背景
3.4.2靜態(tài)分析設(shè)計(jì)
3.4.3靜態(tài)分析模塊設(shè)計(jì)
3.4.4小結(jié)
3.5圖算融合
3.5.1技術(shù)原理
3.5.2MindSpore上的圖算融合
3.5.3小結(jié)
3.6推理圖優(yōu)化
3.6.1算子融合
3.6.2算子替換
3.6.3常量折疊
3.6.4算子重排
3.6.5小結(jié)
3.7kernel優(yōu)化
3.7.1硬件優(yōu)化
3.7.2算法優(yōu)化
3.7.3小結(jié)
3.8本章小結(jié)
第4章模型安全與隱私
4.1對(duì)抗攻防
4.1.1背景
4.1.2MindArmour的攻防能力
4.1.3使用示例
4.2差分隱私訓(xùn)練
4.2.1差分隱私
4.2.2使用示例
4.3AI Fuzzer測(cè)試模型安全性
4.3.1AI Fuzzer原理
4.3.2使用示例
4.4隱私泄露風(fēng)險(xiǎn)評(píng)估
4.4.1原理
4.4.2使用示例
4.5本章小結(jié)
第5章模型可靠性
5.1模型魯棒性度量及提升
5.1.1技術(shù)現(xiàn)狀
5.1.2推薦方案
5.1.3應(yīng)用結(jié)果
5.1.4技術(shù)發(fā)展
5.1.5小結(jié)
5.2概念漂移檢測(cè)
5.2.1問(wèn)題背景
5.2.2業(yè)界現(xiàn)狀
5.2.3常用檢測(cè)算法
5.2.4小結(jié)
5.3基于故障注入的測(cè)試
5.3.1故障模式庫(kù)
5.3.2故障注入測(cè)試
5.3.3小結(jié)
5.4本章小結(jié)
第6章可解釋AI
6.1擾動(dòng)類可解釋AI算法的問(wèn)題與改進(jìn)
6.1.1擾動(dòng)類可解釋方法簡(jiǎn)介
6.1.2擾動(dòng)類可解釋方法的問(wèn)題分析
6.1.3改進(jìn)方法通用框架
6.1.4RISE+
6.1.5使用示例
6.1.6擴(kuò)展分析
6.2基于層級(jí)遮掩的反事實(shí)解釋
6.2.1技術(shù)原理
6.2.2使用示例
6.2.3小結(jié)
6.3基于塔橋網(wǎng)絡(luò)模型的推薦解釋
6.3.1發(fā)展現(xiàn)狀
6.3.2技術(shù)原理
6.3.3推薦解釋?xiě)?yīng)用示例
6.3.4訓(xùn)練TBNet網(wǎng)絡(luò)
6.3.5小結(jié)
6.4本章小結(jié)
第7章AI中的公平性問(wèn)題
7.1多樣的公平性定義
7.1.1群體公平
7.1.2個(gè)體公平
7.1.3過(guò)程公平
7.2偏見(jiàn)消減
7.2.1數(shù)據(jù)預(yù)處理
7.2.2模型構(gòu)建與訓(xùn)練
7.2.3后矯正
7.3AI公平性的應(yīng)用場(chǎng)景
7.3.1內(nèi)容生成與分類任務(wù)
7.3.2資源分配與決策任務(wù)
7.4本章小結(jié)
第8章數(shù)據(jù)驅(qū)動(dòng)AI建模
8.1醫(yī)藥生物計(jì)算案例
8.1.1背景介紹
8.1.2發(fā)展現(xiàn)狀
8.1.3相關(guān)案例
8.1.4小結(jié)
8.2天氣預(yù)報(bào)案例
8.2.1背景介紹
8.2.2發(fā)展現(xiàn)狀
8.2.3相關(guān)案例
8.2.4小結(jié)
8.3金屬材料模擬
8.3.1背景介紹
8.3.2發(fā)展現(xiàn)狀
8.3.3相關(guān)案例
8.3.4小結(jié)
8.4AI求解薛定諤方程
8.4.1背景介紹
8.4.2發(fā)展現(xiàn)狀
8.4.3相關(guān)案例
8.4.4小結(jié)
8.5本章小結(jié)
第9章AI求解科學(xué)計(jì)算方程
9.1業(yè)界經(jīng)典微分方程學(xué)術(shù)進(jìn)展
9.1.1背景介紹
9.1.2物理信息神經(jīng)網(wǎng)絡(luò)
9.1.3傅里葉神經(jīng)算子
9.1.4小結(jié)
9.2SimNet
9.2.1背景介紹
9.2.2框架介紹
9.2.3相關(guān)案例
9.3SciML
9.3.1框架介紹
9.3.2典型案例
9.3.3小結(jié)
9.4本章小結(jié)
第10章AI加速科學(xué)方法
10.1海洋模式背景介紹
10.2基于OpenArray的區(qū)域海洋模式GOMO
10.2.1OpenArray算子庫(kù)
10.2.2區(qū)域海洋模式GOMO
10.3MindSpore加速GOMO求解
10.3.1算子抽象
10.3.2圖算融合
10.3.3Halo區(qū)并行
10.4本章小結(jié)
參考文獻(xiàn)