大模型工程化：AI驅(qū)動(dòng)下的數(shù)據(jù)體系

目    錄
第 1部分  大模型技術(shù)的發(fā)展與應(yīng)用
第 1章  大模型的發(fā)展現(xiàn)狀 2
1.1  大模型的發(fā)展歷程 2
1.2  大模型的市場規(guī)模 6
1.3  大模型技術(shù)的應(yīng)用現(xiàn)狀 8
1.3.1  通用大模型技術(shù)的應(yīng)用 8
1.3.2  領(lǐng)域大模型技術(shù)的應(yīng)用 10
1.4  小結(jié) 14
第 2章  大模型與數(shù)據(jù)體系 15
2.1  業(yè)務(wù)對(duì)數(shù)據(jù)體系的需求 15
2.2  經(jīng)典數(shù)據(jù)中臺(tái)解決方案 19
2.2.1  技術(shù)平臺(tái) 19
2.2.2  數(shù)據(jù)建模 21
2.2.3  數(shù)據(jù)治理 26
2.3  大模型帶來的新機(jī)會(huì) 27
2.3.1  大模型的優(yōu)勢與不足 27
2.3.2  大模型與經(jīng)典數(shù)據(jù)中臺(tái) 30
2.3.3  大模型的新思路 32
2.4  全新的大模型解決方案 35
2.4.1  建設(shè)目標(biāo) 35
2.4.2  關(guān)鍵技術(shù) 36
2.4.3  方案架構(gòu) 37
2.5  小結(jié) 38
第 2部分  大模型下的關(guān)鍵基礎(chǔ)設(shè)施
第3章  大模型下的新基建 40
3.1  湖倉一體引擎 40
3.1.1  數(shù)據(jù)技術(shù)的發(fā)展 41
3.1.2  湖倉一體架構(gòu) 47
3.2  DeltaLH湖倉的關(guān)鍵技術(shù) 51
3.2.1  存儲(chǔ)計(jì)算分離 51
3.2.2  數(shù)據(jù)冷熱分層 53
3.2.3  湖倉一體化 55
3.3  實(shí)時(shí)數(shù)據(jù)寫入 57
3.3.1  實(shí)時(shí)數(shù)據(jù)鏈路 58
3.3.2  全鏈路監(jiān)控 62
3.3.3  數(shù)據(jù)預(yù)構(gòu)建 64
3.4  高效數(shù)據(jù)分析 67
3.4.1  查詢引擎優(yōu)化 67
3.4.2  物化透明加速 72
3.5  小結(jié) 74
第3部分  大模型下的數(shù)據(jù)資產(chǎn)
第4章  數(shù)據(jù)資產(chǎn)重塑 76
4.1  數(shù)據(jù)資產(chǎn)方案的現(xiàn)狀 76
4.2  面臨的核心挑戰(zhàn) 80
4.2.1  缺失非結(jié)構(gòu)化標(biāo)準(zhǔn) 80
4.2.2  建設(shè)和治理成本高 81
4.2.3  運(yùn)營目標(biāo)不一致 82
4.3  重塑數(shù)據(jù)資產(chǎn)的思路 83
4.4  小結(jié) 85
第5章  數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn) 86
5.1  需求資產(chǎn)標(biāo)準(zhǔn) 86
5.1.1  結(jié)構(gòu)化需求 87
5.1.2  行業(yè)知識(shí)資產(chǎn) 87
5.1.3  AI可理解需求 89
5.2  特征資產(chǎn)標(biāo)準(zhǔn) 90
5.2.1  個(gè)人特征資產(chǎn) 90
5.2.2  公共特征資產(chǎn) 91
5.3  庫表資產(chǎn)標(biāo)準(zhǔn) 92
5.3.1  粒度參數(shù) 93
5.3.2  熱度參數(shù) 94
5.3.3  速度參數(shù) 95
5.4  小結(jié) 96
第6章  數(shù)據(jù)資產(chǎn)建設(shè) 97
6.1  AI助力資產(chǎn)初始化 98
6.1.1  特征資產(chǎn)初始化 99
6.1.2  庫表資產(chǎn)初始化 100
6.2  AI輔助需求資產(chǎn)建設(shè) 101
6.2.1  結(jié)構(gòu)化需求資產(chǎn)建設(shè) 101
6.2.2  行業(yè)知識(shí)資產(chǎn)建設(shè) 102
6.2.3  AI可理解的需求資產(chǎn)建設(shè) 106
6.3  AI輔助特征資產(chǎn)建設(shè) 109
6.3.1  個(gè)人特征資產(chǎn)建設(shè) 109
6.3.2  公共特征資產(chǎn)建設(shè) 112
6.4  AI輔助庫表資產(chǎn)建設(shè) 113
6.4.1  成本模型訓(xùn)練 114
6.4.2  物化視圖候選集生成 115
6.4.3  物化視圖推薦 115
6.5  小結(jié) 116
第7章  數(shù)據(jù)資產(chǎn)運(yùn)營 117
7.1  數(shù)據(jù)資產(chǎn)運(yùn)營的目標(biāo) 117
7.2  需求資產(chǎn)運(yùn)營 118
7.2.1  需求質(zhì)量評(píng)估模型 119
7.2.2  需求質(zhì)量達(dá)標(biāo)率 119
7.3  特征資產(chǎn)運(yùn)營 120
7.3.1  公共特征轉(zhuǎn)化率 121
7.3.2  特征資產(chǎn)復(fù)用率 122
7.4  庫表資產(chǎn)運(yùn)營 123
7.4.1  庫表資產(chǎn)成本優(yōu)化 123
7.4.2  庫表資產(chǎn)覆蓋率 125
7.5  小結(jié) 126
第4部分  自研領(lǐng)域大模型的技術(shù)原理
第8章  領(lǐng)域大模型的基礎(chǔ) 128
8.1  領(lǐng)域大模型的背景 128
8.1.1  通用大模型的局限性 128
8.1.2  領(lǐng)域大模型的優(yōu)勢 130
8.2  領(lǐng)域大模型方案 131
8.2.1  3種構(gòu)建方案 131
8.2.2  檢索增強(qiáng)生成 132
8.2.3  參數(shù)高效微調(diào) 137
8.2.4  模型選型 143
8.3  領(lǐng)域大模型架構(gòu) 144
8.4  小結(jié) 145
第9章  需求理解算法 146
9.1  從模糊需求到清晰需求 146
9.1.1  必要性 146
9.1.2  面臨的挑戰(zhàn) 148
9.2  常見的需求理解算法 148
9.2.1  傳統(tǒng)Query理解算法 148
9.2.2  創(chuàng)新需求理解算法 149
9.3  需求理解算法的設(shè)計(jì)原理 150
9.3.1  構(gòu)建業(yè)務(wù)知識(shí)庫 151
9.3.2  構(gòu)建需求理解鏈路 153
9.4  小結(jié) 155
第 10章  需求匹配算法 156
10.1  從需求到資產(chǎn) 156
10.1.1  必要性 156
10.1.2  面臨的挑戰(zhàn) 158
10.1.3  解決方案 159
10.2  召回算法 161
10.2.1  資產(chǎn)圖譜 161
10.2.2  文本召回 166
10.2.3  向量召回 171
10.2.4  意圖召回 173
10.2.5  召回粗排 178
10.3  精排算法 179
10.3.1  數(shù)據(jù)生成 179
10.3.2  模型微調(diào) 182
10.3.3  多LoRA部署 184
10.4  小結(jié) 188
第 11章  需求轉(zhuǎn)譯算法 189
11.1  從需求到查詢 189
11.1.1  必要性 189
11.1.2  面臨的問題 191
11.2  解決方案 191
11.2.1  傳統(tǒng)的Text2SQL技術(shù) 191
11.2.2  創(chuàng)新的需求轉(zhuǎn)譯算法 192
11.3  實(shí)戰(zhàn)原理 193
11.3.1  評(píng)測數(shù)據(jù)集 193
11.3.2  算法流程 195
11.4  小結(jié) 203
第5部分  大模型的工程化原理
第 12章  工程化的基礎(chǔ) 206
12.1  工程化的背景 206
12.1.1  工程化的定義 206
12.1.2  工程化的理念 207
12.2  工程化的核心 208
12.3  工程化的建設(shè)思路 210
12.3.1  業(yè)務(wù)流程 210
12.3.2  系統(tǒng)架構(gòu) 211
12.4  小結(jié) 213
第 13章  工程化的技術(shù)籌備 214
13.1  技術(shù)調(diào)研評(píng)估 214
13.2  大模型應(yīng)用框架 216
13.2.1  核心層 217
13.2.2  社區(qū)組件層 218
13.2.3  應(yīng)用層 220
13.2.4  技術(shù)生態(tài)層 221
13.3  提示詞工程 221
13.3.1  少樣本提示 222
13.3.2  鏈?zhǔn)剿伎继崾?223
13.3.3  自調(diào)整提示 224
13.4  開發(fā)環(huán)境的準(zhǔn)備過程 225
13.4.1  軟件安裝 225
13.4.2  依賴庫安裝 226
13.5  小結(jié) 227
第 14章  工程化的建設(shè)要點(diǎn) 228
14.1  明確構(gòu)建目標(biāo) 229
14.1.1  功能性需求 229
14.1.2  非功能性需求 230
14.1.3  流程定義 230
14.2  核心功能的實(shí)現(xiàn) 233
14.2.1  模塊化架構(gòu) 233
14.2.2  安全管控 236
14.2.3  工具模型 239
14.2.4  人機(jī)協(xié)同 246
14.2.5  應(yīng)用場景 257
14.3  運(yùn)營質(zhì)量的評(píng)估指標(biāo) 259
14.3.1  回歸評(píng)估指標(biāo) 259
14.3.2  資產(chǎn)運(yùn)營指標(biāo) 261
14.4  小結(jié) 262
第 15章  工程化的安全策略 263
15.1  安全體系建設(shè)要點(diǎn) 263
15.1.1  制度與流程 264
15.1.2  數(shù)據(jù)安全 264
15.1.3  運(yùn)行安全 266
15.2  安全體系實(shí)施方案 268
15.2.1  數(shù)據(jù)分類分級(jí)方案 268
15.2.2  資產(chǎn)匿名化與脫敏方案 269
15.2.3  訪問控制方案 270
15.2.4  監(jiān)控告警方案 271
15.3  小結(jié) 272
第6部分  大模型在游戲領(lǐng)域的應(yīng)用
第 16章  游戲領(lǐng)域的應(yīng)用案例 274
16.1  游戲經(jīng)營分析的背景 274
16.2  智能助手系統(tǒng)架構(gòu) 275
16.3  代碼生成應(yīng)用 277
16.4  探索分析應(yīng)用 288
16.5  小結(jié) 291