矩陣之美：算法篇

目錄
前言
第1章 *小二乘法 1
1.1 問(wèn)題背景 1
1.2 線性方程組的兩個(gè)圖像 2
1.2.1 線性方程組的行空間圖像 3
1.2.2 線性方程組的列空間圖像 5
1.3 線性方程組的*小二乘解 6
1.3.1 *小二乘法的行空間方法 6
1.3.2 *小二乘法的列空間方法 7
1.3.3 直線擬合 8
1.4 *小二乘法的幾何解釋 10
1.5 *小二乘法的概率解釋 12
1.6 *小二乘法在應(yīng)用中的問(wèn)題 15
1.6.1 變量問(wèn)題 15
1.6.2 約束問(wèn)題 19
1.6.3 病態(tài)問(wèn)題 21
1.6.4 異常問(wèn)題 22
1.6.5 目標(biāo)函數(shù)問(wèn)題 24
1.7 小結(jié) 25
第2章 主成分分析 27
2.1 問(wèn)題背景 27
2.2 基本統(tǒng)計(jì)概念 29
2.2.1 隨機(jī)變量的數(shù)字特征 29
2.2.2 樣本統(tǒng)計(jì)量 31
2.2.3 樣本統(tǒng)計(jì)量的向量表示 33
2.3 主成分分析的基本原理 36
2.3.1 任意方向的方差 36
2.3.2 模型與求解 37
2.4 主成分分析的幾何解釋 41
2.5 主成分分析的子空間逼近解釋 47
2.6 主成分分析的概率解釋 50
2.7 主成分分析的信息論解釋 51
2.8 主成分分析在應(yīng)用中的問(wèn)題 52
2.8.1 非高斯問(wèn)題 52
2.8.2 量綱問(wèn)題 53
2.8.3 維數(shù)問(wèn)題 54
2.8.4 噪聲問(wèn)題 55
2.9 小結(jié) 55
第3章 主偏度分析 56
3.1 問(wèn)題背景 56
3.2 基本概念 57
3.2.1 偏度的定義 57
3.2.2 數(shù)據(jù)白化 58
3.2.3 張量基本運(yùn)算 59
3.2.4 統(tǒng)計(jì)量映射圖 61
3.3 主偏度分析 63
3.3.1 任意方向的偏度 63
3.3.2 協(xié)偏度張量的計(jì)算 65
3.3.3 模型與求解 67
3.4 非正交約束主偏度分析 71
3.4.1 克羅內(nèi)克積 71
3.4.2 非正交約束 72
3.5 主偏度分析與*立成分分析 78
3.5.1 快速*立成分分析 79
3.5.2 FastICA 與主偏度分析 80
3.6 主偏度分析的幾何解釋 82
3.6.1 單形體的偏度映射圖 82
3.6.2 幾何解釋 85
3.7 主偏度分析在應(yīng)用中的問(wèn)題 87
3.7.1 收斂問(wèn)題 87
3.7.2 噪聲問(wèn)題 88
3.7.3 精確解問(wèn)題 89
3.8 小結(jié) 90
第4章 典型相關(guān)分析 91
4.1 問(wèn)題背景 91
4.2 互相關(guān)分析 92
4.2.1 模型與求解 93
4.2.2 存在的問(wèn)題 97
4.3 典型相關(guān)分析 99
4.4 典型相關(guān)分析與互相關(guān)分析 105
4.5 典型相關(guān)分析的幾何解釋 107
4.5.1 冪法 108
4.5.2 幾何解釋 109
4.6 典型相關(guān)分析的變形 111
4.6.1 多視圖典型相關(guān)分析 111
4.6.2 二維典型相關(guān)分析 114
4.7 典型相關(guān)分析在應(yīng)用中的問(wèn)題 117
4.7.1 病態(tài)問(wèn)題 117
4.7.2 失配問(wèn)題 117
4.7.3 目標(biāo)函數(shù)和優(yōu)化模型問(wèn)題 118
4.8 小結(jié) 119
第5章 非負(fù)矩陣分解 120
5.1 問(wèn)題背景 120
5.2 非負(fù)矩陣分解的基本原理 121
5.2.1 問(wèn)題描述 121
5.2.2 問(wèn)題求解 122
5.3 非負(fù)矩陣分解的概率解釋 125
5.3.1 高斯分布情形 125
5.3.2 泊松分布情形 126
5.4 非負(fù)矩陣分解的物理解釋 128
5.5 非負(fù)矩陣分解與奇異值分解 129
5.6 非負(fù)矩陣分解與K-means 132
5.7 非負(fù)矩陣分解與KKT條件 133
5.8 非負(fù)矩陣分解在應(yīng)用中的問(wèn)題 134
5.8.1 目標(biāo)函數(shù)的凸凹性 134
5.8.2 局部極值問(wèn)題 136
5.8.3 分母零值問(wèn)題 137
5.8.4 觀測(cè)數(shù)據(jù)負(fù)值問(wèn)題 138
5.9 小結(jié) 139
第6章 局部線性嵌入 140
6.1 問(wèn)題背景 140
6.2 基本概念 141
6.3 局部線性嵌入 146
6.4 拉普拉斯映射 151
6.5 隨機(jī)鄰域嵌入 153
6.6 多維尺度變換 155
6.7 等距特征映射 157
6.8 局部線性嵌入在應(yīng)用中的問(wèn)題 160
6.8.1 病態(tài)問(wèn)題 161
6.8.2 改進(jìn)局部線性嵌入 162
6.8.3 黑塞局部線性嵌入 163
6.9 小結(jié) 165
第7章 傅里葉變換 167
7.1 問(wèn)題背景 167
7.2 傅里葉級(jí)數(shù) 168
7.3 連續(xù)傅里葉變換 171
7.3.1 從傅里葉級(jí)數(shù)到傅里葉變換 171
7.3.2 傅里葉變換的性質(zhì) 178
7.4 離散傅里葉變換 182
7.5 快速傅里葉變換 187
7.6 離散傅里葉變換與循環(huán)移位矩陣 191
7.6.1 循環(huán)移位矩陣特征分解及頻域解釋 191
7.6.2 循環(huán)移位矩陣的時(shí)域解釋 195
7.7 離散傅里葉變換與完美差分矩陣 201
7.8 離散傅里葉變換與離散余弦變換 206
7.9 傅里葉變換的物理解釋 211
7.10 傅里葉變換在應(yīng)用中的問(wèn)題 212
7.10.1 頻譜分辨率問(wèn)題 212
7.10.2 頻譜泄漏問(wèn)題 214
7.10.3 時(shí)變信號(hào)問(wèn)題 215
7.10.4 分?jǐn)?shù)傅里葉變換 218
7.11 小結(jié) 219
第8章 連通中心演化 221
8.1 問(wèn)題背景 221
8.2 基于K-means的中心確定算法 222
8.3 圖論的基本概念 223
8.3.1 圖的基本術(shù)語(yǔ) 223
8.3.2 圖的存儲(chǔ)結(jié)構(gòu) 226
8.4 連通中心演化 227
8.4.1 動(dòng)機(jī)與理論依據(jù) 227
8.4.2 相關(guān)概念 232
8.4.3 算法具體步驟 234
8.5 基于特征分解的快速連通中心演化算法 238
8.5.1 算法的計(jì)算復(fù)雜度 238
8.5.2 時(shí)間復(fù)雜度的降低 238
8.5.3 空間復(fù)雜度的降低 244
8.6 連通中心演化在應(yīng)用中的問(wèn)題 245
8.6.1 相似度矩陣構(gòu)建問(wèn)題 245
8.6.2 中心數(shù)跳變問(wèn)題 246
8.6.3 樣本量失衡問(wèn)題 247
8.6.4 相似度矩陣的負(fù)值問(wèn)題 249
8.6.5 中心位置局限問(wèn)題 251
8.7 小結(jié) 253
第9章 瑞利商 254
9.1 問(wèn)題背景 254
9.2 瑞利商的定義與性質(zhì) 255
9.3 瑞利商的取值范圍 257
9.3.1 特征分析法 257
9.3.2 線性規(guī)劃法 257
9.3.3 廣義瑞利商的取值范圍 259
9.4 瑞利商的應(yīng)用 260
9.4.1 主成分分析 260
9.4.2 *小化噪聲分量變換 260
9.4.3 典型相關(guān)分析 261
9.4.4 線性判別分析 261
9.4.5 局部線性嵌入 262
9.4.6 法*率 263
9.4.7 自然頻率估計(jì) 264
9.4.8 譜聚類 265
9.4.9 約束能量*小化 266
9.4.10 正交子空間投影 267
9.5 小結(jié) 268
參考文獻(xiàn) 269
附錄A 向量范數(shù)與矩陣范數(shù) 273
A.1 向量范數(shù) 273
A.2 矩陣范數(shù) 277
附錄 B 矩陣微積分 278
B.1 實(shí)值標(biāo)量函數(shù)相對(duì)于實(shí)向量的梯度 278
B.2 實(shí)值向量函數(shù)相對(duì)于實(shí)向量的梯度 280
B.3 實(shí)值函數(shù)相對(duì)于實(shí)矩陣的梯度 282
B.4 矩陣微分 284
B.5 跡函數(shù)的梯度矩陣 286
B.6 行列式的梯度矩陣 287
B.7 黑塞矩陣 289