Python數(shù)據(jù)分析從入門到精通

第1篇 基礎(chǔ)篇
第1章 了解數(shù)據(jù)分析 2
1.1 什么是數(shù)據(jù)分析 2
1.2 數(shù)據(jù)分析的重要性 2
1.3 數(shù)據(jù)分析的基本流程 4
1.3.1 熟悉工具 4
1.3.2 明確目的 5
1.3.3 獲取數(shù)據(jù) 5
1.3.4 數(shù)據(jù)處理 5
1.3.5 數(shù)據(jù)分析 6
1.3.6 驗(yàn)證結(jié)果 6
1.3.7 結(jié)果呈現(xiàn) 6
1.3.8 數(shù)據(jù)應(yīng)用 7
1.4 數(shù)據(jù)分析常用工具 7
1.4.1 Excel工具 7
1.4.2 Python語言 7
1.5 小結(jié) 8
第2章 搭建Python數(shù)據(jù)分析環(huán)境 9
2.1 Python概述 9
2.1.1 Python簡介 9
2.1.2 Python的版本 10
2.2 搭建Python開發(fā)環(huán)境 10
2.2.1 什么是IDLE 10
2.2.2 安裝Python 10
2.2.3 使用IDLE編寫“Hello World” 14
2.2.4 配置環(huán)境變量—解決“'python'不是內(nèi)部或外部命令” 16
2.3 集成開發(fā)環(huán)境PyCharm 18
2.3.1 下載PyCharm 18
2.3.2 安裝PyCharm 20
2.3.3 運(yùn)行PyCharm 21
2.3.4 創(chuàng)建工程目錄 22
2.3.5 個(gè)Python程序“Hello World” 24
2.4 數(shù)據(jù)分析標(biāo)準(zhǔn)環(huán)境Anaconda 26
2.4.1 為什么安裝Anaconda 27
2.4.2 下載Anaconda 27
2.4.3 安裝Anaconda 29
2.5 Jupyter Notebook開發(fā)工具 31
2.5.1 認(rèn)識(shí)Jupyter Notebook 31
2.5.2 新建一個(gè)Jupyter Notebook文件 32
2.5.3 在Jupyter Notebook中編寫“Hello World” 32
2.6 Spyder開發(fā)工具 34
2.6.1 初識(shí)Spyder 34
2.6.2 創(chuàng)建項(xiàng)目 35
2.6.3 新建/重命名.py文件 36
2.6.4 創(chuàng)建個(gè)程序—月銷量分析 37
2.6.5 設(shè)置圖表顯示方式 37
2.6.6 在Spyder中安裝和卸載第三方庫 38
2.7 開發(fā)工具比較與代碼共用 39
2.7.1 開發(fā)工具比較 39
2.7.2 代碼共用 40
2.8 小結(jié) 44
第2篇 實(shí)踐篇
第3章 Pandas統(tǒng)計(jì)分析（上） 46
3.1 初識(shí)Pandas 46
3.1.1 Pandas概述 46
3.1.2 安裝Pandas 47
3.1.3 小試牛刀—輕松導(dǎo)入Excel數(shù)據(jù) 49
3.2 Series對(duì)象 50
3.2.1 圖解Series對(duì)象 50
3.2.2 創(chuàng)建一個(gè)Series對(duì)象 51
3.2.3 手動(dòng)設(shè)置Series索引 52
3.2.4 Series的索引 52
3.2.5 獲取Series索引和值 54
3.3 DataFrame對(duì)象 54
3.3.1 圖解DataFrame對(duì)象 54
3.3.2 創(chuàng)建一個(gè)DataFrame對(duì)象 55
3.3.3 DataFrame重要屬性和函數(shù) 57
3.4 導(dǎo)入外部數(shù)據(jù) 58
3.4.1 導(dǎo)入.xls或.xlsx文件 58
3.4.2 導(dǎo)入.csv文件 63
3.4.3 導(dǎo)入.txt文本文件 64
3.4.4 導(dǎo)入HTML網(wǎng)頁 65
3.5 數(shù)據(jù)抽取 67
3.5.1 抽取一行數(shù)據(jù) 67
3.5.2 抽取多行數(shù)據(jù) 68
3.5.3 抽取指定列數(shù)據(jù) 69
3.5.4 抽取指定行、列數(shù)據(jù) 70
3.5.5 按指定條件抽取數(shù)據(jù) 71
3.6 數(shù)據(jù)的增加、修改和刪除 72
3.6.1 增加數(shù)據(jù) 72
3.6.2 修改數(shù)據(jù) 75
3.6.3 刪除數(shù)據(jù) 77
3.7 數(shù)據(jù)清洗 78
3.7.1 缺失值查看與處理 78
3.7.2 重復(fù)值處理 81
3.7.3 異常值的檢測與處理 82
3.8 索引設(shè)置 83
3.8.1 索引的作用 83
3.8.2 重新設(shè)置索引 83
3.8.3 設(shè)置某列為行索引 85
3.8.4 數(shù)據(jù)清洗后重新設(shè)置連續(xù)的行索引 86
3.9 數(shù)據(jù)排序與排名 87
3.9.1 數(shù)據(jù)排序 87
3.9.2 數(shù)據(jù)排名 90
3.10 小結(jié) 92
第4章 Pandas統(tǒng)計(jì)分析（下） 93
4.1 數(shù)據(jù)計(jì)算 93
4.1.1 求和（sum()函數(shù)） 93
4.1.2 求均值（mean()函數(shù)） 94
4.1.3 求值（max()函數(shù)） 95
4.1.4 求小值（min()函數(shù)） 96
4.1.5 求中位數(shù)（median()函數(shù)） 97
4.1.6 求眾數(shù)（mode()函數(shù)） 98
4.1.7 求方差（var()函數(shù)） 99
4.1.8 標(biāo)準(zhǔn)差（數(shù)據(jù)標(biāo)準(zhǔn)化std()函數(shù)） 101
4.1.9 求分位數(shù)（quantile()函數(shù)） 101
4.2 數(shù)據(jù)格式化 103
4.2.1 設(shè)置小數(shù)位數(shù) 103
4.2.2 設(shè)置百分比 104
4.2.3 設(shè)置千位分隔符 105
4.3 數(shù)據(jù)分組統(tǒng)計(jì) 106
4.3.1 分組統(tǒng)計(jì)groupby()函數(shù) 106
4.3.2 對(duì)分組數(shù)據(jù)進(jìn)行迭代 108
4.3.3 對(duì)分組的某列或多列使用聚合函數(shù)（agg()函數(shù)） 109
4.3.4 通過字典和Series對(duì)象進(jìn)行分組統(tǒng)計(jì) 111
4.4 數(shù)據(jù)移位 112
4.5 數(shù)據(jù)轉(zhuǎn)換 113
4.5.1 一列數(shù)據(jù)轉(zhuǎn)換為多列數(shù)據(jù) 113
4.5.2 行列轉(zhuǎn)換 116
4.5.3 DataFrame轉(zhuǎn)換為字典 118
4.5.4 DataFrame轉(zhuǎn)換為列表 119
4.5.5 DataFrame轉(zhuǎn)換為元組 119
4.5.6 Excel轉(zhuǎn)換為HTML網(wǎng)頁格式 120
4.6 數(shù)據(jù)合并 120
4.6.1 數(shù)據(jù)合并（merge()方法） 120
4.6.2 數(shù)據(jù)合并（concat()方法） 124
4.7 數(shù)據(jù)導(dǎo)出 126
4.7.1 導(dǎo)出為.xlsx文件 126
4.7.2 導(dǎo)出為.csv文件 128
4.7.3 導(dǎo)出多個(gè)Sheet 129
4.8 日期數(shù)據(jù)處理 129
4.8.1 DataFrame的日期數(shù)據(jù)轉(zhuǎn)換 129
4.8.2 dt對(duì)象的使用 131
4.8.3 獲取日期區(qū)間的數(shù)據(jù) 132
4.8.4 按不同時(shí)期統(tǒng)計(jì)并顯示數(shù)據(jù) 133
4.9 時(shí)間序列 135
4.9.1 重采樣（Resample()方法） 135
4.9.2 降采樣處理 137
4.9.3 升采樣處理 138
4.9.4 時(shí)間序列數(shù)據(jù)匯總（ohlc()函數(shù)） 139
4.9.5 移動(dòng)窗口數(shù)據(jù)計(jì)算（rolling()函數(shù)） 140
4.10 綜合應(yīng)用 142
4.10.1 案例1：Excel多表合并 142
4.10.2 案例2：股票行情數(shù)據(jù)分析 143
4.11 小結(jié) 144
第5章 Matplotlib可視化數(shù)據(jù)分析圖表 145
5.1 數(shù)據(jù)分析圖表的作用 145
5.2 如何選擇適合的圖表類型 146
5.3 圖表的基本組成 147
5.4 Matplotlib概述 148
5.4.1 Matplotlib簡介 148
5.4.2 安裝Matplotlib 150
5.4.3 Matplotlib圖表之初體驗(yàn) 151
5.5 圖表的常用設(shè)置 152
5.5.1 基本繪圖plot()函數(shù) 152
5.5.2 設(shè)置畫布 155
5.5.3 設(shè)置坐標(biāo)軸 156
5.5.4 添加文本標(biāo)簽 159
5.5.5 設(shè)置標(biāo)題和圖例 160
5.5.6 添加注釋 161
5.5.7 調(diào)整圖表與畫布邊緣間距 163
5.5.8 其他設(shè)置 164
5.6 常用圖表的繪制 164
5.6.1 繪制折線圖 164
5.6.2 繪制柱形圖 166
5.6.3 繪制直方圖 169
5.6.4 繪制餅形圖 170
5.6.5 繪制散點(diǎn)圖 174
5.6.6 繪制面積圖 176
5.6.7 繪制熱力圖 178
5.6.8 繪制箱形圖 180
5.6.9 繪制3D圖表 183
5.6.10 繪制多個(gè)子圖表 184
5.6.11 圖表的保存 189
5.7 綜合應(yīng)用 189
5.7.1 案例1：雙y軸可視化數(shù)據(jù)分析圖表的實(shí)現(xiàn) 189
5.7.2 案例2：顏色漸變餅形圖的實(shí)現(xiàn) 190
5.7.3 案例3：等高線圖的實(shí)現(xiàn) 192
5.8 小結(jié) 193
第6章 Seaborn可視化數(shù)據(jù)分析圖表 194
6.1 Seaborn圖表概述 194
6.2 Seaborn圖表之初體驗(yàn) 195
6.3 Seaborn圖表的基本設(shè)置 196
6.3.1 背景風(fēng)格 196
6.3.2 邊框控制 197
6.4 常用圖表的繪制 197
6.4.1 繪制折線圖（relplot()函數(shù)） 197
6.4.2 繪制直方圖（displot()函數(shù)） 199
6.4.3 繪制條形圖（barplot()函數(shù)） 200
6.4.4 繪制散點(diǎn)圖（replot()函數(shù)） 200
6.4.5 繪制線性回歸模型（lmplot()函數(shù)） 202
6.4.6 繪制箱形圖（boxplot()函數(shù)） 202
6.4.7 繪制核密度圖（kdeplot()函數(shù)） 203
6.4.8 繪制提琴圖（violinplot()函數(shù)） 204
6.5 綜合應(yīng)用 205
6.5.1 案例1：堆疊柱形圖可視化數(shù)據(jù)分析圖表的實(shí)現(xiàn) 205
6.5.2 案例2：統(tǒng)計(jì)雙色球中獎(jiǎng)號(hào)碼熱力圖 206
6.6 小結(jié) 208
第7章 第三方可視化數(shù)據(jù)分析圖表Pyecharts 209
7.1 Pyecharts概述 209
7.1.1 Pyecharts簡介 209
7.1.2 安裝Pyecharts 210
7.1.3 繪制張圖表 211
7.2 Pyecharts圖表的組成 212
7.2.1 主題風(fēng)格 212
7.2.2 圖表標(biāo)題 214
7.2.3 圖例 216
7.2.4 提示框 218
7.2.5 視覺映射 220
7.2.6 工具箱 222
7.2.7 區(qū)域縮放 224
7.3 Pyecharts圖表的繪制 226
7.3.1 柱狀圖—Bar模塊 226
7.3.2 折線/面積圖—Line模塊 227
7.3.3 餅形圖—Pie模塊 229
7.3.4 箱形圖—Boxplot模塊 231
7.3.5 漣漪特效散點(diǎn)圖—EffectScatter模塊 232
7.3.6 詞云圖—WordCloud模塊 233
7.3.7 熱力圖—HeatMap模塊 235
7.3.8 水球圖—Liquid模塊 237
7.3.9 日歷圖—Calendar模塊 237
7.4 綜合應(yīng)用 238
7.4.1 案例1：南丁格爾玫瑰圖 238
7.4.2 案例2：雙y軸可視化數(shù)據(jù)分析圖表的實(shí)現(xiàn)（柱形圖 折線圖） 240
7.4.3 案例3：餅形圖與環(huán)形圖組合圖表的實(shí)現(xiàn) 242
7.5 小結(jié) 244
第8章 圖解數(shù)組計(jì)算模塊NumPy 245
8.1 初識(shí)NumPy 245
8.1.1 NumPy概述 245
8.1.2 安裝NumPy模塊 246
8.1.3 數(shù)組相關(guān)概念 247
8.2 創(chuàng)建數(shù)組 248
8.2.1 創(chuàng)建簡單的數(shù)組 248
8.2.2 不同方式創(chuàng)建數(shù)組 250
8.2.3 從數(shù)值范圍創(chuàng)建數(shù)組 251
8.2.4 生成隨機(jī)數(shù)組 254
8.2.5 從已有的數(shù)組中創(chuàng)建數(shù)組 257
8.3 數(shù)組的基本操作 260
8.3.1 數(shù)據(jù)類型 260
8.3.2 數(shù)組運(yùn)算 262
8.3.3 數(shù)組的索引和切片 265
8.3.4 數(shù)組重塑 269
8.3.5 數(shù)組的增、刪、改、查 271
8.4 NumPy矩陣的基本操作 274
8.4.1 創(chuàng)建矩陣 274
8.4.2 矩陣運(yùn)算 277
8.4.3 矩陣轉(zhuǎn)換 279
8.5 NumPy常用統(tǒng)計(jì)分析函數(shù) 280
8.5.1 數(shù)學(xué)運(yùn)算函數(shù) 280
8.5.2 統(tǒng)計(jì)分析函數(shù) 285
8.5.3 數(shù)組的排序 288
8.6 綜合應(yīng)用 290
8.6.1 案例1：NumPy實(shí)現(xiàn)正態(tài)分布 290
8.6.2 案例2：NumPy用于圖像灰度處理 291
8.7 小結(jié) 292
第9章 數(shù)據(jù)統(tǒng)計(jì)分析案例 293
9.1 對(duì)比分析 293
9.1.1 什么是對(duì)比分析 293
9.1.2 案例：對(duì)比分析各品牌銷量表現(xiàn)TOP10 293
9.2 同比、定比和環(huán)比分析 294
9.2.1 同比、定比和環(huán)比概述 295
9.2.2 案例1：電商單品銷量同比增長情況分析 295
9.2.3 案例2：單品銷量定比分析 297
9.2.4 案例3：單品銷量環(huán)比增長情況分析 298
9.3 貢獻(xiàn)度分析（帕累托法則） 300
9.3.1 什么是貢獻(xiàn)度分析 300
9.3.2 案例：產(chǎn)品貢獻(xiàn)度分析 300
9.4 差異化分析 302
9.4.1 差異化概述 302
9.4.2 案例：學(xué)生成績性別差異分析 302
9.5 相關(guān)性分析 303
9.5.1 相關(guān)性概述 303
9.5.2 案例：廣告展現(xiàn)量與費(fèi)用成本相關(guān)性分析 303
9.6 時(shí)間序列分析 306
9.6.1 時(shí)間序列概述 306
9.6.2 案例：年增長趨勢和季節(jié)性波動(dòng)分析 306
9.7 小結(jié) 307
第3篇 高級(jí)篇
第10章 機(jī)器學(xué)習(xí)庫Scikit-Learn 310
10.1 Scikit-Learn簡介 310
10.2 安裝Scikit-Learn 310
10.3 線性模型 312
10.3.1 小二乘法回歸 312
10.3.2 嶺回歸 313
10.4 支持向量機(jī) 314
10.5 聚類 316
10.5.1 什么是聚類 316
10.5.2 聚類算法 317
10.5.3 聚類模塊 318
10.5.4 聚類數(shù)據(jù)生成器 319
10.6 小結(jié) 320
第4篇 項(xiàng)目篇
第11章 注冊(cè)用戶分析（MySQL版） 322
11.1 概述 322
11.2 項(xiàng)目效果預(yù)覽 322
11.3 項(xiàng)目準(zhǔn)備 323
11.4 導(dǎo)入MySQL數(shù)據(jù) 323
11.4.1 Python操縱MySQL 323
11.4.2 Python連接MySQL數(shù)據(jù)庫 324
11.5 項(xiàng)目實(shí)現(xiàn)過程 325
11.5.1 數(shù)據(jù)準(zhǔn)備 325
11.5.2 數(shù)據(jù)檢測 325
11.5.3 年度注冊(cè)用戶分析 326
11.5.4 新注冊(cè)用戶分析 328
11.6 小結(jié) 329
第12章 電商銷售數(shù)據(jù)分析與預(yù)測 330
12.1 概述 330
12.2 項(xiàng)目效果預(yù)覽 330
12.3 項(xiàng)目準(zhǔn)備 331
12.4 分析方法 331
12.5 項(xiàng)目實(shí)現(xiàn)過程 332
12.5.1 數(shù)據(jù)處理 332
12.5.2 日期數(shù)據(jù)統(tǒng)計(jì)并顯示 332
12.5.3 銷售收入分析 333
12.5.4 銷售收入與廣告費(fèi)相關(guān)性分析 334
12.5.5 銷售收入預(yù)測 337
12.5.6 預(yù)測評(píng)分 338
12.6 小結(jié) 339
第13章 二手房房價(jià)分析與預(yù)測 340
13.1 概述 340
13.2 項(xiàng)目效果預(yù)覽 340
13.3 項(xiàng)目準(zhǔn)備 342
13.4 圖表工具模塊 342
13.4.1 繪制餅形圖 342
13.4.2 繪制折線圖 343
13.4.3 繪制條形圖 344
13.5 項(xiàng)目實(shí)現(xiàn)過程 345
13.5.1 數(shù)據(jù)清洗 345
13.5.2 區(qū)域二手房均價(jià)分析 346
13.5.3 區(qū)域二手房數(shù)據(jù)及占比分析 347
13.5.4 全市二手房裝修程度分析 348
13.5.5 熱門戶型均價(jià)分析 350
13.5.6 二手房房價(jià)預(yù)測 350
13.6 小結(jié) 354
第14章 客戶價(jià)值分析 355
14.1 概述 355
14.2 項(xiàng)目效果預(yù)覽 355
14.3 項(xiàng)目準(zhǔn)備 356
14.4 分析方法 357
14.4.1 RFM模型 357
14.4.2 聚類 358
14.5 項(xiàng)目實(shí)現(xiàn)過程 358
14.5.1 準(zhǔn)備工作 358
14.5.2 數(shù)據(jù)抽取 358
14.5.3 數(shù)據(jù)探索分析 358
14.5.4 計(jì)算RFM值 359
14.5.5 數(shù)據(jù)轉(zhuǎn)換 360
14.5.6 客戶聚類 360
14.5.7 標(biāo)記客戶類別 362
14.6 客戶價(jià)值結(jié)果分析 363
14.7 小結(jié) 364