數(shù)字語(yǔ)音處理理論與應(yīng)用

目 錄 第1章 數(shù)字語(yǔ)音處理介紹 1 1.1 語(yǔ)音信號(hào) 2 1.2 語(yǔ)音堆 5 1.3 數(shù)字語(yǔ)音處理的應(yīng)用 6 1.3.1 語(yǔ)音編碼 6 1.3.2 文語(yǔ)轉(zhuǎn)換合成 7 1.3.3 語(yǔ)音識(shí)別和其他模式匹配問(wèn)題 7 1.3.4 其他語(yǔ)音應(yīng)用 8 1.4 參考文獻(xiàn)評(píng)論 9 1.5 小結(jié) 10 第2章 數(shù)字信號(hào)處理基礎(chǔ)回顧 11 2.1 引言 11 2.2 離散時(shí)間信號(hào)與系統(tǒng) 11 2.3 信號(hào)與系統(tǒng)的變換表示 13 2.3.1 連續(xù)時(shí)間傅里葉變換 14 2.3.2 z變換 14 2.3.3 離散時(shí)間傅里葉變換 16 2.3.4 離散傅里葉變換 17 2.3.5 DTFT的采樣 18 2.3.6 DFT的性質(zhì) 19 2.4 數(shù)字濾波器基礎(chǔ) 20 2.4.1 FIR系統(tǒng) 20 2.4.2 FIR濾波器設(shè)計(jì)方法 21 2.4.3 FIR濾波器實(shí)現(xiàn) 23 2.4.4 IIR系統(tǒng) 23 2.4.5 IIR濾波器設(shè)計(jì)方法 23 2.4.6 IIR系統(tǒng)的實(shí)現(xiàn) 24 2.4.7 關(guān)于FIR和IIR濾波器設(shè)計(jì) 方法的說(shuō)明 27 2.5 采樣 27 2.5.1 采樣原理 27 2.5.2 語(yǔ)音和音頻波形的采樣率 28 2.5.3 改變采樣信號(hào)的采樣率 29 2.5.4 抽取 29 2.5.5 插值 32 2.5.6 非整數(shù)采樣率變化 33 2.5.7 FIR濾波器的優(yōu)點(diǎn) 34 2.6 小結(jié) 34 習(xí)題 34 第3章 人類(lèi)語(yǔ)音產(chǎn)生基礎(chǔ) 42 3.1 引言 42 3.2 語(yǔ)音產(chǎn)生過(guò)程 42 3.2.1 語(yǔ)音產(chǎn)生機(jī)理 42 3.2.2 語(yǔ)音特征與語(yǔ)音波形 46 3.2.3 語(yǔ)音生成的聲學(xué)理論 49 3.3 語(yǔ)音的短時(shí)傅里葉表示 50 3.4 聲音語(yǔ)音學(xué) 53 3.4.1 元音 55 3.4.2 雙元音 60 3.4.3 聲音的辨音特質(zhì) 60 3.4.4 半元音 61 3.4.5 鼻音 62 3.4.6 清擦聲 64 3.4.7 濁擦音 65 3.4.8 濁塞音 67 3.4.9 清塞音 67 3.4.10 破擦聲和耳語(yǔ)音 69 3.5 美式英語(yǔ)音素的辨音特質(zhì) 70 3.6 小結(jié) 70 習(xí)題 71 第4章 聽(tīng)覺(jué)、聽(tīng)感知模型和語(yǔ)音感知 80 4.1 引言 80 4.2 語(yǔ)言鏈 80 4.3 解剖學(xué)和耳的功能 82 4.3.1 基底膜機(jī)理 84 4.3.2 臨界頻帶 85 4.4 聲音的感知 85 4.4.1 聲音的強(qiáng)度 87 4.4.2 人的聽(tīng)覺(jué)范圍 87 4.4.3 響度級(jí) 90 4.4.4 響度 91 4.4.5 音高 91 4.4.6 掩蔽效應(yīng)——音調(diào) 92 4.4.7 掩蔽效應(yīng)——噪聲 93 4.4.8 時(shí)域掩蔽效應(yīng) 94 4.4.9 語(yǔ)音編碼中的掩蔽效應(yīng) 95 4.4.10 參數(shù)鑒別——JND 95 4.5 聽(tīng)感知模型 96 4.5.1 感知線(xiàn)性預(yù)測(cè) 96 4.5.2 Seneff聽(tīng)感知模型 97 4.5.3 Lyon聽(tīng)感知模型 99 4.5.4 整體區(qū)間直方圖方法 100 4.5.5 聽(tīng)感知模型小結(jié) 101 4.6 人類(lèi)語(yǔ)音感知實(shí)驗(yàn) 101 4.6.1 噪聲中的聲音感知 102 4.6.2 噪聲中的語(yǔ)音感知 103 4.7 語(yǔ)音質(zhì)量和可懂度測(cè)量 104 4.7.1 主觀(guān)測(cè)試 105 4.7.2 語(yǔ)音質(zhì)量的客觀(guān)測(cè)量 106 4.8 小結(jié) 107 習(xí)題 107 第5章 聲道中的聲音傳輸 109 5.1 語(yǔ)音產(chǎn)生的聲學(xué)原理 109 5.1.1 聲音傳播 109 5.1.2 例子：均勻無(wú)損聲管 110 5.1.3 聲道中損耗的影響 114 5.1.4 嘴唇的輻射影響 117 5.1.5 元音的聲道傳輸函數(shù) 120 5.1.6 鼻腔耦合的影響 123 5.1.7 聲道中聲音的激勵(lì) 123 5.1.8 基于聲學(xué)理論的模型 127 5.2 無(wú)損聲管模型 128 5.2.1 級(jí)聯(lián)無(wú)損聲管中的波形傳播 128 5.2.2 邊界條件 130 5.2.3 與數(shù)字濾波器的關(guān)系 134 5.2.4 無(wú)損聲管模型的傳輸函數(shù) 137 5.3 采樣語(yǔ)音信號(hào)的數(shù)字模型 141 5.3.1 聲道建模 141 5.3.2 輻射模型 143 5.3.3 激勵(lì)模型 144 5.3.4 完整模型 144 5.4 小結(jié) 146 習(xí)題 146 第6章 語(yǔ)音信號(hào)處理的時(shí)域方法 153 6.1 引言 153 6.2 語(yǔ)音的短時(shí)分析 154 6.2.1 短時(shí)分析的通用框架 156 6.2.2 短時(shí)分析中的濾波和采樣 156 6.3 短時(shí)能量和短時(shí)幅度 159 6.3.1 基于短時(shí)能量的自動(dòng)增益 控制 160 6.3.2 短時(shí)幅度 162 6.4 短時(shí)過(guò)零率 163 6.5 短時(shí)自相關(guān)函數(shù) 169 6.6 修正短時(shí)自相關(guān)函數(shù) 173 6.7 短時(shí)平均幅度差分函數(shù) 176 6.8 小結(jié) 177 習(xí)題 177 第7章 頻域表示 183 7.1 引言 183 7.2 離散時(shí)間傅里葉分析 184 7.3 短時(shí)傅里葉分析 186 7.3.1 DTFT解釋 187 7.3.2 DFT實(shí)現(xiàn) 188 7.3.3 加窗對(duì)分辨率的影響 188 7.3.4 關(guān)于短時(shí)自相關(guān)函數(shù) 193 7.3.5 線(xiàn)性濾波解釋 193 7.3.6 時(shí)域和頻域中 的 采樣率 197 7.4 頻譜顯示 199 7.5 合成的重疊相加法 206 7.5.1 精確重建的條件 206 7.5.2 合成窗的應(yīng)用 211 7.6 合成的濾波器組求和方法 212 7.7 時(shí)間抽取濾波器組 217 7.7.1 通用FBS抽取系統(tǒng) 218 7.7.2 最大抽取濾波器組 221 7.8 雙通道濾波器組 222 7.8.1 正交鏡像濾波器組 223 7.8.2 QMF濾波器組的多相結(jié)構(gòu) 225 7.8.3 共軛正交濾波器 225 7.8.4 樹(shù)形結(jié)構(gòu)濾波器組 226 7.9 使用FFT實(shí)現(xiàn)FBS方法 228 7.9.1 FFT分析技術(shù) 228 7.9.2 FFT合成技術(shù) 230 7.10 OLA再論 232 7.11 修正的STFT 233 7.11.1 乘性修正 233 7.11.2 加性修正 236 7.11.3 時(shí)間標(biāo)度修正：相位聲碼器 237 7.12 小結(jié) 242 習(xí)題 242 第8章 倒譜和同態(tài)語(yǔ)音處理 255 8.1 簡(jiǎn)介 255 8.2 卷積同態(tài)系統(tǒng) 256 8.2.1 DTFT表示 257 8.2.2 z變換表示 260 8.2.3 復(fù)倒譜的性質(zhì) 260 8.2.4 復(fù)倒譜分析實(shí)例 262 8.2.5 最小和最大相位信號(hào) 264 8.3 語(yǔ)音模型的同態(tài)分析 265 8.3.1 濁音模型的同態(tài)分析 266 8.3.2 清音模型的同態(tài)分析 271 8.4 計(jì)算語(yǔ)音的短時(shí)倒譜和復(fù)倒譜 273 8.4.1 基于離散傅里葉變換的計(jì)算 273 8.4.2 基于z變換的計(jì)算 276 8.4.3 最小相位和最大相位信號(hào)的 遞歸計(jì)算 278 8.5 自然語(yǔ)音的同態(tài)濾波 279 8.5.1 語(yǔ)音短時(shí)倒譜分析模型 280 8.5.2 使用多項(xiàng)式根的短時(shí) 分析實(shí)例 281 8.5.3 應(yīng)用DFT的濁音分析 282 8.5.4 最小相位分析 286 8.5.5 應(yīng)用DFT的清音分析 287 8.5.6 短時(shí)倒譜分析小結(jié) 289 8.6 全極點(diǎn)模型的倒譜分析 290 8.7 倒譜距離度量 291 8.7.1 線(xiàn)性濾波補(bǔ)償 292 8.7.2 加權(quán)倒譜距離度量 292 8.7.3 群時(shí)延頻譜 293 8.7.4 mel頻率倒譜系數(shù) 294 8.7.5 動(dòng)態(tài)倒譜特征 296 8.8 小結(jié) 296 習(xí)題 296 第9章 語(yǔ)音信號(hào)的線(xiàn)性預(yù)測(cè)分析 301 9.1 引言 301 9.2 線(xiàn)性預(yù)測(cè)分析的基本原理 302 9.2.1 線(xiàn)性預(yù)測(cè)分析方程的基本 公式 304 9.2.2 自相關(guān)法 305 9.2.3 協(xié)方差法 307 9.2.4 小結(jié) 308 9.3 模型增益的計(jì)算 309 9.4 線(xiàn)性預(yù)測(cè)分析的頻域解釋 311 9.4.1 線(xiàn)性預(yù)測(cè)短時(shí)頻譜分析 311 9.4.2 均方預(yù)測(cè)誤差的頻域解釋 313 9.4.3 模型階數(shù)p的作用 316 9.4.4 線(xiàn)性預(yù)測(cè)語(yǔ)譜圖 318 9.4.5 與其他譜分析方法的對(duì)比 320 9.4.6 選擇性線(xiàn)性預(yù)測(cè) 321 9.5 LPC方程組的解 322 9.5.1 Cholesky分解 322 9.5.2 Levinson-Durbin算法 325 9.5.3 格型公式及其解 328 9.5.4 計(jì)算需求比較 334 9.6 預(yù)測(cè)誤差信號(hào) 335 9.6.1 歸一化均方誤差的其他 表示法 338 9.6.2 LPC參數(shù)值的實(shí)驗(yàn)評(píng)估 339 9.6.3 歸一化誤差隨幀位置的變化 342 9.7 LPC多項(xiàng)式A(z)的一些性質(zhì) 344 9.7.1 預(yù)測(cè)誤差濾波器的最小 相位性質(zhì) 344 9.7.2 PARCOR系數(shù)和LPC多項(xiàng)式的 穩(wěn)定性 344 9.7.3 最佳LP模型根的位置 345 9.8 線(xiàn)性預(yù)測(cè)分析與無(wú)損聲管模型的 關(guān)系 348 9.9 LP參數(shù)的替代表示 351 9.9.1 預(yù)測(cè)誤差多項(xiàng)式的根 351 9.9.2 全極點(diǎn)系統(tǒng) 的沖激響應(yīng) 352 9.9.3 沖激響應(yīng)的自相關(guān) 352 9.9.4 倒譜 352 9.9.5 預(yù)測(cè)器多項(xiàng)式的自相關(guān)系數(shù) 353 9.9.6 PARCOR系數(shù) 353 9.9.7 對(duì)數(shù)面積比系數(shù) 353 9.9.8 線(xiàn)性譜對(duì)參數(shù) 355 9.10 小結(jié) 357 習(xí)題 357 第10章 語(yǔ)音參數(shù)的估計(jì)算法 368 10.1 引言 368 10.2 中值平滑和語(yǔ)音處理 369 10.3 語(yǔ)音背景/靜音的鑒別 373 10.4 濁音/清音/靜音檢測(cè)的一種貝葉斯 方法 378 10.5 基音周期估計(jì)（基音檢測(cè)） 383 10.5.1 理想的基音周期估計(jì) 383 10.5.2 使用一種并行處理方法的 基音周期估計(jì) 386 10.5.3 自相關(guān)、周期性和中心削波 390 10.5.4 一種基于自相關(guān)的基音 估計(jì)器 395 10.5.5 頻域中的基音檢測(cè) 397 10.5.6 用于基音檢測(cè)的同態(tài)系統(tǒng) 399 10.5.7 使用線(xiàn)性預(yù)測(cè)參數(shù)的基音 檢測(cè) 403 10.6 共振峰估計(jì) 405 10.6.1 共振峰估計(jì)的同態(tài)系統(tǒng) 405 10.6.2 使用線(xiàn)性預(yù)測(cè)參數(shù)的共振峰 分析 410 10.9 小結(jié) 412 習(xí)題 412 第11章 語(yǔ)音信號(hào)數(shù)字編碼 424 11.1 引言 424 11.2 語(yǔ)音信號(hào)采樣 426 11.3 語(yǔ)音統(tǒng)計(jì)模型 427 11.3.1 自相關(guān)函數(shù)和功率譜 427 11.4 瞬時(shí)量化 433 11.4.1 均勻量化噪聲分析 435 11.4.2 瞬時(shí)壓擴(kuò)（壓縮/擴(kuò)展） 442 11.4.3 最優(yōu)SNR量化 448 11.5 自適應(yīng)量化 453 11.5.1 前饋?zhàn)赃m應(yīng) 454 11.5.2 反饋?zhàn)赃m應(yīng) 458 11.5.3 自適應(yīng)量化的總體評(píng)價(jià) 461 11.6 語(yǔ)音模型參數(shù)的量化 461 11.6.1 語(yǔ)音模型的標(biāo)量量化 462 11.6.2 向量量化 463 11.6.3 VQ實(shí)現(xiàn)的要素 466 11.7 差分量化的一般理論 470 11.8 ?調(diào)制 476 11.8.1 線(xiàn)性?調(diào)制 476 11.8.2 自適應(yīng)?調(diào)制 479 11.8.3 ?調(diào)制中的高階預(yù)測(cè)器 481 11.8.4 LDM到PCM的轉(zhuǎn)換 482 11.8.5 Δ-Σ模數(shù)轉(zhuǎn)換 485 11.9 差分脈沖編碼調(diào)制 486 11.9.1 自適應(yīng)量化DPCM 487 11.9.2 自適應(yīng)預(yù)測(cè)DPCM 488 11.9.3 ADPCM系統(tǒng)的對(duì)比 491 11.10 ADPCM編碼器的改善 492 11.10.1 ADPCM編碼的基音預(yù)測(cè) 493 11.10.2 DPCM系統(tǒng)中的噪聲整形 495 11.10.3 完全量化的自適應(yīng)預(yù)測(cè) 編碼器 498 11.11 綜合分析語(yǔ)音編碼 502 11.11.1 A-b-S語(yǔ)音編碼系統(tǒng)的 基本原理 504 11.11.2 多脈沖LPC 507 11.11.3 碼激勵(lì)線(xiàn)性預(yù)測(cè)（CELP） 509 11.11.4 比特率為4800bps的CELP 編碼器 514 11.11.5 低延時(shí)CELP（LD-CELP） 編碼 516 11.11.6 A-b-S語(yǔ)音編碼小結(jié) 517 11.12 開(kāi)環(huán)語(yǔ)音編碼器 517 11.12.1 二態(tài)激勵(lì)模型 518 11.12.2 LPC聲碼器 519 11.12.3 殘差激勵(lì)LPC 521 11.12.4 混合激勵(lì)系統(tǒng) 522 11.13 語(yǔ)音編碼器的應(yīng)用 522 11.13.1 語(yǔ)音編碼器的標(biāo)準(zhǔn)化 523 11.13.2 語(yǔ)音編碼器的質(zhì)量評(píng)價(jià) 524 11.14 小結(jié) 526 習(xí)題 526 第12章 語(yǔ)音和音頻的頻域編碼 541 12.1 引言 541 12.2 歷史回顧 542 12.2.1 通道聲碼器 542 12.2.2 相位聲碼器 545 12.2.3 早期的STFT數(shù)字編碼 工作 546 12.3 子帶編碼 546 12.3.1 理想的2子帶編碼器 547 12.3.2 子帶編碼的量化器 552 12.3.3 子帶語(yǔ)音編碼器示例 552 12.4 自適應(yīng)變換編碼 554 12.5 音頻編碼的感知模型 556 12.5.1 短時(shí)分析和合成 556 12.5.2 臨界帶理論回顧 557 12.5.3 聽(tīng)閾 558 12.5.4 STFT的聲壓校正 559 12.5.5 掩蔽效應(yīng)回顧 560 12.5.6 掩蔽音的識(shí)別 562 12.5.7 STFT的量化 564 12.6 MPEG-1音頻編碼標(biāo)準(zhǔn) 566 12.6.1 MPEG-1濾波器組 566 12.6.2 通道信號(hào)的量化 571 12.6.3 MPEG-1層II和層III 573 12.7 其他語(yǔ)音編碼標(biāo)準(zhǔn) 574 12.8 小結(jié) 574 習(xí)題 574 第13章 文語(yǔ)轉(zhuǎn)換合成方法 582 13.1 簡(jiǎn)介 582 13.2 文本分析 582 13.2.1 文檔結(jié)構(gòu)檢測(cè) 583 13.2.2 文本正則化 583 13.2.3 語(yǔ)義分析 584 13.2.4 語(yǔ)音學(xué)分析 584 13.2.5 多音詞消歧 585 13.2.6 字母-聲音轉(zhuǎn)換 585 13.2.7 韻律分析 586 13.2.8 韻律指定 586 13.3 語(yǔ)音合成方法的發(fā)展 587 13.4 早期的語(yǔ)音合成方法 588 13.4.1 聲碼器 588 13.4.2 終端模擬語(yǔ)音合成 590 13.4.3 發(fā)音器官語(yǔ)音合成方法 591 13.4.4 單詞拼接合成 593 13.5 單元選擇方法 595 13.5.1 拼接單元的選擇 595 13.5.2 自然語(yǔ)音中的單元選擇 597 13.5.3 從文本中進(jìn)行在線(xiàn)單元選擇 597 13.5.4 單元選擇問(wèn)題 597 13.5.5 轉(zhuǎn)移代價(jià)和單元代價(jià) 599 13.5.6 單元邊界平滑和修改 600 13.5.7 單元選擇方法的實(shí)驗(yàn)結(jié)果 605 13.6 TTS的未來(lái)需求 605 13.7 可視化TTS 605 13.7.1 VTTS處理 606 13.8 小結(jié) 608 習(xí)題 608 第14章 自動(dòng)語(yǔ)音識(shí)別和自然語(yǔ)言理解 610 14.1 引言 610 14.2 自動(dòng)語(yǔ)音識(shí)別簡(jiǎn)述 611 14.3 語(yǔ)音識(shí)別的整體過(guò)程 611 14.4 構(gòu)建一個(gè)語(yǔ)音識(shí)別系統(tǒng) 612 14.4.1 識(shí)別任務(wù) 613 14.4.2 識(shí)別特征集 613 14.4.3 識(shí)別訓(xùn)練 614 14.4.4 測(cè)試與性能評(píng)估 614 14.5 ASR中的決策過(guò)程 614 14.5.1 ASR問(wèn)題的貝葉斯原理 615 14.5.2 Viterbi算法 618 14.5.3 步驟1：聲學(xué)建模 619 14.5.4 步驟2：語(yǔ)言模型 620 14.6 步驟3：搜索問(wèn)題 623 14.7 簡(jiǎn)單的ASR系統(tǒng)：孤立的數(shù)字識(shí)別 624 14.8 語(yǔ)音識(shí)別器的性能評(píng)估 625 14.9 口語(yǔ)理解 628 14.10 對(duì)話(huà)管理和口語(yǔ)生成 629 14.11 用戶(hù)界面 631 14.12 多模態(tài)用戶(hù)界面 631 14.13 小結(jié) 632 習(xí)題 632 附錄A 語(yǔ)音和音頻處理演示 637 附錄B 頻域微分方程求解 644 術(shù)語(yǔ)表 646