前端語音處理，利用信號處理的方法對說話人的語音進(jìn)行檢測、降噪等預(yù)處理，以便得到最適合語音識別引擎處理的語音，其主要功能包括端點(diǎn)檢測VAD、流式語音智能斷句和噪音消除。
一、端點(diǎn)檢測
語音端點(diǎn)檢測是對輸入的音頻流進(jìn)行分析，確定客戶說話的起點(diǎn)和終止點(diǎn)的處理過程。一旦檢測到客戶開始說話，語音開始流向識別引擎，直到檢測到客戶說話結(jié)束。這種方式能夠使得識別引擎在客戶說話的同時開始進(jìn)行識別，做到最大限度的即時處理。
1 端點(diǎn)檢測過程
1、基于語音信號的特征，用能量，過零率，熵(entropy)，音高(pitch)等參數(shù)以及它們的衍生參數(shù)，來判斷信號流中的語音/非語音信號。
2、在信號流中檢測到語音信號后，判斷此處是否是語句的開始或結(jié)束點(diǎn)。在商用語音系統(tǒng)中，由于信號多變的背景和自然對話模式而更容易使得句中有停頓(非語音)，特別是在爆發(fā)聲母前總會有無聲間隙。因此，這種開始/結(jié)束的判定尤為重要。
2 端點(diǎn)檢測目的
減少識別器的數(shù)據(jù)處理量。可以大量減少信號傳輸量及識別器的運(yùn)算負(fù)載，對于語音對話的實(shí)時識別有重要作用。
拒絕非語音的信號。對非語音信號的識別不僅是一種資源浪費(fèi)，而且有可能改變對話的狀態(tài)，造成對用戶的困擾。
在需要打斷(barge-in)功能的系統(tǒng)中，語音的起始點(diǎn)是必須的。在端點(diǎn)檢測找到語音的起始點(diǎn)時，系統(tǒng)將停止提示音的播放。完成打斷功能。
3 端點(diǎn)檢測對識別系統(tǒng)的影響
隨著語音識別應(yīng)用的發(fā)展，越來越多的系統(tǒng)將打斷功能作為一種方便有效的應(yīng)用模式。
而打斷功能又直接依賴端點(diǎn)檢測，端點(diǎn)檢測對打斷功能的影響發(fā)生在判斷語音/非語音的過程出現(xiàn)錯誤時，表現(xiàn)在過于敏感的端點(diǎn)檢測產(chǎn)生的語音信號的誤警將產(chǎn)生錯誤的打斷。
例如，提示音被很強(qiáng)的背景噪音或其它人的講話打斷，是因為端點(diǎn)檢測錯誤的將這些信號作為有效語音信號造成的。反之，如果端點(diǎn)檢測漏過了事實(shí)上的語音部分，而沒有檢測到語音，系統(tǒng)會表現(xiàn)出沒有反應(yīng)。
在用戶講話時還在播放提示音，端點(diǎn)檢測對識別系統(tǒng)的識別效果影響也很大。語音信號的起始點(diǎn)和結(jié)束點(diǎn)判斷有誤，有可能影響整個信號的完整性。在語句的開頭或結(jié)尾漏掉一些有用的數(shù)據(jù)。當(dāng)這種情況發(fā)生時，很可能對識別的準(zhǔn)確度有特別大影響，不完全的信息會使識別率降低。
4 商用端點(diǎn)檢測應(yīng)具備的特性
端點(diǎn)檢測的精確度高。
更好的背景噪聲和語音模型：使系統(tǒng)對背景噪聲，其它說話人和非語音的聲音有很好的拒絕功能。
默認(rèn)的系統(tǒng)相關(guān)參數(shù)有很好的適用性，而在有需要的現(xiàn)實(shí)環(huán)境中，可以通過系統(tǒng)調(diào)節(jié)來適應(yīng)通話環(huán)境，改善端點(diǎn)檢測的效果。
對信道有自適應(yīng)能力：在對話開始后能很快適應(yīng)當(dāng)前的信道特征，使得端點(diǎn)檢測的準(zhǔn)確度有進(jìn)一步提高。
獨(dú)特的識別服務(wù)器的反饋和非語音持續(xù)時間雙重結(jié)束點(diǎn)判定功能，有效的改善了語音結(jié)束點(diǎn)的判定，特別是對較長的語句效果更加突出。
基于可靠的端點(diǎn)檢測技術(shù)和智能反饋，智能打斷功能不僅應(yīng)該在一般的環(huán)境下工作出色，而且能有效的拒絕環(huán)境噪聲，非語音的高強(qiáng)噪聲(呼吸，關(guān)門等)環(huán)境中其它人的聲音。
二 流式語音智能斷句
現(xiàn)有的語音處理方案是先用語音活動檢測模塊對語音進(jìn)行斷句，再將斷開的語音進(jìn)行自動語音識別。但是，在電話語音交互場景中，VAD面臨著兩個難題：
01如何可以成功檢測到最低能量的語音(靈敏度)？
02如何在多變的復(fù)雜噪聲環(huán)境下成功檢測（漏檢率和虛檢率）？
漏檢反應(yīng)的是原本是語音但是沒有檢測出來，而虛檢率反應(yīng)的是不是語音信號而被檢測成語音信號的概率。相對而言漏檢是不可接受的，而虛檢可以通過后端的ASR和NLP算法進(jìn)一步過濾，但是虛檢會帶來系統(tǒng)資源利用率上升，以及造成響應(yīng)不及時。
對于在目標(biāo)人交互語音前發(fā)生虛檢，主要問題是增加ASR識別處理數(shù)據(jù)量，如下圖所示：
對于在目標(biāo)人交互語音后發(fā)生虛檢，不僅增加ASR識別處理數(shù)據(jù)量，還會造成響應(yīng)不及時。
現(xiàn)有語音處理方案存在斷句不準(zhǔn)確的問題，主要有兩個主要缺點(diǎn)：
一是無法過濾噪音和無效的語音；
另外就是對說話人的要求較高，中間不能有停頓，如果句間停頓時長設(shè)置的太短，容易造成截斷；句間停頓時長設(shè)置太長，又會造成響應(yīng)不及時。
如下圖所示：
流式語音智能斷句模塊是主要由語音識別模塊、信息流聚合模塊、動態(tài)窗口設(shè)定模塊、斷句識別模塊構(gòu)成。其中：
語音識別模塊用于接收并識別語音實(shí)時流，并按照指定的頻率輸出帶有時序的語音識別結(jié)果；
信息流聚合模塊用于對帶有時序的語音識別結(jié)果進(jìn)行優(yōu)化處理，并整合經(jīng)過優(yōu)化處理后的帶有時序的語音識別結(jié)果，以形成語音識別結(jié)果序列；
動態(tài)窗口設(shè)定模塊用于從語音識別結(jié)果序列中選擇指定范圍的文本，進(jìn)而將指定范圍的文本用于斷句分析；
斷句識別模塊用于分析指定范圍的文本的語義，并根據(jù)語義確定是否進(jìn)行斷句。
三噪音消除
引擎具備噪音消除功能，在實(shí)際應(yīng)用過程中背景噪聲對于語音識別應(yīng)用是一個現(xiàn)實(shí)的挑戰(zhàn)，即便說話人處理安靜的辦公室環(huán)境，在電話語音通話過程中也難免會有一定噪聲，語音識別系統(tǒng)需具備高效的噪音消除能力，以適應(yīng)客戶在千差萬別的環(huán)境中使用的要求。
關(guān)于語音識別前端處理的介紹就到這了，壹鴿科技后續(xù)將會為大家?guī)砀嘞嚓P(guān)的技術(shù)講解，敬請期待把！
