ESIM模型在智能客服、導航軟件、智能音箱等場景均具有廣泛的應用前景。阿里AI發(fā)布了相關論文介紹了該模型，雷鋒網(wǎng)AI科技評論將其編譯如下。
ESIM引入背景
極具潛力和商業(yè)價值的人機對話系統(tǒng)正在受到越來越多的關注。隨著近來深度學習模型的引入，我們在構建端到端的對話系統(tǒng)過程中有了更高的成功幾率。然而這一對話系統(tǒng)的構建仍然充滿了挑戰(zhàn)，它要求系統(tǒng)記憶并理解多輪對話文本，而不是像單輪對話系統(tǒng)那樣僅僅考慮當前的話語內容。
多輪對話系統(tǒng)建�？煞譃榛谏晌谋镜姆椒ê突跈z索的方法�；跈z索的方法將從多輪對話的候選池中選擇最佳回復，該方法可視為對多輪回復文本選擇任務的執(zhí)行。選擇回復文本的典型方法主要包括基于序列的方法和基于層級信息的方法。基于序列的方法通常將對話連接成一個長序列，而基于層級信息的方法通常會分別對每個對話文本進行建模，然后再對話語之間的交互進行建模。
最近，有研究工作稱基于層級信息的方法與復雜神經(jīng)網(wǎng)絡結合可以實現(xiàn)比基于序列方法更顯著的增益效果。但在本文中，我們依然選擇研究基于序列的方法即增強序列推理模型(ESIM)的有效性，該模型最初是為了自然語言推理(NLI)任務而開發(fā)。
在DSTC7對話回復選擇挑戰(zhàn)賽中，我們的模型在兩個數(shù)據(jù)集(即Advising和Ubuntu數(shù)據(jù)集)中都排名第一。除此之外，我們的模型在兩個大型公共基準數(shù)據(jù)集(LowesUbuntu)上都比以前所有模型的效果更好，其中也包括上面所提到的最先進的基于層級信息的模型。我們的開源代碼可在https://github.com/alibaba/ESIM上獲得。
基于層級信息的方法通常會使用額外的神經(jīng)網(wǎng)絡來對多輪對話之間的關系進行模擬，該方法需要將多輪對話中的文本進行分段截取，使其具有相同的長度并且短于最大長度。然而，每輪對話的長度通常在實際任務中會有很大的變化，當使用較大的最大長度值時，我們則需要在基于層級信息的方法中添加大量的0進行填充，這將極大地增加計算復雜性和內存成本；而當使用較小的最大長度時，我們則可能在多輪對話環(huán)境中丟失一些重要信息。
我們建議在多輪對話回復選擇任務中使用基于序列的ESIM模型來有效地解決基于層級信息方法所遇到的上述問題。該方法將多輪對話內容連接成一個長序列，并將多輪對話回復選擇任務轉換為一個句子對的二進制分類(即下一個句子是否是當前對話的回復)任務。
與基于層級信息的方法相比，ESIM有兩個主要優(yōu)點。首先，由于ESIM不需要使每個話語具有相同的長度，因此它具有較少的零填充，可以比基于層級信息的方法更具計算效率。其次，ESIM以一種有效的方式隱式地模擬對話中話語之間的交互，而并沒有使用額外復雜的網(wǎng)絡結構，詳情如下文中「模型說明」部分所述。
任務描述
對話系統(tǒng)技術挑戰(zhàn)賽(DSTC7)劃分了三個不同的賽道，而我們提出的方法則是針對「端到端的回復選擇」主題的賽道。該賽道側重于面向目標的多輪對話，著重于從一組對話候選文本中選擇正確的回復。參與該賽道的比賽系統(tǒng)不能使用基于人工數(shù)據(jù)或基于規(guī)則的數(shù)據(jù)，而需要使用比賽方提供的Ubuntu和Advising這兩個數(shù)據(jù)集，這些在「實驗部分」我們會做詳細的介紹。
