ESIM模型在智能客服、導(dǎo)航軟件、智能音箱等場(chǎng)景均具有廣泛的應(yīng)用前景。阿里AI發(fā)布了相關(guān)論文介紹了該模型，雷鋒網(wǎng)AI科技評(píng)論將其編譯如下。
ESIM引入背景
極具潛力和商業(yè)價(jià)值的人機(jī)對(duì)話(huà)系統(tǒng)正在受到越來(lái)越多的關(guān)注。隨著近來(lái)深度學(xué)習(xí)模型的引入，我們?cè)跇?gòu)建端到端的對(duì)話(huà)系統(tǒng)過(guò)程中有了更高的成功幾率。然而這一對(duì)話(huà)系統(tǒng)的構(gòu)建仍然充滿(mǎn)了挑戰(zhàn)，它要求系統(tǒng)記憶并理解多輪對(duì)話(huà)文本，而不是像單輪對(duì)話(huà)系統(tǒng)那樣僅僅考慮當(dāng)前的話(huà)語(yǔ)內(nèi)容。
多輪對(duì)話(huà)系統(tǒng)建�？煞譃榛谏晌谋镜姆椒ê突跈z索的方法�；跈z索的方法將從多輪對(duì)話(huà)的候選池中選擇最佳回復(fù)，該方法可視為對(duì)多輪回復(fù)文本選擇任務(wù)的執(zhí)行。選擇回復(fù)文本的典型方法主要包括基于序列的方法和基于層級(jí)信息的方法�；谛蛄械姆椒ㄍǔ�(duì)話(huà)連接成一個(gè)長(zhǎng)序列，而基于層級(jí)信息的方法通常會(huì)分別對(duì)每個(gè)對(duì)話(huà)文本進(jìn)行建模，然后再對(duì)話(huà)語(yǔ)之間的交互進(jìn)行建模。
最近，有研究工作稱(chēng)基于層級(jí)信息的方法與復(fù)雜神經(jīng)網(wǎng)絡(luò)結(jié)合可以實(shí)現(xiàn)比基于序列方法更顯著的增益效果。但在本文中，我們依然選擇研究基于序列的方法即增強(qiáng)序列推理模型(ESIM)的有效性，該模型最初是為了自然語(yǔ)言推理(NLI)任務(wù)而開(kāi)發(fā)。
在DSTC7對(duì)話(huà)回復(fù)選擇挑戰(zhàn)賽中，我們的模型在兩個(gè)數(shù)據(jù)集(即Advising和Ubuntu數(shù)據(jù)集)中都排名第一。除此之外，我們的模型在兩個(gè)大型公共基準(zhǔn)數(shù)據(jù)集(LowesUbuntu)上都比以前所有模型的效果更好，其中也包括上面所提到的最先進(jìn)的基于層級(jí)信息的模型。我們的開(kāi)源代碼可在https://github.com/alibaba/ESIM上獲得。
基于層級(jí)信息的方法通常會(huì)使用額外的神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)多輪對(duì)話(huà)之間的關(guān)系進(jìn)行模擬，該方法需要將多輪對(duì)話(huà)中的文本進(jìn)行分段截取，使其具有相同的長(zhǎng)度并且短于最大長(zhǎng)度。然而，每輪對(duì)話(huà)的長(zhǎng)度通常在實(shí)際任務(wù)中會(huì)有很大的變化，當(dāng)使用較大的最大長(zhǎng)度值時(shí)，我們則需要在基于層級(jí)信息的方法中添加大量的0進(jìn)行填充，這將極大地增加計(jì)算復(fù)雜性和內(nèi)存成本；而當(dāng)使用較小的最大長(zhǎng)度時(shí)，我們則可能在多輪對(duì)話(huà)環(huán)境中丟失一些重要信息。
我們建議在多輪對(duì)話(huà)回復(fù)選擇任務(wù)中使用基于序列的ESIM模型來(lái)有效地解決基于層級(jí)信息方法所遇到的上述問(wèn)題。該方法將多輪對(duì)話(huà)內(nèi)容連接成一個(gè)長(zhǎng)序列，并將多輪對(duì)話(huà)回復(fù)選擇任務(wù)轉(zhuǎn)換為一個(gè)句子對(duì)的二進(jìn)制分類(lèi)(即下一個(gè)句子是否是當(dāng)前對(duì)話(huà)的回復(fù))任務(wù)。
與基于層級(jí)信息的方法相比，ESIM有兩個(gè)主要優(yōu)點(diǎn)。首先，由于ESIM不需要使每個(gè)話(huà)語(yǔ)具有相同的長(zhǎng)度，因此它具有較少的零填充，可以比基于層級(jí)信息的方法更具計(jì)算效率。其次，ESIM以一種有效的方式隱式地模擬對(duì)話(huà)中話(huà)語(yǔ)之間的交互，而并沒(méi)有使用額外復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，詳情如下文中「模型說(shuō)明」部分所述。
任務(wù)描述
對(duì)話(huà)系統(tǒng)技術(shù)挑戰(zhàn)賽(DSTC7)劃分了三個(gè)不同的賽道，而我們提出的方法則是針對(duì)「端到端的回復(fù)選擇」主題的賽道。該賽道側(cè)重于面向目標(biāo)的多輪對(duì)話(huà)，著重于從一組對(duì)話(huà)候選文本中選擇正確的回復(fù)。參與該賽道的比賽系統(tǒng)不能使用基于人工數(shù)據(jù)或基于規(guī)則的數(shù)據(jù)，而需要使用比賽方提供的Ubuntu和Advising這兩個(gè)數(shù)據(jù)集，這些在「實(shí)驗(yàn)部分」我們會(huì)做詳細(xì)的介紹。
