CTI論壇(ctiforum.com)（編譯/老秦）：自動化和人工智能在數(shù)字參與計(jì)劃中使用時(shí)提供了驚人的好處。我們繼續(xù)看到機(jī)器人和自動化在聊天、消息傳遞、語音甚至社交對話程序中的廣泛使用。 Insider Intelligence 預(yù)測，到 2024 年，全球消費(fèi)者通過聊天機(jī)器人進(jìn)行的零售支出將達(dá)到 1420 億美元，高于 2019 年的 28 億美元。
在 LivePerson，我們已經(jīng)看到 Conversational Cloud 上超過 70% 的對話使用某種類型的自動化，這一趨勢沒有放緩的跡象。這意味著我們需要正確評估聊天機(jī)器人的成功，但這并不總是意味著依賴熟悉的關(guān)鍵績效指標(biāo) (KPIs)。
當(dāng)聯(lián)絡(luò)中心新的人工座席走上工作崗位時(shí)，我們不會立即讓他們與客戶交互。他們經(jīng)過培訓(xùn)和管理，機(jī)器人應(yīng)該受到同樣的禮遇，無論它們是用于簡單的任務(wù)--路由到人工座席或收集信息--還是用于復(fù)雜的任務(wù)--銷售烤架或處理保險(xiǎn)索賠。與人類一樣，機(jī)器人需要在其一生中受到監(jiān)控、培養(yǎng)和培訓(xùn)。
這意味著使用為他們設(shè)計(jì)的指標(biāo)來衡量聊天機(jī)器人的性能。我經(jīng)常聽到領(lǐng)導(dǎo)者使用諸如遏制、滿意度（CSAT 或 NPS）和情緒之類的 KPIs。
問題？這些傳統(tǒng)的測量方法是行不通的。原因如下：
我們經(jīng)常看到機(jī)器人像這樣失敗的例子。機(jī)器人響應(yīng)遵循特定的腳本，不能總是對消費(fèi)者做出反應(yīng)，從而導(dǎo)致負(fù)面互動。您可能認(rèn)為這些問題可以通過傳統(tǒng)指標(biāo)來識別，但事實(shí)并非如此。
使用以下 KPIs 對聊天機(jī)器人進(jìn)行分析所產(chǎn)生的問題：
遏制對話統(tǒng)計(jì)
如果品牌座席是機(jī)器人，并且沒有人工座席參與對話，則認(rèn)為用戶交互是包含的。問題是這個(gè) KPI 沒有考慮解決結(jié)果。因此，雖然上面的示例完全被機(jī)器人包含，但顯然沒有解決問題。
許多自動化程序旨在防止消費(fèi)者接觸到在線座席。在這些情況下，遏制可能是衡量品牌成功的一個(gè)很好的衡量標(biāo)準(zhǔn)，但并不能真正反映消費(fèi)者的體驗(yàn)。
客戶滿意度調(diào)查
客戶滿意度 (CSAT) 和凈推薦值 (NPS) 是流行的聊天機(jī)器人性能指標(biāo)。但是，收集該數(shù)據(jù)可能是一個(gè)有缺陷的過程，因?yàn)樗ǔＰ枰蛻敉瓿烧{(diào)查。在上述示例的交互中，客戶從未收到調(diào)查，因?yàn)閷υ捲诩夹g(shù)上尚未完成。此外，Delighted 告訴我們，"根據(jù)使用的渠道，2021 年客戶調(diào)查的平均響應(yīng)率在 6% 到 16% 之間。"在這些比率下，數(shù)據(jù)就不可能可靠或具有代表性。
此外，如果對話從機(jī)器人升級為人工座席，則調(diào)查結(jié)果可能會因人工交互而產(chǎn)生偏差。如果調(diào)查回復(fù)基于此，而不是完全基于聊天機(jī)器人用戶的體驗(yàn)，則數(shù)據(jù)再次變得不可靠。
衡量客戶滿意度和情緒的情緒
LivePerson 有一種情緒評分算法，稱為有意義的對話評分 (MCS)。衡量情緒的好處在于它適用于客戶發(fā)送的每條消息，并且不依賴于調(diào)查、機(jī)器人與人工座席或座席行為。這使其成為一種有效的對話分析工具，可根據(jù)所使用的語言幫助識別消費(fèi)者在整個(gè)對話過程中的情緒。
不幸的是，情緒分析無法在自動機(jī)器人響應(yīng)中準(zhǔn)確識別客戶情緒。
在我們的示例中，客戶的文本變得簡短（通常是一個(gè)詞）并且情緒中立。即使是負(fù)面陳述--"這是一個(gè)笑話"--也可以被情緒引擎正面或負(fù)面地解釋。機(jī)器人設(shè)計(jì)還通常在腳本中使用引導(dǎo)流程，其中機(jī)器人為客戶提供了一組選項(xiàng)。因此，當(dāng)通過單擊按鈕獲得響應(yīng)時(shí)，情緒將始終是中性的。基本上，人們的文本與機(jī)器人不同，具有簡短、中性的情緒響應(yīng)，使得情緒分析成為衡量機(jī)器人性能的不完整指標(biāo)。
聊天機(jī)器人客戶旅程中的傳輸率
這是指實(shí)時(shí)座席參與的頻率，這是用于聊天機(jī)器人分析的常見 KPI。但這種測量存在三個(gè)挑戰(zhàn)：
- 放棄的對話（如我們上面的示例）不會反映在傳輸率分?jǐn)?shù)中，因?yàn)楝F(xiàn)場座席從未參與其中。
- 轉(zhuǎn)移是某些機(jī)器人的目標(biāo)。
- 此測量也沒有考慮客戶要求人工座席開始對話，這反映了客戶的心態(tài)而不是聊天機(jī)器人的有效性，并且不準(zhǔn)確地夸大了負(fù)面測量。
例如，路由機(jī)器人應(yīng)該有 100% 的傳輸率，而面向任務(wù)的機(jī)器人（即我的訂單狀態(tài)是什么）應(yīng)該有一個(gè)顯著較低的傳輸率。像這樣的聊天機(jī)器人指標(biāo)要求我們單獨(dú)測量每個(gè)機(jī)器人以獲得最有價(jià)值的洞察力，這是管理大型自動化程序時(shí)的一個(gè)繁瑣過程。
重新定義聊天機(jī)器人指標(biāo)以更好地衡量和提供出色的客戶支持
我們衡量對話互動方式的這種轉(zhuǎn)變并不是什么新鮮事。在異步消息傳遞的早期，我們不得不重新定義衡量聯(lián)絡(luò)中心座席的方式，因?yàn)槠骄幚頃r(shí)間和并發(fā)性等傳統(tǒng)指標(biāo)已經(jīng)過時(shí)。現(xiàn)在，隨著我們被鎖定在人工智能和自動化的世界中，并且更多地依賴機(jī)器人來支持消費(fèi)者參與計(jì)劃，我們需要再次重新定義我們衡量成功的方式--因?yàn)閭鹘y(tǒng)的指標(biāo)不再起作用了。
聲明：版權(quán)所有 非合作媒體謝絕轉(zhuǎn)載
作者：Chris Radanovic
原文網(wǎng)址：https://www.liveperson.com/blog/chatbot-metrics/
