大家好，我是騰訊天籟實驗室負責人、資深專家研究員商世東。非常榮幸能夠在LiveVideoStackCon 2021音視頻技術大會上海站現(xiàn)場為大家分享，過去兩年我們通過騰訊會議探索音視頻技術在云會議場景下的應用所收獲的經驗與心得，以及音視頻技術在騰訊會議中的使用情況�；�于此，我們進一步探索音視頻技術在云會議場景下的未來。本次分享將從以下五個方面展開：

　　01騰訊會議介紹
　　請允許我在此向大家簡單介紹一下騰訊會議——相信絕大多數(shù)同學在日常的工作、學習過程當中都已成為騰訊會議的用戶。

　

　　2019年12月，騰訊會議1.0正式版發(fā)布。相對于現(xiàn)在的產品，當時的騰訊會議功能比較基礎和單一，在使用體驗上也都略顯粗糙；2020年年初，隨著疫情的爆發(fā)催生線上會議需求井噴，短短245天之內騰訊會議的用戶就突破了1億，成為國內市場最快超過1億用戶的視頻會議應用；并且在過去一年，騰訊會議多次榮登App Store免費榜的榜首；2020年11月，騰訊會議在疫情爆發(fā)期間協(xié)助各個企事業(yè)單位、學校復工復產、遠程協(xié)助，為數(shù)字經濟發(fā)展做出了卓越的貢獻；并于2020年在浙江烏鎮(zhèn)舉辦的世界互聯(lián)網大會上榮獲“領先科技成果”大獎，這也是世界互聯(lián)網大會自2014年舉辦以來，首次獲得該獎項的視頻會議產品。

　　根據(jù)北京大學互聯(lián)網發(fā)展研究中心發(fā)布的研究報告《在線會議社會價值與未來發(fā)展報告》，騰訊會議在短短5個月的時間直接節(jié)約社會成本達714億元，在經濟、技術、文化等多個層面為社會做出了卓越貢獻。

　　騰訊會議從速度、跨度、深度、廣度等多個維度上，有效助力企業(yè)數(shù)字化協(xié)作轉型：

　　在廣度上，騰訊會議與業(yè)界眾多硬件和APP實現(xiàn)了集成，高效連接個人、會議與生態(tài)。

　　

　　騰訊會議為全行業(yè)提供在線會議賦能，深入政府、醫(yī)療、教育、金融、制藥等行業(yè)，為諸多的企事業(yè)單位與組織機構提供了遠程協(xié)作和視頻會議服務。

　　在平臺種類上，我們也可以看到，騰訊會議目前覆蓋了大家日常使用的8個主流平臺，包括PC、移動、會議室以及騰訊會議的硬件終端產品——騰訊會議Rooms。在全場景平臺架構上的服務除了提供視頻會議和音頻會議之外，還提供了協(xié)作會議和會議直播。而在底層能力平臺方面，除了使用最多的音視頻引擎，還提供了IM、在線文檔、會議室連接器、智能管理等平臺；除此之外，騰訊會議還提供了面對所有開發(fā)者的API服務，開發(fā)者可以在各自領域和應用硬件中集成騰訊會議的多項能力。

　　

　　圖中列舉的諸多場景如遠程培訓、遠程會商等，在騰訊會議上也都被廣泛使用，因為這些相關場景都涉及到遠程協(xié)作溝通。

　　以上是對騰訊會議的簡單介紹，希望能夠幫助大家對騰訊會議有進一步了解。下一步我將具體分享騰訊會議音視頻所具有的黑科技。

　　提及騰訊會議的音視頻能力，我們首先需要知悉的是騰訊會議音視頻的建設目標。

　　騰訊會議自啟動以來，我們一直圍繞著更清晰、更流暢、更實時互動的目標進行持續(xù)的能力建設，不斷提高遠程線上會議參與感和交流感。

　　音視頻技術泛泛而言分為三個領域：音頻處理、視頻處理、弱網抗性增強。今天由于時間限制，不太可能和大家全面回顧這三個領域的相關技術，還是和大家分享下三個領域我們經歷的一些有趣故事吧。

　　

　　我們內部統(tǒng)計到，在所有的線上的會議中，純語音會議占到會議總數(shù)的80%左右，由于純語音會議不開攝像頭和屏幕分享，或者屏幕分享開的時間在整個會議中處于很小的比例。所以語音會議的質量、流暢、純凈、智能互動對于線上會議的體驗至關重要。

　　在現(xiàn)實生活當中，由于開會所處的現(xiàn)實環(huán)境非常復雜，包括各種嘈雜的環(huán)境。為了提供良好的語音會議體驗，卓越的音頻降噪技術是不可或缺的。

　　從騰訊會議開發(fā)伊始，音頻方案便沿著經典信號處理和深度學習相結合的技術路徑進行，我們運用了獨特的大數(shù)據(jù)訓練模型覆蓋多種常見的平穩(wěn)噪聲和非平穩(wěn)噪聲類型。不單是基于經典的信號處理模型，而是監(jiān)測并消除了很多日常突發(fā)性的非平穩(wěn)噪聲。

　　騰訊會議支持多平臺終端，因此我們的模型也是低復雜度輕量級，保證能夠在多個終端平臺落地。在具體實現(xiàn)上，從技術細節(jié)角度來講，騰訊會議的音頻降噪算法結合了人體的聲帶與聲道的發(fā)聲模型以及人耳的聽覺模型，基于多種神經網絡并融合多種損失函數(shù)和訓練策略，最終在語音的保真度和自然度以及噪聲抑制上取得了一個良好的權衡。但這個挑戰(zhàn)也是巨大的，尤其是在音頻降噪上線以后，也給我們意想不到的挑戰(zhàn)。

　　下面給大家分享一個有趣的故事。

　　

　　上圖兩個波形圖所展現(xiàn)的分別是掌聲與敲擊鍵盤的聲音，可以看到二者波形非常相似。2020年初疫情來臨時，許多會議由線下轉為線上，當時騰訊會議所采取的降噪算法還處于灰度測試階段。我們收到的一個比較尷尬的反饋是，公司領導使用騰訊會議開會，講到最后時刻領導習慣性停下來等待大家鼓掌，此時由于降噪算法的強悍降噪效果，領導能從畫面中看到大家鼓掌，但耳朵中卻聽不到任何掌聲，這是由于當時不夠成熟的降噪算法將掌聲也作為一種背景噪音過濾掉了；此時如果沒有開視頻畫面而只是運用語音開會的話，則領導收不到任何反饋，這樣的體驗無疑是不自然的。

　　我們知道算法對于模型來說至關重要。騰訊會議針對非突發(fā)噪聲的消除采取了多種模型，當時所采取的模型并不需要區(qū)分鍵盤敲擊聲與掌聲。如果仔細觀察鍵盤敲擊聲與掌聲的波形圖我們不難發(fā)現(xiàn)，掌聲波形存在細微的差別，而敲擊不同鍵盤所呈現(xiàn)的聲音也會有一定差別，但人耳對二者很難區(qū)分。

　　這無疑對我們實現(xiàn)噪聲消除模型帶來很大挑戰(zhàn)。一方面我們希望噪聲消除模型具有很好的泛化性能，不能只針對訓練的數(shù)據(jù)做有效處理；但在一些特殊場景下，模型可能存在失效的情況，錯誤過濾其他噪聲。意識到該問題后，我們對降噪模型進行了創(chuàng)新，也就是在模型中加入了一個獨特的可融合幀級信息與語音片斷信息的多級別模型，而且還可以多尺度地獨立提取不同頻帶域特征，區(qū)分掌聲與非掌聲的局部特征信息，再對這些特征進行融合從而達到識別全局不同類型噪聲的效果。以后我們通過騰訊會議與領導開會，再也不需要擔心領導因為聽不到掌聲而尷尬了。

　　

　　說完噪聲我們再來說語音，因為語音增強和噪聲消除是相輔相成的，但語音和噪聲有很大差別。上圖展示的一段逐漸衰弱的語音波形圖，可以看到語音波形圖具有一定的諧波特征。但語音在距離遠一些時非常容易淹沒在背景雜音里，這對語音增強而言，如何將語音從背景噪聲中分離并增強顯得尤為重要。

　　剛開始的時候騰訊會議主要在手機、PC等平臺部署，不會存在太多人距離麥克風較遠的情況；但當大家?guī)�上耳機或者使用電腦在空曠會議室開會時，尤其是當多人在會議室里開會，有些成員距離麥克風較近，有些則距離麥克風非常遠，這就導致一些遠處的人聲會被當成噪聲而消除。為了避免這樣的情況發(fā)生，我們對模型做出進一步改進，優(yōu)化了模型以大幅度改善遠處較弱語音的增強與降噪效果，在降低噪音的同時保留遠處人聲的清晰度。

　

　　音頻降噪不僅用于PC、手機等終端設備上，一些商業(yè)會議場景，尤其是部署在會議室的視頻會議產品，當我們在與合作伙伴探討最佳產品形態(tài)的時候發(fā)現(xiàn)，市場上的大型會議室設備在遠程拾音、降噪、雙講、噪聲消除方面往往無法滿足行業(yè)需求，體驗與實用性都不佳，為此騰訊會議技術團隊專門進行了技術攻關。

　　得益于騰訊會議天籟音頻團隊的努力，我們最近提供了一套性能優(yōu)異的會議室遠場拾音解決方案：我們采用了多個MEMS麥克風板并結合音頻處理器，然后通過攝像頭上方的結構非常方便地集成于在線會議設備之上，很好地實現(xiàn)了在參會者不方便使用電話或不方便使用擴展麥克風的場景中對遠距離人聲的拾音問題。下面請大家體驗下我們模組強悍的超遠距離拾音能力。

　　此外，該模組除了解決遠距離人聲拾音的同時，也實現(xiàn)了更為智能的噪聲消除效果。例如針對敲擊鍵盤、放水杯，咳嗽聲等突發(fā)性噪聲都具有良好消除性能。除了噪聲消除，雙講是視頻會議中一個常見的現(xiàn)象，同時也是一項挑戰(zhàn)。市場中大屏幕主流產品在處理雙講場景時往往會出現(xiàn)很明顯的失真現(xiàn)象或者雙講剪切，這就導致一些交流較為頻繁的會議，往往會影響語音的清晰程度。而使用天籟團隊所開發(fā)的模組，雙講場景即便是多人同時講話依然能夠清晰的聽見每個人所說的大部分內容。

　

　　除了音頻，騰訊會議領先的視頻技術也絕不僅僅是一個全高清的視頻體驗。除了高清H.264編解碼、HEVC等之外，為了改善視頻會議的參與感，騰訊會議還做了很多與視覺AI相關的工作。如虛擬背景，以及去年疫情開始很多學生使用時很喜歡的美顏功能。

　　騰訊會議最近還收到來自一些用戶的反饋，他們打開攝像頭的時候總感覺不自然， 因為日常交流的時候大家都會有眼神接觸，但在視頻會議的時候，因為攝像頭和屏幕與人眼之間的夾角，對方看到人的時候眼睛是向下的；如果你非常激情且投入地參與會議，但是無法于其他參會人有眼神接觸，這樣的體驗不會很好。于是我們決定做一個眼神接觸的功能，也就是將眼神偏離的向下的角度給糾正過來；但實際上做眼神接觸的時候，需要調整的不僅僅是眼神，還有眼睛上方的睫毛，下方的眼皮區(qū)域等等都需要做出相應的改善，才能讓面部表情看起來自然。更具有挑戰(zhàn)性的是一些戴眼鏡的情況，眼鏡會有各種各樣的形狀，更會有反光，這都對建立人臉3D模型以及人臉3D模型生成的數(shù)據(jù)提出了很大的挑戰(zhàn)。我們在開發(fā)這個功能采集了數(shù)千人的人眼，并且運用人臉3D模型來生成總計超過百萬張的人眼數(shù)據(jù)。

　　當該功能上線后，大多數(shù)客戶反映都很正面，但我們也收到了一些意料之外的反饋。很多老師和學生反饋，原來上課的時候老師可以看到學生是否在專注的聽講，結果現(xiàn)在老師發(fā)現(xiàn)大家都盯著老師看，一堂課上下來學生都非常的專注，老師就覺得5分鐘、10分鐘還行，一堂課下來40分鐘這么多以前很調皮的學生現(xiàn)在如此專注就不太正常，下來一打聽，原來是學生把眼神接觸功能都打開了。我們收到這樣的反饋以后，也對模型的改善程度重新做了一些調整，當眼神偏離幅度過大的時候，系統(tǒng)不再做眼神糾正了。

　　

　　因為騰訊會議是在線會議，是基于IP網絡的。IP網是沒有QoS保證的，這點和PSTN網絡不一樣。所以保證QoS，保證音視頻的流暢性是騰訊會議網絡組孜孜不倦的追求目標——如何保證騰訊會議在弱網特別是一些極限網絡的情況下的弱網抗性，在極限網絡情況下也很好的保證順利的流暢的會議體驗。

　　在眾多的會議里面都出現(xiàn)過發(fā)生弱網的條件。深圳北站，處于深圳的北郊，基站的部署不會像市中心那么密集，有地鐵通到深圳北站，還有深圳北站的高鐵。通過后臺大數(shù)據(jù)監(jiān)控發(fā)現(xiàn)，這個地區(qū)網上經常有周期性的大丟包和抖動現(xiàn)象發(fā)生，導致會議的流暢度受到很大影響。我們就去深圳北站那棟大樓做實測，結果和預想的一樣，由于基站比較少，尤其當?shù)罔F和高鐵同時進戰(zhàn)的時候，會導致網絡流量急劇增加，大量的用戶連接到基站。并且由于高鐵地鐵導致電磁干擾，基站分配到每個用戶可用的帶寬可以低至幾十kbps。50kbps以下要進行一個很好的流暢的語音會議技術上是有挑戰(zhàn)的。

　　發(fā)現(xiàn)了這個問題以后，我們在網絡層做了很多優(yōu)化和調節(jié)，保證在一些極限的條件下——比如地鐵里，或者高鐵交匯的時候，依然能保證大家在開會的時候有流暢的體驗。

　　前面和大家分享了我們的音視頻核心技術上面長期積累的點點滴滴的故事，那有些同學可能會問，我們有什么用的機制能夠系統(tǒng)和全面的發(fā)現(xiàn)這些問題，發(fā)現(xiàn)這些badcase，從而進行有針對性的用戶體驗改善的呢？

　　

　　在座許多同學來自學術界。在學術界做算法和工業(yè)界還是有很大的差異。學術和工業(yè)界做算法的共同點是“知己知彼”，學術界更多的是對如何做得更好，針對一個問題提出改善或提升。工業(yè)界除了如何做得更好，還需要知道誰做得不好？什么時候做得不好？哪里做得不好？比如，我們做算法的都知道，其實攝像頭和麥克風對采集是有要求的，如果采集效果不好，在這個基礎上，本來采集的語音效果就比較差，后續(xù)就很難提升，如果攝像頭本身只有360P，怎么可能做出高清視頻；使情況更糟糕的是深度學習技術對數(shù)據(jù)的依賴性，比如模型遇到完全沒碰見過的數(shù)據(jù)的時候，它的表現(xiàn)不可測。這就要求我們能從現(xiàn)網中發(fā)現(xiàn)各個環(huán)節(jié)的缺陷，不管是自研的，還是其他廠商的產品，都要做好音視頻質量的實時評估和檢測，能發(fā)現(xiàn)其中算法效果的不足和局限性。

　

　　此外還要做更進一步的細分及指標的定義。很多業(yè)界朋友交流到音視頻本身就是非常主觀的事物，如何把它細分指標到各個層面從而提升音視頻體驗是很困難的，但我們必須這樣做。

　　細節(jié)決定成敗，細節(jié)取決于什么，細節(jié)的第一步就取決于細分指標的定義，尤其對于我們做音視頻的同學而言都非常頭疼的的主觀感受指標。

　　視頻可以細分為視頻編解碼、視頻采集幀率、視頻接收碼率、屏幕分享幀率、屏幕分享接收碼率、視頻幀率的變化，視頻碼率的變化這些指標。

　　對于音頻更加主觀，處理環(huán)節(jié)更加多，同一個地方不同音頻設備會互相干擾，攝像頭間干擾可能性會比較小。所以為了對音頻做完整的監(jiān)控，我們將音頻指標分為7大類包括無聲、卡頓、漏回聲、降噪、嘯叫、音質采集、語音/音樂內容分類。這是初步的7個種類，針對每一個種類我們有進一步細致的劃分，比如卡頓問題是大家很困擾的，以前最早時卡頓問題我們一般認為是網絡不好。網絡通過丟包導致卡頓，經過進一步修復分析后，發(fā)現(xiàn)并不是這么簡單，網絡丟包，抖動導致的卡頓、前處理丟幀、播放側解碼失敗、3A處理導致的音量忽大忽小都會導致卡頓的發(fā)生。我們如果可以把細分指標都完善定義，那么就可以實現(xiàn)對會議音視頻體驗的一個完整的監(jiān)控。但是定義出來的指標是一方面，對騰訊會議這樣超過一億用戶的平臺，很多時候大盤的指標對于個體問題并不敏感。

　　這就帶來了第二個問題，要進行非常嚴格細致的場景分類。首先是比較基礎的根據(jù)設備類型、操作系統(tǒng)、軟件版本進行分類，如這個版本放音視頻沒有問題，但可能下一個版本可能就會出現(xiàn)bug。更難的是根據(jù)音視頻的內容所處場景進行分類，大家在開視頻會議時可能在家里，馬路上，辦公室等不同位置；音頻會議場景可能更多，家里、地鐵、商場、機場、車里，場景分類做出來后，這些具體指標在各個場景中會有不同的表現(xiàn)，對提高全網的質量有非常大的幫助。舉一個例子，嘯叫一旦發(fā)生，就有災難性的后果，所以我們的算法是一旦發(fā)生嘯叫就閉麥，避免嘯叫場景的發(fā)生。而嘯叫檢測本身帶來誤警，這是所有檢測都不可避免的，一旦誤警關麥時，我們會統(tǒng)計出全網關麥的指標。但只能看到指標是否有波動不知道如何使用是無效的。這時候我們就把場景進行細分，進而發(fā)現(xiàn)車載場景中，嘯叫指標明顯高于其他場景。大家可以分析一下原因，其實當汽車鳴笛的時候，是很有可能是被誤判為嘯叫的，這只是一個簡單的例子，還有其他如回聲、降噪都可以進行類似的分析進而發(fā)現(xiàn)我們算法的局限性和不足。

　　多維度分析包括跨緯度，不同設備在不同場景中，進行交叉維度分析，比如看回聲的指標的時候，我們會看在各個設備，以及各個聲學場景下的效果的上報，這樣可以發(fā)現(xiàn)很多有價值的信息。

　　現(xiàn)在和大家分享未來云會議的整個音視頻技術。

　

　　講到未來時，我們常常會思考現(xiàn)在的音視頻會議存在什么問題。

　　我經常開玩笑問朋友，誰最喜歡開線上視頻會議，開玩笑地說是項目經理最喜歡，原因是在開項目會議時，他不需要你說太多，只需要回答yes or no，不需要看見你，不需要知道你的心情，不需要知道你在什么樣的環(huán)境，只要關心項目版本的驗證發(fā)布及生產效率，對他來說有明確的目標及途經，于是線上會議于項目經理而言是非常好的提升生產力的效果。

　　誰最不喜歡開線上視頻會議呢？我閨女最不喜歡和我開視頻會議，每次最多不超過3分鐘就跑一邊去玩了、經過調研發(fā)現(xiàn)類似的情況還有團隊中的新同學入職時、每次有重要的事情和老板談時、BD第一次見客戶，你想和老板討論績效考核的時。這時候大家往往都會覺得視頻會議無法充分表達出想要的真正的意圖和目的。

　　

　　在工作中，人們溝通主要由三個目的。第一個是生產率；第二個是當你面對開放性命題需要討論、思維碰撞時候需要創(chuàng)新性的解決方案的時候；第三是建立和維護人際關系的溝通。對于第二和第三類的溝通，我們現(xiàn)在知道，線上會議和線下會議的體驗還是有蠻大的差距。

　　

　　這主要是因為，第二和第三類目的下的會議中的參會者，表達會有多種方式：文字語音帶有明確的目的和實施途徑，但是對于開放式的話題，更加需要的是面部表情及眼神接觸來達到充分的投入和交互，此外還有情感述求，比如尋求他人認同、支持、還需要將情感述求和實際開會場景結合起來，比如線下輕松休閑的會議可以去咖啡館開，嚴肅的會議可以去正式的會議室等等，這樣的訴求目前在線上會議上都是難以滿足的。

　

　　但是正在蓬勃發(fā)展的VR、AR技術也許可以彌補音視頻會議中上述的情景的不足，身體語言，面部表情可以通過VR/AR技術來彌補。它們在實時視頻會議中的一些作用，比如左圖的全息會議可以確保參會者的實時動作出現(xiàn)在全息投影中，彌補實時視頻會議中參會者面不和身體語言的的缺失，現(xiàn)在使用手機相機即可實現(xiàn)高質量的全息采集。右圖的VR技術，可以使參會者在會議中使用一些有意思的掛件、服裝等，更好的構建不同談話場景，為遠程會議增添與會議目的一致的各種環(huán)境等等。

　　由于時間限制，以上是我與大家分享的內容，希望對大家有所幫助，謝謝
　　來源：LiveVideoStack