WebRTC 架構(gòu)

 

(2) Web API
面向第三方開發(fā)者的WebRTC標準API（Javascript），使開發(fā)者能夠容易地開發(fā)出類似于網(wǎng)絡(luò)視頻聊天的web應(yīng)用，最新的標準化進程可以查看這里。

(3) WebRTC Native C++ API
本地C++ API層，使瀏覽器廠商容易實現(xiàn)WebRTC標準的Web API，抽象地對數(shù)字信號過程進行處理。

 

傳輸/會話層

會話層組件采用了libjingle庫的部分組件實現(xiàn)，無須使用xmpp/jingle協(xié)議

a.  RTP Stack協(xié)議棧
Real Time Protocol

b.  STUN/ICE
可以通過STUN和ICE組件來建立不同類型網(wǎng)絡(luò)間的呼叫連接。

c.  Session Management
一個抽象的會話層，提供會話建立和管理功能。該層協(xié)議留給應(yīng)用開發(fā)者自定義實現(xiàn)。

 

(5) VoiceEngine
音頻引擎是包含一系列音頻多媒體處理的框架，包括從視頻采集卡到網(wǎng)絡(luò)傳輸端等整個解決方案。
PS：VoiceEngine是WebRTC極具價值的技術(shù)之一，是Google收購GIPS公司后開源的。在VoIP上，技術(shù)業(yè)界領(lǐng)先，后面的文章會詳細了解

 

Internet Speech Audio Codec

針對VoIP和音頻流的寬帶和超寬帶音頻編解碼器，是WebRTC音頻引擎的默認的編解碼器
采樣頻率：16khz，24khz，32khz；（默認為16khz）
自適應(yīng)速率為10kbit/s ~ 52kbit/；
自適應(yīng)包大小：30~60ms；
算法延時：frame + 3ms

 

b.  iLBC
Internet Low Bitrate Codec
VoIP音頻流的窄帶語音編解碼器
采樣頻率：8khz；
20ms幀比特率為15.2kbps
30ms幀比特率為13.33kbps
標準由IETF RFC3951和RFC3952定義

c.  NetEQ for Voice

針對音頻軟件實現(xiàn)的語音信號處理元件

NetEQ算法：自適應(yīng)抖動控制算法以及語音包丟失隱藏算法。使其能夠快速且高解析度地適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境，確保音質(zhì)優(yōu)美且緩沖延遲最小。

是GIPS公司獨步天下的技術(shù)，能夠有效的處理由于網(wǎng)絡(luò)抖動和語音包丟失時候?qū)φZ音質(zhì)量產(chǎn)生的影響。

PS：NetEQ 也是WebRTC中一個極具價值的技術(shù)，對于提高VoIP質(zhì)量有明顯效果，加以AEC\NR\AGC等模塊集成使用，效果更好。

 

d.  Acoustic Echo Canceler (AEC)
回聲消除器是一個基于軟件的信號處理元件，能實時的去除mic采集到的回聲。

 

e.  Noise Reduction (NR)
噪聲抑制也是一個基于軟件的信號處理元件，用于消除與相關(guān)VoIP的某些類型的背景噪聲（嘶嘶聲，風(fēng)扇噪音等等… …）

 

(6) VideoEngine
WebRTC視頻處理引擎
VideoEngine是包含一系列視頻處理的整體框架，從攝像頭采集視頻到視頻信息網(wǎng)絡(luò)傳輸再到視頻顯示整個完整過程的解決方案。

 

a.  VP8
視頻圖像編解碼器，是WebRTC視頻引擎的默認的編解碼器
VP8適合實時通信應(yīng)用場景，因為它主要是針對低延時而設(shè)計的編解碼器。
PS:VPx編解碼器是Google收購ON2公司后開源的，VPx現(xiàn)在是WebM項目的一部分，而WebM項目是Google致力于推動的HTML5標準之一

 

b.  Video Jitter Buffer
視頻抖動緩沖器，可以降低由于視頻抖動和視頻信息包丟失帶來的不良影響。

 

c.  Image enhancements
圖像質(zhì)量增強模塊
對網(wǎng)絡(luò)攝像頭采集到的圖像進行處理，包括明暗度檢測、顏色增強、降噪處理等功能，用來提升視頻質(zhì)量。