WebRTC是一項(xiàng)在瀏覽器內(nèi)部進(jìn)行實(shí)時(shí)視頻和音頻通信的技術(shù)，是谷歌2010年以6820萬(wàn)美元收購(gòu)收購(gòu)Global IP Solutions公司而獲得一項(xiàng)技術(shù)。[1]

    WebRTC實(shí)現(xiàn)了基于網(wǎng)頁(yè)的視頻會(huì)議，標(biāo)準(zhǔn)是WHATWG 協(xié)議，目的是通過(guò)瀏覽器提供簡(jiǎn)單的javascript就可以達(dá)到實(shí)時(shí)通訊（Real-Time Communications (RTC)）能力。

    WebRTC提供了視頻會(huì)議的核心技術(shù)，包括音視頻的采集、編解碼、網(wǎng)絡(luò)傳輸、顯示等功能，并且還支持跨平臺(tái)：windows，linux，mac，android。

    谷歌2011年6月3日宣布向開(kāi)發(fā)人員開(kāi)放WebRTC架構(gòu)的源代碼。這個(gè)源代碼將根據(jù)沒(méi)有專(zhuān)利費(fèi)的BSD（伯克利軟件發(fā)布）式的許可證向用戶(hù)提供。[2]目前，開(kāi)發(fā)人員可訪問(wèn)并獲取WebRTC的源代碼、規(guī)格說(shuō)明和工具等。[1]

    視頻

    WebRTC的視頻部分，包含采集、編解碼(I420/VP8)、加密、媒體文件、圖像處理 <http://baike.baidu.com/view/14662.htm>、顯示、網(wǎng)絡(luò)傳輸與流控(RTP/RTCP)等功能。

    視頻采集---video_capture

    源代碼在webrtcmodulesvideo_capturemain目錄下，包含接口和各個(gè)平臺(tái)的源代碼。

    在windows平臺(tái)上，WebRTC采用的是dshow技術(shù)，來(lái)實(shí)現(xiàn)枚舉視頻的設(shè)備信息和視頻數(shù)據(jù)的采集，這意味著可以支持大多數(shù)的視頻采集設(shè)備；對(duì)那些需要單獨(dú)驅(qū)動(dòng)程序的視頻采集卡（比如海康 <http://baike.baidu.com/view/338471.htm>高清卡）就無(wú)能為力了。

    視頻采集支持多種媒體類(lèi)型，比如I420、YUY2、RGB、UYUY等，并可以進(jìn)行幀大小和幀率控制。

    視頻編解碼---video_coding

    源代碼在webrtcmodulesvideo_coding目錄下。

    WebRTC采用I420/VP8編解碼技術(shù)。VP8是google收購(gòu)ON2后的開(kāi)源實(shí)現(xiàn)，并且也用在WebM項(xiàng)目中。VP8能以更少的數(shù)據(jù)提供更高質(zhì)量的視頻，特別適合視頻會(huì)議這樣的需求。

    視頻加密--video_engine_encryption

    視頻加密是WebRTC的video_engine一部分，相當(dāng)于視頻應(yīng)用層面的功能，給點(diǎn)對(duì)點(diǎn)的視頻雙方提供了數(shù)據(jù)上的安全保證，可以防止在Web上視頻數(shù)據(jù)的泄漏。

    視頻加密在發(fā)送端和接收端進(jìn)行加解密視頻數(shù)據(jù)，密鑰由視頻雙方協(xié)商，代價(jià)是會(huì)影響視頻數(shù)據(jù)處理的性能；也可以不使用視頻加密功能，這樣在性能上會(huì)好些。

    視頻加密的數(shù)據(jù)源可能是原始的數(shù)據(jù)流，也可能是編碼后的數(shù)據(jù)流。估計(jì)是編碼后的數(shù)據(jù)流，這樣加密代價(jià)會(huì)小一些，需要進(jìn)一步研究。

    視頻媒體文件--media_file

    源代碼在webrtcmodulesmedia_file目錄下。

    該功能是可以用本地文件作為視頻源，有點(diǎn)類(lèi)似虛擬攝像頭 <http://baike.baidu.com/view/1366860.htm>的功能；支持的格式有Avi。

    另外，WebRTC還可以錄制音視頻到本地文件，比較實(shí)用的功能。

    視頻圖像處理--video_processing

    源代碼在webrtcmodulesvideo_processing目錄下。

    視頻圖像處理針對(duì)每一幀的圖像進(jìn)行處理，包括明暗度檢測(cè)、顏色增強(qiáng)、降噪處理等功能，用來(lái)提升視頻質(zhì)量。

    視頻顯示--video_render

    源代碼在webrtcmodulesvideo_render目錄下。

    在windows平臺(tái)，WebRTC采用direct3d9和directdraw的方式來(lái)顯示視頻，只能這樣，必須這樣。

    網(wǎng)絡(luò)傳輸與流控

    對(duì)于網(wǎng)絡(luò)視頻來(lái)講，數(shù)據(jù)的傳輸與控制是核心價(jià)值。WebRTC采用的是成熟的RTP/RTCP技術(shù)。

    音頻

    WebRTC的音頻部分，包含設(shè)備、編解碼(iLIBC/iSAC/G722/PCM16/RED/AVT、NetEQ)、加密、聲音文件、聲音處理、聲音輸出、音量控制、音視頻同步、網(wǎng)絡(luò)傳輸與流控(RTP/RTCP)等功能。

    音頻設(shè)備---audio_device

    源代碼在webrtcmodulesaudio_devicemain目錄下，包含接口和各個(gè)平臺(tái)的源代碼。

    在windows平臺(tái)上，WebRTC采用的是Windows Core Audio和Windows Wave技術(shù)來(lái)管理音頻設(shè)備，還提供了一個(gè)混音 <http://baike.baidu.com/view/226512.htm>管理器。

    利用音頻設(shè)備，可以實(shí)現(xiàn)聲音輸出，音量控制等功能。

    音頻編解碼---audio_coding

    源代碼在webrtcmodulesaudio_coding目錄下。

    WebRTC采用iLIBC/iSAC/G722/PCM16/RED/AVT編解碼技術(shù)。

    WebRTC還提供NetEQ功能---抖動(dòng)緩沖器及丟包補(bǔ)償模塊，能夠提高音質(zhì)，并把延遲減至最小。

    另外一個(gè)核心功能是基于語(yǔ)音會(huì)議的混音處理。

    聲音加密--voice_engine_encryption

    和視頻一樣，WebRTC也提供聲音加密功能。

    聲音文件

    該功能是可以用本地文件作為音頻源，支持的格式有Pcm和Wav。

    同樣，WebRTC也可以錄制音頻到本地文件。

    聲音處理--audio_processing

    源代碼在webrtcmodulesaudio_processing目錄下。

    聲音處理針對(duì)音頻數(shù)據(jù)進(jìn)行處理，包括回聲消除(AEC)、AECM、自動(dòng)增益(AGC)、降噪處理等功能，用來(lái)提升聲音質(zhì)量。

    網(wǎng)絡(luò)傳輸與流控

    和視頻一樣，WebRTC采用的是成熟的RTP/RTCP技術(shù)。 

上一篇:語(yǔ)音技術(shù)

下一篇:FFmpeg開(kāi)源免費(fèi)跨平臺(tái)的視頻和音頻流方案