技術(shù)架構(gòu)上:
直播視頻采集SDK(PC/iOS/Android)——直播CDN
(直播流分發(fā)加速)——直播視頻播放器SDK(PC/IOS/Android)
音視頻處理:
數(shù)據(jù)采集—數(shù)據(jù)編碼—數(shù)據(jù)傳輸—解碼數(shù)據(jù)—播放
數(shù)據(jù)采集:
攝像機和拾音器收集視頻及音頻數(shù)據(jù),涉及技術(shù)攝像機為CCD、CMOS,拾音器為聲電轉(zhuǎn)換裝置、音頻放大電路
數(shù)據(jù)編碼:
使用相關(guān)硬件或軟件對音視頻原始數(shù)據(jù)進行編碼處理及加工,得到可用的音視頻數(shù)據(jù)。編碼方式通常為:CBR、VBR,編碼格式視頻常用H.264、AVI、MP4等,音頻為AAC、MP3等。
數(shù)據(jù)傳輸:
將編碼完成后的音視頻進行傳輸,現(xiàn)在傳輸方式多為CDN選擇距離用戶最近的服務(wù)器進行傳輸。
解碼:
使用相關(guān)硬件或軟件對接收到的編碼后的音視頻數(shù)據(jù)進行解碼,得到可以直接顯示的圖像/視頻。
播放顯示:
在顯示器或揚聲器里,顯示相應(yīng)的圖像畫面或聲音。
常見的視頻直播協(xié)議:
RTMP(real time messaging protocol,實時消息傳輸協(xié)議)
RTMP是Adobe Systemsg公司為flash播放器和服務(wù)器之間音頻、視頻和數(shù)據(jù)傳輸開發(fā)的開發(fā)協(xié)議。
RTMP協(xié)議是被Flash用于對象、音頻、視頻的傳輸。這個協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上。RTMP協(xié)議就像一個用來裝數(shù)據(jù)包的容器,這些數(shù)據(jù)既可以是AMF格式的數(shù)據(jù),也可以是FLV中的視音頻數(shù)據(jù),一個單一的連接可以通過不同的通道傳輸多路網(wǎng)絡(luò)流,這些通道中的包都是按照固定大小包傳輸?shù)摹?/p>
RTSP(real time streaming protocol,實時流傳輸協(xié)議)
RTSP定義了一對多應(yīng)用程序如何有效的通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù),RTSP提供了一個可擴展框架,數(shù)據(jù)源可以包括實時數(shù)據(jù)與已有的存儲的數(shù)據(jù),該協(xié)議目的在于控制多個數(shù)據(jù)發(fā)送連接,為選擇發(fā)送通道如:UDP、組播UDP與TCP提供途徑,并為選擇基于RTP上發(fā)送之際提供方法。
RTP(real transport protocol,實時傳輸協(xié)議)
RTP是針對多媒體數(shù)據(jù)流的一種傳輸層協(xié)議,詳細說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標準數(shù)據(jù)包格式。RTP協(xié)議常用于流媒體系統(tǒng)(配合RTCP協(xié)議使用),視頻會議和一鍵通系統(tǒng),使它成為IP電話產(chǎn)業(yè)的技術(shù)基礎(chǔ)。
RTP是建立在UDP協(xié)議上的,常與RTCP一起使用,其本身沒有提供按時發(fā)送機制或其它服務(wù)質(zhì)量保證,它依賴于底層服務(wù)去實現(xiàn)這一過程。
RTP并不保證傳送或防止無序傳送,也不確定底層網(wǎng)絡(luò)的可靠性,只管發(fā)送,不管傳輸是否丟包,也不管接收方是否收到包。RTP實行有序傳送,RTP中的序列號允許接收方重組發(fā)送方的包序列,同時序列號也能用于決定適當(dāng)?shù)陌恢?,如在視頻解碼中,就不需要順序解碼。
RTCP(real transport control protocol,實時傳輸控制協(xié)議)
RTCP是RTP的配套協(xié)議,為RTP媒體流提供信道外的控制,RTCP和RTP一起協(xié)作將多媒體數(shù)據(jù)打包和發(fā)送,定期在多媒體流會話參與者之間傳輸控制數(shù)據(jù)。
RTCP的主要功能是為RTP所提供的服務(wù)質(zhì)量提供反饋,收集相關(guān)媒體連接的統(tǒng)計信息,例如傳輸字數(shù)節(jié)數(shù),傳輸分組數(shù),丟失分組數(shù),單向和雙向網(wǎng)絡(luò)延遲等。網(wǎng)絡(luò)應(yīng)用程序可以利用RTCP所提供的信息來提高服務(wù)質(zhì)量,比如限制流量或改用壓縮比小的編解碼器。
聯(lián)系客服