1.什么是多媒體容器
舉個例子,咱們平常所見的那種.rm .rmvb .mkv .avi視頻文件都是多媒體容器文件格式。所謂容器格式就是將不同的多媒體數(shù)據(jù)流(多條音頻流,字幕流和視頻流)聯(lián)合起來加到一個文件(載體)里面.播放的時候分別對各條多媒體數(shù)據(jù)流進行解碼。多媒體容器 (Multimedia Container)也稱為多媒體封裝格式,它不同于H.264、DivX、 MP3這類編碼格式,它只是為多媒體編碼提供了一個“外殼”。
2.多媒體容器文件格式
多媒體容器文件格式一般都包括文件頭部分、索引部分和多媒體數(shù)據(jù)部分(如圖1所示)。
文件頭部分
索引部分
多媒體數(shù)據(jù)部分
圖1
文件頭部分說明了多媒體數(shù)據(jù)符合的壓縮標準及規(guī)范信息,常見的多媒體數(shù)據(jù)的壓縮標準有:
1).MPEG(Moving Picture Experts Group)系列,MPEG系列包括MPEG視頻、MPEG音頻和MPEG系統(tǒng)(視音頻同步)三個部分,提供的視音頻編碼方案有MPEG-1、2、4,我們熟悉的VCD采用MPEG-1,DVD采用MPEG-2視頻壓縮方案。
MPEG系列MPEG運動圖象專家組開發(fā)的一系列視頻音頻編碼
視頻MPEG-1較早的視頻編碼,質(zhì)量比較差,主要用于 CD-ROM 存儲視頻,國內(nèi)最為大家熟悉的就是 VCD(Video CD),他的視頻編碼就是采用 MPEG-1。
MPEG-2在 MPEG-1 的基礎上開發(fā)的一種視頻編碼,它的質(zhì)量遠遠好于 MPEG-1,所以被運用在了 DVD-Video 上面,MPEG-2 是 DVD-Video 唯一指定的視頻編碼。MPEG-2 不光運用于 DVD-Video ,現(xiàn)在大部分 HDTV(高清電視)也采用 MPEG-2 編碼,分辨率達到了 1920x1080。由于 MPEG-2 的普及,本來為 HDTV 準備的 MPEG-3 最終宣告放棄。
MPEG-4為了應對網(wǎng)絡傳輸?shù)拳h(huán)境,傳統(tǒng)的 MPEG-1/2 已經(jīng)不能適應,所以促使了 MPEG-4 的誕生。MPEG-4 采用了一系列新技術,來滿足在低帶寬下傳輸較高視頻質(zhì)量的需求。DivX,XviD,MS MPEG4 都是采用的 MPEG-4 視頻編碼,除了在 DVDRip 上面的應用,3GPP 現(xiàn)在也接納了 MPEG-4 作為視頻編碼方案。MPEG-4的編碼理念是:MPEG-4標準同以前標準的最顯著的差別在于它是采用基于對象的編碼理念,即在編碼時將一幅景物分成若干在時間和空間上相互聯(lián)系的視頻音頻對象,分別編碼后,再經(jīng)過復用傳輸?shù)浇邮斩?,然后再對不同的對象分別解碼,從而組合成所需要的視頻和音頻。這樣既方便我們對不同的對象采用不同的編碼方法和表示方法,又有利于不同數(shù)據(jù)類型間的融合,并且這樣也可以方便的實現(xiàn)對于各種對象的操作及編輯。例如,我們可以將一個卡通人物放在真實的場景中,或者將真人置于一個虛擬的演播室里,還可以在互聯(lián)網(wǎng)上方便的實現(xiàn)交互,根據(jù)自己的需要有選擇的組合各種視頻音頻以及圖形文本對象。
MPEG-4 AVC它和 MPEG-4 是兩種不同的編碼,主要是在極低碼率下 MPEG-4 表現(xiàn)并不好,而 AVC 更加適合低帶寬傳輸。在高碼率上,AVC 的表現(xiàn)也要好過 MPEG-4,所以現(xiàn)在大有取代 MPEG-4 的趨勢。下一代 HD DVD 和 Blue Ray Disc 已經(jīng)正式接納 AVC 為視頻編碼方案之一,相信 AVC 的發(fā)展前途會非常好。
音頻MPEG Audio Layer 1/2也就是 MP1、MP2 ,較早的音頻編碼,是 MP3 的前身,主要用于 VCD,DVD,SVCD 的音頻編碼。
MPEG Audio Layer 3大名鼎鼎的 MP3,已經(jīng)成為網(wǎng)絡音頻的主流格式,能在 128kbps 的碼率接近 CD 音質(zhì)。
MPEG-2 AAC在 MPEG-2 上開發(fā)的一種新的音頻編碼,和傳統(tǒng)的 MPEG Audio 不兼容,它的質(zhì)量理論上高于 MP3,并且支持多聲道。在 96kbps 的碼率范圍內(nèi)就能接近 CD 音質(zhì),比 MP3 更加適合地碼率傳輸。
MPEG-4 AACAAC 已經(jīng)作為 MPEG-4 標準的音頻編碼,當然 MPEG-4 Audio 還有其他多種音頻編碼。
MPEG-4 AAC Plus采用了 SBR 頻帶復制技術的 AAC,SBR 技術能夠讓音頻編碼降低一半的碼率而音質(zhì)不會有太大改變,已經(jīng)成為 MPEG-4 標準的一部分。
MPEG-4 VQFNTT 開發(fā)的一種音頻格式,曾經(jīng)銷聲匿跡了一段時間,只在 Nero 里面見到過它的身影?,F(xiàn)在搭上 SBR 技術又進入了 MPEG-4 標準,似乎不甘心就這么被遺忘,據(jù)說在低比特率下表現(xiàn)比 aacPlus 更好。
MP3 PROMP3 加上 SBR 技術誕生的一種產(chǎn)品,但是并沒有得到多大推廣,更沒有進入標準。
MP3 Surround讓 MP3 插上多聲道的翅膀,F(xiàn)raunhofer 開發(fā)的又一種 MP3 升級產(chǎn)品,聽說 DivX 6 準備將它作為音頻編碼。Fraunhofer 一直都在圍繞著 MP3 升級,mp3PRO、MP3 Surround,這些產(chǎn)品都能和傳統(tǒng) MP3 兼容,但是隨著層出不窮的新編碼,不知道 MP3 還能走多遠。
2).H261、H263、H264系列
H.26X系列ITU國際電信聯(lián)盟”主導的編碼系列
H.261H.261是ITU-T為在綜合業(yè)務數(shù)字網(wǎng)(ISDN)上開展雙向聲像業(yè)務(可視電話、視頻會議)而制定的,它是最早的運動圖像壓縮標準,它詳細制定了視頻編碼的各個部分,包括運動補償?shù)膸g預測、DCT變換、量化、熵編碼,以及與固定速率的信道相適配的速率控制等部分。
H.263H.263是ITU-T為低于64kb/s的窄帶通信信道制定的視頻編碼標準,它是在H.261基礎上發(fā)展起來的。
H.263+H.263 的第二個版本,加入了許多新技術來擴展 H.263 的應用范圍。
H.263++在 H.263+ 上增加了幾個選項,來增強碼流在惡劣信道上的抗誤碼性能,同時提高增強編碼效率。
H.264也就是前面提到的 MPEG-4 AVC。H.264是由ISO/IEC與ITU-T組成的聯(lián)合視頻組(JVT)制定的新一代視頻壓縮編碼標準。在ISO/IEC中該標準命名為AVC (Advanced Video Coding),作為MPEG-4標準的第10個選項,又被稱為MPEG4-Part 10;在ITU-T中正式命名為H.264標準。H.264最具價值的部分無疑是更高的數(shù)據(jù)壓縮比。在同等的圖像質(zhì)量條件下,H.264的數(shù)據(jù)壓縮比能比當前DVD系統(tǒng)中使用的MPEG-2高2-3倍,比MPEG-4高1.5-2倍。專家告訴我們,H.264獲得優(yōu)越性能的代價是計算復雜度的大幅增加,例如分層設計、多幀參論、多模式運動估計、改進的幀內(nèi)預測等,這些都顯著提高了預測精度,從而獲得比其他標準好得多的壓縮性能。據(jù)估計,H.264編碼的計算復雜度大約相當于H.263(H.264的同系列標準)的3倍,解碼復雜度大約相當于H.263的2倍。與MPEG-2相比,H.264的計算復雜度要提高兩倍以上。
除了 ITU 與 ISO 開發(fā)的行業(yè)標準以外,還出現(xiàn)了幾種專用于因特網(wǎng)流媒體應用、廣受歡迎的專有解決方案,其中包括Real Networks Real Video (RV10)、Microsoft Windows Media Video 9 (WMV9) 系列、ON2 VP6 以及 Nancy等等
多媒體數(shù)據(jù)符合的規(guī)范信息可以包括視頻的分辨率、幀率,音頻的采樣率等。
索引部分:由于多媒體數(shù)據(jù)通常會被分成若干塊,各塊數(shù)據(jù)之間也可能是不連續(xù)存儲的,因此需要再索引部分建立多媒體數(shù)據(jù)的存儲位置索引(如圖2所示),其詳細顯示了視頻數(shù)據(jù)存儲位置索引,用來記錄相應數(shù)據(jù)塊的存儲位置的偏移量,由于各數(shù)據(jù)塊的大小可能不同,因此也可能需要在索引部分建立各種多媒體數(shù)據(jù)塊的尺寸大小索引,用來記錄相應數(shù)據(jù)塊的尺寸大小。此外在索引部分還建立了其他索引,比如音視頻同步索引等等。PC上播放這些多媒體容器文件時,一般是將索引一次性的全部放到內(nèi)存中,然后在播放中根據(jù)操作(快進、快退等)來通過數(shù)據(jù)索引得到所需的數(shù)據(jù)。這個貌似和項目里面的視頻信息文件的作用類似~~~
多媒體數(shù)據(jù)部分就是經(jīng)過壓縮的多媒體數(shù)據(jù),包括視頻數(shù)據(jù)、音頻數(shù)據(jù)、文本數(shù)據(jù)及其他多媒體數(shù)據(jù)。
視頻數(shù)據(jù)存儲位置索引音頻數(shù)據(jù)存儲位置索引
offset1 offset1
offset2 offset2
...... ......
offsetN offsetN
3.常見的容器舉例:
MPG/MPEG :MPEG編碼采用的容器,具有流的特性。里面又分為 PS,TS 等,PS 主要用于 DVD 存儲,TS 主要用于 HDTV。
AVI :最常見的音頻視頻容器。它可以容納多種類型的視頻編碼和音頻編碼,像VP6、DivX、XviD等視頻編碼和PCM、MP3、AC3等音頻編碼。
如果你發(fā)現(xiàn)原來的播放器突然打不開這種格式的avi文件了,那你就要考慮是不是碰到了n AVI。n AVI是 newAVI 的縮寫,是一個名為 ShadowRealm 的地下組織發(fā)展起來的一種新視頻格式。它是由 Microsoft ASF 壓縮算法的修改而來的(并不是想象中的 AVI),視頻格式追求的無非是壓縮率和圖象質(zhì)量,所以 NAVI 為了追求這個目標,改善了原始的 ASF 格式的一些不足,讓 NAVI 可以擁有更高的幀率(frame rate)。當然,這是犧牲 ASF 的視頻流特性作為代價的。概括來說, NAVI 就是一種去掉視頻流特性的改良型 ASF 格式,也可以被視為是非網(wǎng)絡版本的 ASF 。
VOB:DVD采用的容器格式,支持多視頻多音軌多字幕章節(jié)等。
另一種特點更為鮮明的媒體容器,它可容納MPEG-2視頻流、多個AC3、 DTS、THX、PCM音頻流、多個不同語言的圖形字幕流。
MP4 :MPEG-4編碼采用的容器,基于 QuickTime MOV 開發(fā),具有許多先進特性。
ASF/WMV :Windows Media 采用的容器,能夠用于流傳送,還能包容腳本等。
Microsoft公司推出的Advanced Streaming Format (ASF,高級流格式),也是一個在Internet上實時傳播多媒體的技術標準,Microsoft公司的野心很大,希圖用ASF取代QuickTime之類的技術標準。ASF的主要優(yōu)點包括:本地或網(wǎng)絡回放、可擴充的媒體類型、部件下載、以及擴展性等。ASF應用的主要部件是NetShow服務器和NetShow播放器。有獨立的編碼器將媒體信息編譯成ASF流,然后發(fā)送到NetShow服務器,再由NetShow服務器將ASF流發(fā)送給網(wǎng)絡上的所有NetShow播放器,從而實現(xiàn)單路廣播或多路廣播。這和Real系統(tǒng)的實時轉(zhuǎn)播則是大同小異。
WMV又是一種獨立于編碼方式的在Internet上實時傳播多媒體的技術標準,Microsoft公司希望用其取代QuickTime之類的技術標準以及WAV、AVI之類的文件擴展名。wmv的主要優(yōu)點包括:本地或網(wǎng)絡回放、可擴充的媒體類型、部件下載、可伸縮的媒體類型、流的優(yōu)先級化、多語言支持、環(huán)境獨立性、豐富的流間關系以及擴展性等。
RM/RMVB:RealMedia 采用的容器,用于流傳送。
RMVB影片格式比原先的RM多了VB兩字,在這里VB是VBR(Variable Bit Rate--可變比特率)的縮寫。在保證了平均采樣率的基礎上,設定了一般為平均采樣率兩倍的最大采樣率值,在處理較復雜的動態(tài)影像時也能得到比較良好的效果,處理一般靜止畫面時則靈活的轉(zhuǎn)換至較低的采樣率,有效的縮減了文件的大??!
MOV/QT:QuickTime 的容器,恐怕也是現(xiàn)今最強大的容器,甚至支持虛擬現(xiàn)實技術,Java 等,它的變種 MP4,3GP都沒有這么厲害。
QuickTime是Apple計算機公司開發(fā)的一種音頻、視頻文件格式,用于保存音頻和視頻信息,具有先進的視頻和音頻功能,被包括Apple Mac OS、Microsoft Windows 95/98/NT在內(nèi)的所有主流電腦平臺支持。QuickTime文件格式支持25位彩色,支持RLE、JPEG等領先的集成壓縮技術,提供150多種視頻效果,并配有提供了200多種MIDI兼容音響和設備的聲音裝置。新版的QuickTime進一步擴展了原有功能,包含了基于Internet應用的關鍵特性,能夠通過Internet提供實時的數(shù)字化信息流、工作流與文件回放功能,此外,QuickTime還采用了一種稱為QuickTime VR (簡作QTVR)技術的虛擬現(xiàn)實(Virtual Reality, VR)技術,用戶通過鼠標或鍵盤的交互式控制,可以觀察某一地點周圍360度的景像,或者從空間任何角度觀察某一物體。QuickTime以其領先的多媒體技術和跨平臺特性、較小的存儲空間要求、技術細節(jié)的獨立性以及系統(tǒng)的高度開放性,得到業(yè)界的廣泛認可,目前已成為數(shù)字媒體軟件技術領域的事實上的工業(yè)標準。國際標準化組織(ISO)最近選擇QuickTime文件格式作為開發(fā)MPEG 4規(guī)范的統(tǒng)一數(shù)字媒體存儲格式。
MKV:MKV它能把 Windows Media Video,RealVideo,MPEG-4 等視頻音頻融為一個文件,而且支持多音軌,支持章節(jié)字幕等。Matroska媒體定義了三種類型的文件:MKV是視頻文件,它里面可能還包含有音頻和字幕;MKA是單一的音頻文件,但可能有多條及多種類型的音軌;MKS是字幕文件。這三種文件以MKV最為常見。
最大的特點就是能容納多種不同類型編碼的視頻、音頻及字幕流,即使是非常封閉的RealMedia及QuickTime也被它包括進去了,并將它們的音視頻進行了重新組織來達到更好的效果??梢哉f是對傳統(tǒng)媒體格式的一次大顛覆!它現(xiàn)在幾乎變成了一個萬能的媒體容器。
WAV:一種音頻容器,大家常說的 WAV 就是沒有壓縮的 PCM 編碼,其實 WAV 里面還可以包括 MP3 等其他 ACM 壓縮編碼。
3GP:3GPP視頻采用的格式,主要用于流媒體傳送。3GPP 的視頻采用了 MPEG-4 和 H.263 兩種編碼,可能還將加入 H.264,音頻方面音樂壓縮采用 AAC,語音則采用先進的 AMR,另一個 aacPlus 隨著 V2 版本的推出,底碼率下的效果更加突出,也有望加入標準。
OGG:Ogg 項目采用的容器,具有流的特性,支持多音軌,章節(jié),字幕等。
OGM:Ogg 容器的變種,能夠支持基于 DirectShow 的視頻音頻編碼,支持章節(jié)等特性。
NSV:Nullsoft Video 的容器,用于流傳送。
Multimedia compression formats
Video compression ISO/
IECMJPEG ·
Motion JPEG 2000 ·
MPEG-1 ·
MPEG-2 (
Part 2) ·
MPEG-4 (
Part 2/ASP ·
Part 10/AVC) ·
HVCITU-TH.120 ·
H.261 ·
H.262 ·
H.263 ·
H.264 ·
H.265Others
AMV ·
AVS ·
Bink ·
CineForm ·
Cinepak ·
Dirac ·
DV ·
Indeo ·
Microsoft Video 1 ·
OMS Video ·
Pixlet ·
RealVideo ·
RTVideo ·
SheerVideo ·
Smacker ·
Sorenson Video & Sorenson Spark ·
Theora ·
VC-1 ·
VP6 ·
VP7 ·
VP8 ·
WMVAudio compression ISO/
IECMPEG-1 Layer III (MP3) ·
MPEG-1 Layer II ·
MPEG-1 Layer I ·
AAC ·
HE-AAC ·
MPEG-4 ALS ·
MPEG-4 SLS ·
MPEG-4 DSTITU-TG.711 ·
G.718 ·
G.719 ·
G.722 ·
G.722.1 ·
G.722.2 ·
G.723 ·
G.723.1 ·
G.726 ·
G.728 ·
G.729 ·
G.729.1Others
AC3 ·
AMR ·
AMR-WB ·
AMR-WB+ ·
Apple Lossless ·
ATRAC ·
DRA ·
DTS ·
FLAC ·
GSM-FR ·
GSM-EFR ·
iLBC ·
· MT9 ·
μ-law ·
Musepack ·
Nellymoser ·
OptimFROG ·
Original Sound Quality ·
RealAudio ·
RTAudio ·
SD2 ·
SHN ·
SILK ·
Siren ·
Speex ·
TwinVQ ·
Vorbis ·
WavPack ·
WMA ·
True AudioImage compression ISO/
IEC/
ITU-TJPEG ·
JPEG 2000 ·
JPEG XR ·
lossless JPEG ·
JBIG ·
JBIG2 ·
PNG ·
WBMPOthers
APNG ·
BMP ·
DjVu ·
EXR ·
GIF ·
ICER ·
ILBM ·
MNG ·
PCX ·
PGF ·
TGA ·
QTVR ·
TIFFMedia containers General
3GP and 3G2 ·
ASF ·
AVI ·
Bink ·
DMF ·
DPX ·
EVO ·
FLV ·
GXF ·
M2TS ·
Matroska ·
MPEG-PS ·
MPEG-TS ·
MP4 ·
MXF ·
Ogg ·
QuickTime ·
RealMedia ·
RIFF ·
Smacker ·
VOBAudio only
AIFF ·
AU ·
WAV