之前在第四次評測的時候，由于測試的視頻都是比較短的，前幾天在播放時間比較較長的視頻的時候，發(fā)現(xiàn)音頻和視頻有時候會不同步，有時候會出現(xiàn)死機的狀況，因此寫了這篇作為前面測試的補充說明。
這是之前寫的帖子：AVI視頻播放——STM32F769I 圖像處理能力評測之四（http://bbs.eeworld.com.cn/thread-509522-1-1.html）
這次優(yōu)化主要針對音頻和視頻不同步，并增加了在任意時間節(jié)點播放視屏的功能。首先先說明一下音頻和視頻不同步的原因，由于之前視頻幀是通過計算幀率得出相鄰兩幀的間隔時間，再通過延時，來進行播放。但是音頻幀播放的采樣頻率并不是絕對的，比如AVI文件提供的音頻采樣頻率44100，而通過設(shè)置PLLI2S的時鐘作為SAI的時鐘源,這時會發(fā)現(xiàn)不能完全分配出44100的頻率，只能約等于44100。這時會出現(xiàn)一個問題，播放完所有的音頻幀所用的時間不是固定的，還有一個問題，每幀視頻幀的圖像的色彩豐富程度是不一樣的，因此解碼時間有長有短。舉個例子，播放20幀的視頻，相鄰兩幀的時間間隔為50ms，假如第一幀解碼時間為40ms,只需要延時10ms,就可以播放第二幀了。
如果第一幀解碼時間為100ms,按照之前視頻幀的算法，應該是不延時直接播放第二幀。但是這這種做法是錯的，根據(jù)幀率，此刻應該是播放第三幀，這時出現(xiàn)了時間與幀編號的偏移。視頻幀和音頻幀時間尺度不相等，就會出現(xiàn)畫面不同步的現(xiàn)象。
針對這些問題做了如下的修改：
1.對于存在視頻流和音頻流的AVI文件，視頻播放的總時間應該等于音頻流播放的時間。對于沒有音頻流的AVI文件，視頻播放的時間等于視頻幀總數(shù)除以視頻幀率。
2.對于存在視頻流和音頻流的AVI文件，要以音頻流作為時間尺度，計算出音頻和視頻的交錯時間比，當前視頻幀號等于音頻幀編號除以音頻和視頻的交錯時間比。這樣視頻幀就會緊跟音頻幀，而不至于出現(xiàn)畫面不同步。對于沒有音頻流的AVI文件，要計算出相鄰兩幀的時間間隔t。計算每幀視頻幀從解碼到顯示所用的時間t1，與時間間隔t進行比較。如果小于時間間隔，就延時t-t1，再播放下一幀，下一幀時間間隔依然為t；如果大于時間間隔t且小于2t，直接開始播放下一幀，計算下一幀時間間隔為2t-t1;如果大于2t,計算下一幀的編號等于t1除以t+當前視頻幀編號，下一幀時間間隔依然為t。
由于我在SDRAM中開辟兩個512KB的緩存區(qū)，用來存放視頻幀索引和音頻幀索引，由于空間比較小，不能播放長時間的視頻文件。如需播放，需要重新定義視頻幀索引和音頻幀索引空間的大小。具體的程序編寫，參照附件中的程序。
聯(lián)系客服
