FFMPEG教程06指導(dǎo)6：同步音頻

同步音頻現(xiàn)在我們已經(jīng)有了一個(gè)比較像樣的播放器。所以讓我們看一下還有哪些零碎的東西沒處理。上次，我們掩飾了一點(diǎn)同步問題，也就是同步音頻到視頻而不是其它的同步方式。我們將采用和視頻一樣的方式：做一個(gè)內(nèi)部視頻時(shí)鐘來(lái)記錄視頻線程播放了多久，然后同步音頻到上面去。后面我們也來(lái)看一下如何推而廣之把音頻和視頻都同步到外部時(shí)鐘。生成一個(gè)視頻時(shí)鐘現(xiàn)在我們要生成一個(gè)類似于上次我們的聲音時(shí)鐘的視頻時(shí)鐘：一個(gè)給出當(dāng)前視頻播放時(shí)間的內(nèi)部值。開始，你可能會(huì)想這和使用上一幀的時(shí)間戳來(lái)更新定時(shí)器一樣簡(jiǎn)單。但是，不要忘了視頻幀之間的時(shí)間間隔是很長(zhǎng)的，以毫秒為計(jì)量的。解決辦法是跟蹤另外一個(gè)值：我們?cè)谠O(shè)置上一幀時(shí)間戳的時(shí)候的時(shí)間值。于是當(dāng)前視頻時(shí)間值就是PTS_of_last_frame+(current_time-time_elapsed_since_PTS_value_was_set)。這種解決方式與我們?cè)诤瘮?shù)get_audio_clock中的方式很類似。所在在我們的大結(jié)構(gòu)體中，我們將放上一個(gè)雙精度浮點(diǎn)變量video_current_pts和一個(gè)64位寬整型變量,videocurrentptstime。時(shí)鐘更新將被放在videorefreshtimer函數(shù)中。voidvideo_refresh_timer(void*userdata){if(is->videost){i_schedule_refresh(is,1);}else{vp=&is->pictq[is->pictq_rindex]

is->video_current_pts=vp->pts;is->video_current_pts_time=av_gettime()不要忘記在streamcomponentopen函數(shù)中初始化它:現(xiàn)在我們需要一種得到信息的方式現(xiàn)在我們需要一種得到信息的方式:is->video_current_pts_time=av_gettime();doubleget_video_clock(VideoState*is){現(xiàn)在我們需要一種得到信息的方式現(xiàn)在我們需要一種得到信息的方式:doubledelta;delta=(av_gettime()-is->video_current_pts_time)/1000000.0returnis->video_current_pts+delta;提取時(shí)鐘但是為什么要強(qiáng)制使用視頻時(shí)鐘呢？我們更改視頻同步代碼以致于音頻和視頻不會(huì)試著去相互同步。想像一下我們讓它像ffplay一樣有一個(gè)命令行參數(shù)。所以讓我們抽象一樣這件事情：我們將做一個(gè)新的封裝函數(shù)get_master_clock，用來(lái)檢測(cè)av_sync_type變量然后決定調(diào)用get_audio_clock還是get_video_clock或者其它的想使用的獲得時(shí)鐘的函數(shù)。我們甚至可以使用電腦時(shí)鐘，這個(gè)函數(shù)我們叫做getexternalclock：enumAV_SYNC_AUDIO_MASTER,AV_SYNC_VIDEO_MASTER,AV_SYNC_EXTERNAL_MASTER,同步音頻現(xiàn)在是最難的部分：同步音頻到視頻時(shí)鐘。我們的策略是測(cè)量聲音的位置，把它與視頻時(shí)間比較然后算出我們需要修正多少的樣本數(shù)，也就是說：我們是否需要通過丟棄樣本的方式來(lái)加速播放還是需要通過插值樣本的方式來(lái)放慢播放？我們將在每次處理聲音樣本的時(shí)候運(yùn)行一個(gè)synchronize_audio的函數(shù)來(lái)正確的收縮或者擴(kuò)展聲音樣本。然而，我們不想在每次發(fā)現(xiàn)有偏差的時(shí)候都進(jìn)行同步，因?yàn)檫@樣會(huì)使同步音頻多于視頻包。所以我們?yōu)楹瘮?shù)synchronize_audio設(shè)置一個(gè)最小連續(xù)值來(lái)限定需要同步的時(shí)刻，這樣我們就不會(huì)總是在調(diào)整了。當(dāng)然，就像上次那樣，“失去同步”意味著聲音時(shí)鐘和視頻時(shí)鐘的差異大于我們的閾值。所以我們將使用一個(gè)分?jǐn)?shù)系數(shù)，叫c，所以現(xiàn)在可以說我們得到了N個(gè)失去同步的聲音樣本。失去同步的數(shù)量可能會(huì)有很多變化，所以我們要計(jì)算一下失去同步的長(zhǎng)度的均值。例如，第一次調(diào)用的時(shí)候，顯示出來(lái)我們失去同步的長(zhǎng)度為40ms，下次變?yōu)?0ms等等。但是我們不會(huì)使用一個(gè)簡(jiǎn)單的均值，因?yàn)榫嚯x現(xiàn)在最近的值比靠前的值要重要的多。所以我們將使用一個(gè)分?jǐn)?shù)系統(tǒng)，叫c，然后用這樣的公式來(lái)計(jì)算差異：diff_sum=new_diff+diff_sum*c。當(dāng)我們準(zhǔn)備好去找平均差異的時(shí)候，我們用簡(jiǎn)單的計(jì)算方式：avg_diff=diffsum*(1-c)。，注意：為什么會(huì)在這里？這個(gè)公式看來(lái)很神奇！嗯，它基本上是一個(gè)使用等比級(jí)數(shù)的加權(quán)平均值。我不知道這是否有名字(我甚至查過維基百科！)，但是如果想要更多的信息，這里是一個(gè)解釋/ffmpeg/weightedmean.html或者在/ffmpeg/weightedmeandL里。

現(xiàn)在我們已經(jīng)做得很好；我們已經(jīng)近似的知道如何用視頻或者其它的時(shí)鐘來(lái)調(diào)整音頻了。所以讓我們來(lái)計(jì)算一下要在添加和砍掉多少樣本，并且如何在“Shrinking/expandingbuffercode”部分來(lái)寫上代碼：if(fabs(avg_diff)>=is->audio_diff_threshold){wanted_size=samples_size+((int)(diff*is->audio_st->codec->sample_rate)*n);min_size=samples_size*((100-SAMPLE_CORRECTION_PERCENT_MAX)/100);max_size=samples_size*((100+SAMPLE_CORRECTION_PERCENT_MAX)/100);if(wanted_size<min_size){wanted_size=min_size;}elseif(wanted_size>max_size){wanted_size=max_size;}記住audio_length*(sample_rate*#ofchannels*2)就是audio_length秒時(shí)間的聲音的樣本數(shù)。所以，我們想要的樣本數(shù)就是我們根據(jù)聲音偏移添加或者減少后的聲音樣本數(shù)。我們也可以設(shè)置一個(gè)范圍來(lái)限定我們一次進(jìn)行修正的長(zhǎng)度，因?yàn)槿绻覀兏淖兊奶啵脩魰?huì)聽到刺耳的聲音。修正樣本數(shù)現(xiàn)在我們要真正的修正一下聲音。你可能會(huì)注意到我們的同步函數(shù)synchronize_audio返回了一個(gè)樣本數(shù)，這可以告訴我們有多少個(gè)字節(jié)被送到流中。所以我們只要調(diào)整樣本數(shù)為wanted_size就可以了。這會(huì)讓樣本更小一些。但是如果我們想讓它變大，我們不能只是讓樣本大小變大，因?yàn)樵诰彌_區(qū)中沒有多余的數(shù)據(jù)!所以我們必需添加上去。但是我們?cè)鯓觼?lái)添加呢？最笨的辦法就是試著來(lái)推算聲音，所以讓我們用已有的數(shù)據(jù)在緩沖的末尾添加上最后的樣本。if(wanted_size<samples_size){samples_size=wanted_size;}elseif(wantedsize>samplessize){I_d"uinto_t*samples_end,*q,intnb;nb=(samples_size-wanted_size);samples_end=(uint8_t*)samples+samples_size-n;q=samples_end+n;while(nb>0){memcpy(q,samples_end,n);q+=n;」='samples_size=wanted_size;}現(xiàn)在我們通過這個(gè)函數(shù)返回的是樣本數(shù)。我們現(xiàn)在要做的是使用它:voidaudio_callback(void*userdata,Uint8*stream,intlen){VideoState*is=(VideoState*)userdata;intlen1,audio_size;Idoublepts;while(len>0){if(is->audio_buf_index>=is->audio_buf_size){audio_size=audio_decode_frame(is,is->audio_buf,sizeof(is->audio_buf),&pts);if(audio_size<0){is->audio_buf_size=1024;memset(is->audio_buf,0,is->audio_buf_size);}else{audio_size=synchronize_audio(is,(int16_t*)is->audio_buf,audio_size,pts);is->audio_buf_size=audio_size;我們要做的是把函數(shù)synchronize_audio插入進(jìn)去。(同時(shí)，保證在初始化上面變量的時(shí)候檢查一下代碼，這些我沒有贅述)。結(jié)束之前的最后一件