手機(jī)設(shè)計(jì)的講座知識(shí)

1、手機(jī)設(shè)計(jì)講座(2)視訊多媒體手機(jī)之系統(tǒng)架構(gòu)規(guī)劃Vincent Chiang目前電子產(chǎn)業(yè)的設(shè)計(jì)動(dòng)能，無疑將很大的一部分集中在行動(dòng)終端，尤其是手機(jī)的開發(fā)上頭。就通訊環(huán)境來說，行動(dòng)通訊系統(tǒng)持續(xù)朝向更高傳輸量及IP化發(fā)展，在應(yīng)用上則帶動(dòng)了VoIP、email、簡(jiǎn)訊、Java Game甚至是VoD、Mobile TV等網(wǎng)絡(luò)、廣播服務(wù)的出現(xiàn)。這些應(yīng)用型態(tài)，對(duì)于行動(dòng)終端的設(shè)計(jì)都是新的挑戰(zhàn)，本文將著重于探討多媒體手機(jī)的開發(fā)及系統(tǒng)架構(gòu)規(guī)劃。 為了因應(yīng)多媒體的表現(xiàn)，今日的手機(jī)必須在軟硬件架構(gòu)上進(jìn)行必要的調(diào)整：首先是顯示器，除了屏幕的尺寸愈來愈大外，為提升顯示品質(zhì)，在分辨率上從qQVGA、QCIF，一路往QVGA升

2、級(jí)；面板技術(shù)上則從CSTN、A-TFT、LTPS，逐漸升級(jí)到OLED；此外，MVA、IPS等寬視角技術(shù)也愈來愈受重視。在多媒體的應(yīng)用功能上，包括了視訊（錄像、視訊節(jié)目等）、音訊（語音、音樂、影音效果等）和圖形（照片、游戲等），分別需要用到專門的處理技術(shù)，以及鏡頭、傳感器、處理器、存和顯示器等硬件系統(tǒng)配備。以照相功能為例，手機(jī)相機(jī)除了訴求更高分辨率、對(duì)動(dòng)態(tài)攝影要求具有SDTV視訊的捕捉能力外，光學(xué)伸縮鏡頭（Optical zoom）、手振校正功能及閃光燈都將是高階手機(jī)的附加功能。手機(jī)多媒體處理架構(gòu)隨著多媒體任務(wù)愈來愈繁重，單單依賴基頻已難以承受所有處理工作，因此應(yīng)用處理器（application

3、 processor）的角色就因應(yīng)而生。將應(yīng)用處理功能從基頻中分離出來，一方面可以分擔(dān)彼此的工作，另一方面則可以視市場(chǎng)的需求而各自調(diào)整、升級(jí)個(gè)別的功能，例如基頻可以專注于因應(yīng)通訊規(guī)格的變化，而支持GPRS/EDGE及WCDMA等多模功能。此外，系統(tǒng)業(yè)者也能依自己的需求來搭配這兩個(gè)單元。 應(yīng)用處理器在功能上的演進(jìn)壓力也很大，例如對(duì)照相功能得準(zhǔn)備再升級(jí)到三百萬，甚至是五百萬畫素，視訊上也得進(jìn)一步支持30ftp的VGA畫質(zhì)；在圖形處理方面，它得嵌入2D/3D繪圖引擎，以滿足游戲的臨場(chǎng)感；至于最新的應(yīng)用需求則是支持要DVB-H、T-DMB或Media FLO等行動(dòng)電視規(guī)格。由于業(yè)者的技術(shù)背景不同，目前

4、市場(chǎng)上應(yīng)用處理器的架構(gòu)作法也不盡相同，以處理器技術(shù)見長(zhǎng)的廠商提出采用高效能的單一ARM核心來處理所有工作的架構(gòu)；同時(shí)有更多人采用ARM加DSP的雙核心架構(gòu)，也就是將控制與訊號(hào)處理工作分流，由ARM的RISC核心主要進(jìn)行控制工作，大量的訊號(hào)加、譯碼工作則交給DSP來執(zhí)行。此外，有些專屬性應(yīng)用的處理工作非常消耗運(yùn)算資源，這時(shí)，應(yīng)用處理平臺(tái)中會(huì)考慮加入專屬的加速器來提升處理效能。由于手機(jī)中的應(yīng)用功能不斷增加，因此，在應(yīng)用處理平臺(tái)中加入包括視訊、音訊、2D/3D繪圖、PAN/WAN、安全和GPS定位等專屬功能加速器的分布式處理架構(gòu)，已成為多媒體手機(jī)的重要發(fā)展方向，請(qǐng)參考(圖一)。此架構(gòu)讓系統(tǒng)能以更低的

5、時(shí)脈頻率達(dá)成復(fù)雜的多媒體工作，并能降低主處理器的負(fù)荷。以Nomadik平臺(tái)為例，即是在ARM926EJ-S的主處理器核心外，搭配智能性視訊加速器（Smart video accelerator）和智能音訊加速器（Smart audio accelerator）、多媒體訊號(hào)處理器（MMDSP）、加速功能硬件（Acceleration hardware）等多顆可程序智能加速器來分擔(dān)在音訊和視訊上的前、后處理任務(wù)。圖一分布式處理模式（以Nomadik為例）資料來源：ST在任務(wù)執(zhí)行中，這些智能加速器在產(chǎn)生圖像、錄像、播放節(jié)目和雙向影音通訊時(shí)，能獨(dú)立且同時(shí)的運(yùn)作，進(jìn)而讓系統(tǒng)能在低耗電的條件下達(dá)成需求的應(yīng)

6、用菜單現(xiàn)，所提供處理動(dòng)力和存頻寬，足以驅(qū)動(dòng)1024x1024 pixels的屏幕；此外，這些復(fù)雜的加速器能獨(dú)立地與區(qū)域DMA和存資源一起工作，讓主處理器能在同一時(shí)間中更專注于處理應(yīng)用功能，或進(jìn)入省電狀態(tài)來延長(zhǎng)電池壽命。視訊處理單元在視訊壓縮技術(shù)方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相較之下，MPEG-4問世的時(shí)間較久，市場(chǎng)上采用的情況也較高，但H.264由于是最新的標(biāo)準(zhǔn)，能提供當(dāng)前最佳的視訊壓縮效能，并且已獲得MPEG/lS0和ITU兩大國(guó)際標(biāo)準(zhǔn)組織的支持，再加上它的適用圍極廣，所以自2003年標(biāo)準(zhǔn)推出后，即成了HDTV、HD-DVD、手機(jī)及視訊串流等業(yè)者非

7、常重視的規(guī)格。 不過，不同的視訊壓縮格式，由于規(guī)格復(fù)雜度不同，需要的運(yùn)算資源也不同；此外，編碼（encode）又比譯碼（decode）耗用更大的運(yùn)算資源。以MPEG-4為例，以軟件來做譯碼或許還可行，但若要以軟件來進(jìn)行編碼就會(huì)耗掉太多的系統(tǒng)運(yùn)算資源。類似地，不同的顯示器視訊品質(zhì)也意味著不同的運(yùn)算需求，例如若要以單一處理器來提供30 fps的VGA畫質(zhì)視訊，可能得用到GHz等級(jí)的處理器才跑得動(dòng)，不過，這在手機(jī)的環(huán)境下顯然是行不通的，因?yàn)榇朔桨傅暮碾娞@人，散熱也難以處理。在此情況下，專屬的視訊加速器就是最可行的方案。在Nomadik應(yīng)用平臺(tái)中的視訊視訊加速器，能針對(duì)MPEG-4的編譯碼提供30

8、fps的CIF畫質(zhì)、24 fps的VGA畫質(zhì)和384Kbit/s的傳輸率，也具備圖像前后處理的能力，如(圖二)。在視訊的編、譯碼上，除了運(yùn)算處理外，存的容量與架構(gòu)也是設(shè)計(jì)上的關(guān)鍵。舉例來說，以CIF的顯示器加上抓取緩沖（grab buffer）就需要1200 Kbyte以上才夠。若能開發(fā)一套智能性的動(dòng)作估計(jì)算法（motion estimation algorithm），就能大幅降低存大小和耗電性。Nomadik以48 Kbyte的on-chip SRAM來支持VGA視訊編碼，它用在視訊訊框的抓取和搜尋窗口的儲(chǔ)存，外部的存則被用于其余視訊功能的處理。此一作法降低了記憶處理的延遟，讓效能可以大幅提

9、升，同時(shí)也為改善了I/O和總線的設(shè)計(jì)，能進(jìn)一步降低耗電；此外，在成本上也因芯片尺寸的縮小而降低。此外，高品質(zhì)、低復(fù)雜性算法對(duì)于H.264的編譯碼也有很大的幫助，以ST來說，就已提出運(yùn)動(dòng)估算與速率控制算法，以及用于H.264譯碼的錯(cuò)誤檢測(cè)與隱藏算法，能讓譯碼器承擔(dān)并隱藏?cái)?shù)據(jù)封包損失，在無線封包網(wǎng)絡(luò)上實(shí)現(xiàn)IP網(wǎng)絡(luò)的最佳效能。圖二智能視訊加速器資料來源：ST音訊處理單元手機(jī)的基本功能，即在處理語音的通話音訊。但在多媒體手機(jī)中，音訊的處理任務(wù)愈來愈復(fù)雜，除了語音外，還要求具備多音調(diào)振鈴、MP3音樂、FM廣播及游戲音效，而且不能只是單聲道的效果，現(xiàn)在還要求能提供Hi-Fi立體聲的臨場(chǎng)感體驗(yàn)。 從單聲道到

10、立體聲，對(duì)手機(jī)音訊系統(tǒng)的設(shè)計(jì)是一種改革性的挑戰(zhàn)。一般而言，Hi-Fi是指16-bit立體聲品質(zhì)、以44.1kHz取樣的音訊，也就是CD音樂的規(guī)格；語音則是8-bit和8kHz的單聲道（mono）、低階品質(zhì)音訊。過去這兩個(gè)世界是井水不犯河水的，但今日在手機(jī)上得一并考慮設(shè)計(jì)才行了。在音訊編譯碼（CODEC）上，也有琳瑯滿的規(guī)格需要支持：針對(duì)音效的編碼就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；針對(duì)人類語音有LPC、CELP與ACELP等；其它還有MPEG-2、MPEG-4、H.264、VC-1等視聽節(jié)目的編碼格式。手機(jī)多媒體格式的市場(chǎng)趨勢(shì)請(qǐng)參考(

11、圖三)。圖三手機(jī)多媒體格式的應(yīng)用市場(chǎng)趨勢(shì)在Nomadik中具有一個(gè)音訊加速器，它是一個(gè)完全以C語言加以程序化的多媒體DSP（MMDSP）核心，此核心采用采用超長(zhǎng)指令集（very-long-instruction-word, VLIW）架構(gòu)，它的每個(gè)指令執(zhí)行為一個(gè)循環(huán)，而且完全是由C語言撰寫的程序，適用于與媒體容相關(guān)的處理，以及協(xié)議、負(fù)載平衡和多任務(wù)架構(gòu)等用途。此一音訊加速器能夠?qū)ΠˋAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等廣泛的數(shù)字音訊格式進(jìn)行加碼或譯碼，也支持SRS、WOW等3D音訊環(huán)繞效果，如(圖四)。圖四智能音訊加速器資料來源：ST硬件加速器為了

12、要進(jìn)一步降低耗電，有必要將硬件線路運(yùn)算器（hardwired operator）和MMDSP一起使用，這樣能保證即使在最糟的狀況下還有足夠的效能表現(xiàn)。低頻率的硬件負(fù)責(zé)處理動(dòng)作估計(jì)（motion estimation）、編碼轉(zhuǎn)換（transform coding）、變量長(zhǎng)度譯碼（variable length decoding）、圖像過濾（image filtering）和色彩轉(zhuǎn)換（color conversion）等需要大量MIPS計(jì)算的工作。軟件架構(gòu)剖析吸引人、負(fù)擔(dān)得起和互動(dòng)性的多媒體通訊、信息和娛樂將新的行動(dòng)服務(wù)中處處可見。但對(duì)軟件廠商和設(shè)備制造商來說，如果每次都要針對(duì)不同的無線平臺(tái)重新撰

13、寫同樣的應(yīng)用功能，自然是讓人很氣餒的經(jīng)驗(yàn)。Java這類run-time技術(shù)能支持下載游戲和應(yīng)用，但需要有足夠程序資源。有趣的多媒體應(yīng)用需要愈來愈多的資源和耗電，這對(duì)于體積小的手機(jī)設(shè)備是很大的挑戰(zhàn)。 要克服這些問題的一個(gè)務(wù)實(shí)方式，是采用開放多媒體接口的一般性架構(gòu)，而且是基于抽象硬件接口（hardware abstraction）的作法。在這個(gè)架構(gòu)同時(shí)提供上層和下層的觀點(diǎn)，上層的觀點(diǎn)提供應(yīng)用程序撰寫者一套針對(duì)特定操作系統(tǒng)的統(tǒng)一軟件接口，并對(duì)底層的處理器設(shè)計(jì)加以抽象化。在底層的部分包括多媒體加速器和影音編譯碼器，UART、USB及藍(lán)芽等通訊接口，以及LCD控制器、影像傳感器或照相機(jī)等一般性應(yīng)用外圍的

14、標(biāo)準(zhǔn)硬件接口；在中間的部分為涵蓋核心、設(shè)備驅(qū)動(dòng)程序和檔案系統(tǒng)的操作系統(tǒng)功能，以及多媒體架構(gòu)、語音及網(wǎng)絡(luò)的通訊架構(gòu)、Java和安全性架構(gòu)等等；上層的部分則是各種應(yīng)用功能，例如語音、游戲、簡(jiǎn)訊、瀏覽、PIM等等功能。這三層之間則透過底層API及高層API來進(jìn)行溝通，請(qǐng)參考(圖五)。圖五軟件架構(gòu)示意圖資料來源：ST結(jié)論目前行動(dòng)終端設(shè)備的應(yīng)用性不斷地延伸，其中最主要的趨勢(shì)自然是從單純語音走向消費(fèi)性娛樂的多媒體應(yīng)用功能。單以視訊應(yīng)用來說，就包括攝影（camcorder）、媒體播放（media player）、行動(dòng)電視、視訊（video telephony）等等，要提供這些應(yīng)用功能，今日的手機(jī)除了需要提升

15、鏡頭、傳感器、處理器、存和顯示器等硬件系統(tǒng)配備外，開發(fā)者還得面臨不少設(shè)計(jì)挑戰(zhàn)。 先進(jìn)的多媒體應(yīng)用平臺(tái)要能支持多重的視訊及音訊格式，以提供豐富的影音應(yīng)用功能；要支持更高的分辨率和傳輸、處理速度，以提升用戶的視聽感受經(jīng)驗(yàn)；在應(yīng)用處理負(fù)荷增加下，仍能保持或延長(zhǎng)電池的使用壽命。要克服這些挑戰(zhàn)，在設(shè)計(jì)上有必要采取更先進(jìn)的軟、硬技術(shù)與系統(tǒng)架構(gòu)。本文中針對(duì)多媒體手機(jī)的系統(tǒng)需求提出了分布式處理的加速器架構(gòu)，它能有效地降低系統(tǒng)的負(fù)荷，并滿足各種應(yīng)用的處理效能。在新興的多媒體應(yīng)用及服務(wù)上，除了考慮處理效能及展現(xiàn)品質(zhì)外，往往還得解決容的安全性的問題，因此，手機(jī)系統(tǒng)也需針對(duì)行動(dòng)商務(wù)（M-commerce）、身分證認(rèn)（authentication）和數(shù)字管理（DRM）等應(yīng)用做出安全的安全保障架構(gòu)，這和終端本身存的作法以及通訊系統(tǒng)的認(rèn)證機(jī)制息息相關(guān)，例如可用專屬的安全模塊存作法來儲(chǔ)存性的資料。最后，在通訊的世界中需要打造一個(gè)開放性的環(huán)境，才能讓這些容、應(yīng)用及服務(wù)遍及最多的用戶。目前有IMTC（International Mul