大數(shù)據(jù)研究現(xiàn)狀探討課件

1/42基于云平臺(tái)（云數(shù)據(jù)）？大數(shù)據(jù)描述理論、處理與分析架構(gòu)、應(yīng)用領(lǐng)域？

大數(shù)據(jù)研究現(xiàn)狀探討沈來信2013年12月20日1/42基于云平臺(tái)（云數(shù)據(jù)）？大數(shù)據(jù)研究現(xiàn)狀探討沈來信2/42大數(shù)據(jù)是數(shù)據(jù)庫的自然延伸?忘不掉ACID，舍不得Relation，忽視實(shí)際應(yīng)用潛意識(shí)地奉行“一招鮮”(OneSizeFitsAll)結(jié)構(gòu)化+半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)（二八原則）管理和處理需求

--落實(shí)“OneSizeFitsaBunch”

--查詢／檢索／統(tǒng)計(jì)／挖掘

--離線／在線／即時(shí)／連續(xù)

--本地／遠(yuǎn)程／“云”?可回溯的可視化分析

--事務(wù)型與分析型--多領(lǐng)域應(yīng)用（教育、醫(yī)療、交通……）2/42大數(shù)據(jù)是數(shù)據(jù)庫的自然延伸?忘不掉ACID，舍不得Re大數(shù)據(jù)常用的處理框架流處理（直接處理）和批處理（先存儲(chǔ)后處理）流處理：

數(shù)據(jù)持續(xù)到達(dá)，速度快，規(guī)模巨大，不永久存儲(chǔ)，數(shù)據(jù)不斷變化--》難以掌握全貌；

代表的開源系統(tǒng)：Twitter的storm、Yahoo的S4、Linkedin的kafka批處理：MapReduce1)

將問題分而治之2）把計(jì)算推到數(shù)據(jù)而不是把數(shù)據(jù)推到計(jì)算，避免數(shù)據(jù)傳輸過程中產(chǎn)生的大量通信開銷3/42大數(shù)據(jù)常用的處理框架流處理（直接處理）和批處理（先存儲(chǔ)后處理大數(shù)據(jù)研究現(xiàn)狀探討課件5/420-大數(shù)據(jù)與云計(jì)算、云平臺(tái)Hadoop（數(shù)據(jù)密集型分布式應(yīng)用，Apache）--分布式數(shù)據(jù)處理MapReduce（并行計(jì)算框架）--分布式文件系統(tǒng)HDFS（google的DFS基礎(chǔ)上）--分布式數(shù)據(jù)庫Hbase（Nosql,列,BigTable）--數(shù)據(jù)倉庫工具Hive（Facebook）--分布式鎖Zookeeper（Facebook）--大數(shù)據(jù)分析平臺(tái)Pig（提供多種接口）--管理工具Ambari（監(jiān)控、部署、管理）--Sqoop：在集群與傳統(tǒng)數(shù)據(jù)庫間的數(shù)據(jù)傳遞5/420-大數(shù)據(jù)與云計(jì)算、云平臺(tái)Hadoop（數(shù)據(jù)密集型分00分布式集群Hadoop6/4200分布式集群Hadoop6/4201并行計(jì)算框架Mapreduce7/4201并行計(jì)算框架Mapreduce7/4202分布式文件系統(tǒng)HDFS8/4202分布式文件系統(tǒng)HDFS8/4203分布式NoSql列數(shù)據(jù)庫Hbase03分布式NoSql列數(shù)據(jù)庫Hbase04數(shù)據(jù)倉庫Hive04數(shù)據(jù)倉庫Hive05腳本語言Pig05腳本語言PigGoogle后Hadoop時(shí)代的新三駕馬車Dremel：web數(shù)據(jù)級(jí)別的交互式數(shù)據(jù)分析系統(tǒng)

列存儲(chǔ)、多層次查詢樹，毫秒級(jí)海量數(shù)據(jù)分析Caffeine：為Google網(wǎng)絡(luò)搜索引擎提供支持，能夠更迅速的添加新的鏈接到自身大規(guī)模的網(wǎng)站索引系統(tǒng)中，丟棄MapReduce轉(zhuǎn)而將索引放置在分布式數(shù)據(jù)庫BigTable上Pregel：主要繪制大量網(wǎng)上信息之間關(guān)系的“圖形數(shù)據(jù)庫”Google后Hadoop時(shí)代的新三駕馬車Dremel：we13/421-Brighthouse:AnAnalyticDataWarehouseforad-hocQueriesPVLDB’08DominikSlezak,Infobright,inc.,PolandAnAnalyticDataWarehouseforAd-hocQueriesColumn-orienteddatawarehousewithautomaticallytuned（基于列的自調(diào)整數(shù)據(jù)倉庫）Datamanagement：DP、DPN、KN粗集Roughset+粒度計(jì)算GranularComputing知識(shí)網(wǎng)格KnowledgeGrid優(yōu)化與執(zhí)行OptimizationandExecution13/421-Brighthouse:AnAnalyti14/42DP(DataPack)、DPN（DataPackNode）、KN（KnowledgeNode）14/42DP(DataPack)、DPN（DataPa15/42行存儲(chǔ)、列存儲(chǔ)比較15/42行存儲(chǔ)、列存儲(chǔ)比較數(shù)據(jù)塊（DataPacks）數(shù)據(jù)塊（DataPacks）知識(shí)網(wǎng)格（KonwledgeGrid）知識(shí)網(wǎng)格（KonwledgeGrid）18/42知識(shí)網(wǎng)格（KonwledgeGrid）18/42知識(shí)網(wǎng)格（KonwledgeGrid）19/422-Starfish:ASelf-tuningSystemforbigdataanalyticsCIDR’11-HerodotosHerodotou,DukeUniversityTimelyandcost-effectiveanalytics（及時(shí)，效益）ASelf-tuningsystem（自調(diào)整）BasedonHadoop（基于Hadoop）ExtensibleMapReduceexecutionengine（可擴(kuò)展）Pluggabledistributedstorageengines（插拔式）MAD（吸引力Magnetism\靈活A(yù)gility\深度Depth）19/422-Starfish:ASelf-tuning20/4220/42大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件3希爾伯特技術(shù)HilberttechnologyHilberttechnologyOrganizing&Analyzing；Large&Media；Patented；Costeffective；Search；Clustering&Categorization；DataConsolidation；DataQualityUltraHigh-Speed；SmartProcesses；Ad-hocFlexibility；Scale&ConsolidateSpeed；Flexibility；Smartness；Scalability25/423希爾伯特技術(shù)HilberttechnologyHilb大數(shù)據(jù)研究現(xiàn)狀探討課件27/4227/42大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件4-Extreme-PointSymmetricModeDecompositionMethodforDataAnalysis極點(diǎn)對(duì)稱模態(tài)分解方法;在HHT基礎(chǔ)上四點(diǎn)創(chuàng)新：-使用更多個(gè)內(nèi)插值曲線去實(shí)現(xiàn)篩選過程（1,2,3…）-最后的剩余作為最優(yōu)曲線，擁有一定數(shù)目的極值點(diǎn)，而不是帶有自多一個(gè)極值點(diǎn)的一般趨勢(shì)-使用極值點(diǎn)對(duì)稱取代包絡(luò)線對(duì)稱-使用基于數(shù)據(jù)的直接插值方法去計(jì)算瞬時(shí)頻率和振幅

-確定一個(gè)優(yōu)化全局平均曲線時(shí)，使用的自適應(yīng)方法，比一般的最小二乘法和平均運(yùn)行方法要好；-確定瞬時(shí)頻率和振幅，用的是直接的方法，比希爾伯特譜更好-這些將提高自適應(yīng)的數(shù)據(jù)分析，可用在大氣和海洋科學(xué)、信息學(xué)、經(jīng)濟(jì)學(xué)、生態(tài)學(xué)、醫(yī)藥、地震等領(lǐng)域4-Extreme-PointSymmetricMode4.1-經(jīng)驗(yàn)?zāi)B(tài)分解EMD

（EmpiricalModeDecomposition）:EMD方法在理論上可以應(yīng)用于任何類型的時(shí)間序列（信號(hào)）的分解該方法的關(guān)鍵是它能使復(fù)雜信號(hào)分解為有限個(gè)本征模函數(shù)（IntrinsicModeFunction，簡稱IMF），所分解出來的各IMF分量包含了原信號(hào)的不同時(shí)間尺度的局部特征信號(hào)。EMD分解方法是基于以下假設(shè)條件：

（1）數(shù)據(jù)至少有兩個(gè)極值，一個(gè)最大值和一個(gè)最小值；

（2）數(shù)據(jù)的局部時(shí)域特性是由極值點(diǎn)間的時(shí)間尺度唯一確定；

（3）如果數(shù)據(jù)沒有極值點(diǎn)但有拐點(diǎn)，則可以通過對(duì)數(shù)據(jù)微分一次或多次求得極值，然后再通過積分來獲得分解結(jié)果。經(jīng)驗(yàn)?zāi)B(tài)分解的基本思想：將一個(gè)頻率不規(guī)則的波化為多個(gè)單一頻率的波+殘波的形式。原波形=∑IMFs+余波。4.1-經(jīng)驗(yàn)?zāi)B(tài)分解EMD

（EmpiricalMode4.2-篩選過程（Sifting）這種方法的本質(zhì)是通過數(shù)據(jù)的特征時(shí)間尺度來獲得本征波動(dòng)模式，然后分解數(shù)據(jù)。這種分解過程可以形象地稱之為“篩選（sifting）”過程。分解過程是：-找出原數(shù)據(jù)序列X（t）所有的極大值點(diǎn)并用三次樣條插值函數(shù)擬合形成原數(shù)據(jù)的上包絡(luò)線；-同樣，找出所有的極小值點(diǎn)，并將所有的極小值點(diǎn)通過三次樣條插值函數(shù)擬合形成數(shù)據(jù)的下包絡(luò)線-上包絡(luò)線和下包絡(luò)線的均值記作ml，將原數(shù)據(jù)序列X(t）減去該平均包絡(luò)ml，得到一個(gè)新的數(shù)據(jù)序列hl：X(t)-ml=hl

由原數(shù)據(jù)減去包絡(luò)平均后的新數(shù)據(jù)，若還存在負(fù)的局部極大值和正的局部極小值，說明這還不是一個(gè)本征模函數(shù)，需要繼續(xù)進(jìn)行“篩選”。4.2-篩選過程（Sifting）這種方法的本質(zhì)是通過數(shù)據(jù)的4.3-EMD實(shí)例—金融1例如滬指的IMF如下圖所僅僅示意的最后4個(gè)低頻IMF函數(shù)序列：上圖中的IMF1---IMF3疊合起來，就基本可以重構(gòu)出滬指的走勢(shì)：基本與股指一致，類似與一根均線。4.3-EMD實(shí)例—金融1例如滬指的IMF如下圖所僅僅示意的4.4-EMD實(shí)例—金融2從上面的分解到重構(gòu)的過程看：其實(shí)就是個(gè)減法到加法的過程，減法求異，剝離出頻率（周期）大致相同的IMF，而加法求同，回到原波形。余波其實(shí)是個(gè)趨勢(shì)線，即頻率極低（周期很長）的波，可以看成是個(gè)基底，其它IMF都建筑在它之上。4.4-EMD實(shí)例—金融2從上面的分解到重構(gòu)的過程看：其實(shí)就4.4-EMD實(shí)例—金融3有意思的是，篩選出的本征模函數(shù)IMF（包括余波）可以代表實(shí)在的物理意義，即其震動(dòng)模式必然地對(duì)應(yīng)有物理成因。而在股指分解出的IMF則應(yīng)該對(duì)應(yīng)宏觀經(jīng)濟(jì)成因。比如第一幅圖中的IMF2就與CPI或PPI走勢(shì)幾乎一致，且周期也一致；而IMF1則與平滑后季度GDP增長率基本一致，也與發(fā)電量或工業(yè)增加值的大趨勢(shì)大體一致。也就是說，這種新穎的技術(shù)分析也得出：股指是反映宏觀基本面的。我國的CPI這10幾年來一直遵循大概42個(gè)月的循環(huán)規(guī)律，可以用一個(gè)正弦波形象之。而IMF則是幾個(gè)正弦波的復(fù)合結(jié)果。浮動(dòng)頻率法僅是找出信號(hào)序列中的實(shí)際頻率，而IMF是既找出浮動(dòng)頻率也找出包括不同振幅的復(fù)雜信號(hào)序列中的震動(dòng)模態(tài)序列。IMF更接近實(shí)際的時(shí)間序列。嘗試把二者結(jié)合起來是個(gè)可能的路徑。4.4-EMD實(shí)例—金融3有意思的是，篩選出的本征模函數(shù)IMPerformanceofESMD_IPerformanceofESMD_IPerformanceofESMD_varianceratiovPerformanceofESMD_variancer一些想法與困惑Hadoop+Brighthouse？Dremel+Caffeine？云計(jì)算與大數(shù)據(jù)如何結(jié)合？網(wǎng)格計(jì)算與大數(shù)據(jù)？大數(shù)據(jù)OLAP方案？大數(shù)據(jù)OLTP方案？大數(shù)據(jù)到底是什么？如何表述與建模？大數(shù)據(jù)的理論基礎(chǔ)？大數(shù)據(jù)可計(jì)算的基礎(chǔ)理論？重要擴(kuò)展與證明“大數(shù)據(jù)的正確性”與應(yīng)用的“出錯(cuò)根源”能量、綠色計(jì)算、安全？領(lǐng)域應(yīng)用與大數(shù)據(jù)的計(jì)算理論希爾伯特空間--勒貝格測(cè)度--優(yōu)美圖--標(biāo)號(hào)--大數(shù)據(jù)一些想法與困惑Hadoop+Brighthouse？DremWSN測(cè)量+大數(shù)據(jù)+領(lǐng)域應(yīng)用？國家基金面上項(xiàng)目/國家基金重點(diǎn)項(xiàng)目/國家基金重大項(xiàng)目國家基金超級(jí)大項(xiàng)目國家基金委主任楊衛(wèi)半年來的足跡：-3月12日卸任浙大校長任基金委主任；-5月21日調(diào)研國家天文臺(tái)觀測(cè)基地，霧霾檢測(cè)和環(huán)境氣象業(yè)務(wù)、青藏高原大氣科學(xué)試驗(yàn)-10月份相應(yīng)調(diào)研中科院化學(xué)所、理化所、北大，人大；會(huì)見美國駐華大使駱家輝到12月19日到同濟(jì)談到國家要立項(xiàng)有關(guān)霧霾檢測(cè)、環(huán)境氣象的國家基金超級(jí)大項(xiàng)目系列課題WSN測(cè)量+大數(shù)據(jù)+領(lǐng)域應(yīng)用？國家基金面上項(xiàng)目/國家基金重點(diǎn)祝賀王老師國家文物局項(xiàng)目立項(xiàng)“ADSN的大數(shù)據(jù)古民居實(shí)時(shí)探測(cè)與分析系統(tǒng)研究”交流！謝謝！42/42祝賀王老師國家文物局項(xiàng)目立項(xiàng)“ADSN的大數(shù)據(jù)古民居實(shí)時(shí)探測(cè)43/42基于云平臺(tái)（云數(shù)據(jù)）？大數(shù)據(jù)描述理論、處理與分析架構(gòu)、應(yīng)用領(lǐng)域？

大數(shù)據(jù)研究現(xiàn)狀探討沈來信2013年12月20日1/42基于云平臺(tái)（云數(shù)據(jù)）？大數(shù)據(jù)研究現(xiàn)狀探討沈來信44/42大數(shù)據(jù)是數(shù)據(jù)庫的自然延伸?忘不掉ACID，舍不得Relation，忽視實(shí)際應(yīng)用潛意識(shí)地奉行“一招鮮”(OneSizeFitsAll)結(jié)構(gòu)化+半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)（二八原則）管理和處理需求

--落實(shí)“OneSizeFitsaBunch”

--查詢／檢索／統(tǒng)計(jì)／挖掘

--離線／在線／即時(shí)／連續(xù)

--本地／遠(yuǎn)程／“云”?可回溯的可視化分析

--事務(wù)型與分析型--多領(lǐng)域應(yīng)用（教育、醫(yī)療、交通……）2/42大數(shù)據(jù)是數(shù)據(jù)庫的自然延伸?忘不掉ACID，舍不得Re大數(shù)據(jù)常用的處理框架流處理（直接處理）和批處理（先存儲(chǔ)后處理）流處理：

數(shù)據(jù)持續(xù)到達(dá)，速度快，規(guī)模巨大，不永久存儲(chǔ)，數(shù)據(jù)不斷變化--》難以掌握全貌；

代表的開源系統(tǒng)：Twitter的storm、Yahoo的S4、Linkedin的kafka批處理：MapReduce1)

將問題分而治之2）把計(jì)算推到數(shù)據(jù)而不是把數(shù)據(jù)推到計(jì)算，避免數(shù)據(jù)傳輸過程中產(chǎn)生的大量通信開銷45/42大數(shù)據(jù)常用的處理框架流處理（直接處理）和批處理（先存儲(chǔ)后處理大數(shù)據(jù)研究現(xiàn)狀探討課件47/420-大數(shù)據(jù)與云計(jì)算、云平臺(tái)Hadoop（數(shù)據(jù)密集型分布式應(yīng)用，Apache）--分布式數(shù)據(jù)處理MapReduce（并行計(jì)算框架）--分布式文件系統(tǒng)HDFS（google的DFS基礎(chǔ)上）--分布式數(shù)據(jù)庫Hbase（Nosql,列,BigTable）--數(shù)據(jù)倉庫工具Hive（Facebook）--分布式鎖Zookeeper（Facebook）--大數(shù)據(jù)分析平臺(tái)Pig（提供多種接口）--管理工具Ambari（監(jiān)控、部署、管理）--Sqoop：在集群與傳統(tǒng)數(shù)據(jù)庫間的數(shù)據(jù)傳遞5/420-大數(shù)據(jù)與云計(jì)算、云平臺(tái)Hadoop（數(shù)據(jù)密集型分00分布式集群Hadoop48/4200分布式集群Hadoop6/4201并行計(jì)算框架Mapreduce49/4201并行計(jì)算框架Mapreduce7/4202分布式文件系統(tǒng)HDFS50/4202分布式文件系統(tǒng)HDFS8/4203分布式NoSql列數(shù)據(jù)庫Hbase03分布式NoSql列數(shù)據(jù)庫Hbase04數(shù)據(jù)倉庫Hive04數(shù)據(jù)倉庫Hive05腳本語言Pig05腳本語言PigGoogle后Hadoop時(shí)代的新三駕馬車Dremel：web數(shù)據(jù)級(jí)別的交互式數(shù)據(jù)分析系統(tǒng)

列存儲(chǔ)、多層次查詢樹，毫秒級(jí)海量數(shù)據(jù)分析Caffeine：為Google網(wǎng)絡(luò)搜索引擎提供支持，能夠更迅速的添加新的鏈接到自身大規(guī)模的網(wǎng)站索引系統(tǒng)中，丟棄MapReduce轉(zhuǎn)而將索引放置在分布式數(shù)據(jù)庫BigTable上Pregel：主要繪制大量網(wǎng)上信息之間關(guān)系的“圖形數(shù)據(jù)庫”Google后Hadoop時(shí)代的新三駕馬車Dremel：we55/421-Brighthouse:AnAnalyticDataWarehouseforad-hocQueriesPVLDB’08DominikSlezak,Infobright,inc.,PolandAnAnalyticDataWarehouseforAd-hocQueriesColumn-orienteddatawarehousewithautomaticallytuned（基于列的自調(diào)整數(shù)據(jù)倉庫）Datamanagement：DP、DPN、KN粗集Roughset+粒度計(jì)算GranularComputing知識(shí)網(wǎng)格KnowledgeGrid優(yōu)化與執(zhí)行OptimizationandExecution13/421-Brighthouse:AnAnalyti56/42DP(DataPack)、DPN（DataPackNode）、KN（KnowledgeNode）14/42DP(DataPack)、DPN（DataPa57/42行存儲(chǔ)、列存儲(chǔ)比較15/42行存儲(chǔ)、列存儲(chǔ)比較數(shù)據(jù)塊（DataPacks）數(shù)據(jù)塊（DataPacks）知識(shí)網(wǎng)格（KonwledgeGrid）知識(shí)網(wǎng)格（KonwledgeGrid）60/42知識(shí)網(wǎng)格（KonwledgeGrid）18/42知識(shí)網(wǎng)格（KonwledgeGrid）61/422-Starfish:ASelf-tuningSystemforbigdataanalyticsCIDR’11-HerodotosHerodotou,DukeUniversityTimelyandcost-effectiveanalytics（及時(shí)，效益）ASelf-tuningsystem（自調(diào)整）BasedonHadoop（基于Hadoop）ExtensibleMapReduceexecutionengine（可擴(kuò)展）Pluggabledistributedstorageengines（插拔式）MAD（吸引力Magnetism\靈活A(yù)gility\深度Depth）19/422-Starfish:ASelf-tuning62/4220/42大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件3希爾伯特技術(shù)HilberttechnologyHilberttechnologyOrganizing&Analyzing；Large&Media；Patented；Costeffective；Search；Clustering&Categorization；DataConsolidation；DataQualityUltraHigh-Speed；SmartProcesses；Ad-hocFlexibility；Scale&ConsolidateSpeed；Flexibility；Smartness；Scalability67/423希爾伯特技術(shù)HilberttechnologyHilb大數(shù)據(jù)研究現(xiàn)狀探討課件69/4227/42大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件大數(shù)據(jù)研究現(xiàn)狀探討課件4-Extreme-PointSymmetricModeDecompositionMethodforDataAnalysis極點(diǎn)對(duì)稱模態(tài)分解方法;在HHT基礎(chǔ)上四點(diǎn)創(chuàng)新：-使用更多個(gè)內(nèi)插值曲線去實(shí)現(xiàn)篩選過程（1,2,3…）-最后的剩余作為最優(yōu)曲線，擁有一定數(shù)目的極值點(diǎn)，而不是帶有自多一個(gè)極值點(diǎn)的一般趨勢(shì)-使用極值點(diǎn)對(duì)稱取代包絡(luò)線對(duì)稱-使用基于數(shù)據(jù)的直接插值方法去計(jì)算瞬時(shí)頻率和振幅

-確定一個(gè)優(yōu)化全局平均曲線時(shí)，使用的自適應(yīng)方法，比一般的最小二乘法和平均運(yùn)行方法要好；-確定瞬時(shí)頻率和振幅，用的是直接的方法，比希爾伯特譜更好-這些將提高自適應(yīng)的數(shù)據(jù)分析，可用在大氣和海洋科學(xué)、信息學(xué)、經(jīng)濟(jì)學(xué)、生態(tài)學(xué)、醫(yī)藥、地震等領(lǐng)域4-Extreme-PointSymmetricMode4.1-經(jīng)驗(yàn)?zāi)B(tài)分解EMD

（EmpiricalModeDecomposition）:EMD方法在理論上可以應(yīng)用于任何類型的時(shí)間序列（信號(hào)）的分解該方法的關(guān)鍵是它能使復(fù)雜信號(hào)分解為有限個(gè)本征模函數(shù)（IntrinsicModeFunction，簡稱IMF），所分解出來的各IMF分量包含了原信號(hào)的不同時(shí)間尺度的局部特征信號(hào)。EMD分解方法是基于以下假設(shè)條件：

（1）數(shù)據(jù)至少有兩個(gè)極值，一個(gè)最大值和一個(gè)最小值；

（2）數(shù)據(jù)的局部時(shí)域特性是由極值點(diǎn)間的時(shí)間尺度唯一確定；

（3）如果數(shù)據(jù)沒有極值點(diǎn)但有拐點(diǎn)，則可以通過對(duì)數(shù)據(jù)微分一次或多次求得極值，然后再通過積分來獲得分解結(jié)果。經(jīng)驗(yàn)?zāi)B(tài)分解的基本思想：將一個(gè)頻率不規(guī)則的波化為多個(gè)單一頻率的波+殘波的形式。原波形=∑IMFs+余波。4.1-經(jīng)驗(yàn)?zāi)B(tài)分解EMD

（EmpiricalMode4.2-篩選過程（Sifting）這種方法的本質(zhì)是通過數(shù)據(jù)的特征時(shí)間尺度來獲得本征波動(dòng)模式，然后分解數(shù)據(jù)。這種分解過程可以形象地稱之為“篩選（sifting）”過程。分解過程是：-找出原數(shù)據(jù)序列X（t）所有的極大值點(diǎn)并用三次樣條插值函數(shù)擬合形成原數(shù)據(jù)的上包絡(luò)線；-同樣，找出所有的極小值點(diǎn)，并將所有的極小值點(diǎn)通過三次樣條插值函數(shù)擬合形成數(shù)據(jù)的下包絡(luò)線-上包絡(luò)線和下包絡(luò)線的均值記作ml，將原數(shù)據(jù)序列X(t）減去該平均包絡(luò)ml，得到一個(gè)新的數(shù)據(jù)序列hl：X(t)-ml=hl

由原數(shù)據(jù)減去包絡(luò)平均后的新數(shù)據(jù)，若還存在負(fù)的局部極大值和正的局部極小值，說明這還不是一個(gè)本征模函數(shù)，需要繼續(xù)進(jìn)行“篩選”。4.2-篩選過程（Sifting）這種方法的本質(zhì)是通過數(shù)據(jù)的4.3-EMD實(shí)例—金融1例如滬指的IMF如下圖所僅僅示意的最后4個(gè)低頻IMF函數(shù)序列：上圖中的IMF1---IMF3疊合起來，就基本可以重構(gòu)出滬指的走勢(shì)：基本與股指一致，類似與一根均線。4.3-EMD實(shí)例—金融1例如滬指的IMF如下圖所僅僅示意的4.4-EMD實(shí)例—金融2從上面的分解到重構(gòu)的過程看：其實(shí)就是個(gè)減法到加法的過程，減法求異，剝離出頻率（周期）大致相同的IMF，而加法求同，回到原波形。余波其實(shí)是個(gè)趨勢(shì)線，即頻率極低（周期很長）的波，可以看成是個(gè)基底，其它IMF都建筑在它之上。4.4-EMD實(shí)例—金融2從上面的分解到重構(gòu)的過程看：其實(shí)就4.4-E