大數(shù)據(jù)與通信

大數(shù)據(jù)與通信姓名：學(xué)號：什么是大數(shù)據(jù)大數(shù)據(jù)的“4V”特征12大數(shù)據(jù)的“4V”特征大數(shù)據(jù)的時代背景facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動互聯(lián)21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀(jì)以來，隨著計算機(jī)技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時代的背景TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量數(shù)據(jù)量增加數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時代正在來臨..大數(shù)據(jù)時代到來Volume海量的數(shù)據(jù)規(guī)模Variety多樣的數(shù)據(jù)類型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速的數(shù)據(jù)流轉(zhuǎn)巨大的數(shù)據(jù)價值大數(shù)據(jù)的4V特征大數(shù)據(jù)怎么用大數(shù)據(jù)時代的背景大數(shù)據(jù)的處理過程及關(guān)鍵技術(shù)大數(shù)據(jù)的應(yīng)用12大數(shù)據(jù)采集大數(shù)據(jù)預(yù)處理大數(shù)據(jù)儲存及管理大數(shù)據(jù)分析與挖掘智能感知層實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉(zhuǎn)換、監(jiān)控、初步處理和管理等基礎(chǔ)支撐層提供大數(shù)據(jù)服務(wù)平臺所需的虛擬服務(wù)器，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。大數(shù)據(jù)采集大數(shù)據(jù)的處理過程及關(guān)鍵技術(shù)大數(shù)據(jù)采集抽取將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型，以達(dá)到快速分析處理的目的清洗去除無價值數(shù)據(jù)以及錯誤數(shù)據(jù)大數(shù)據(jù)的處理過程及關(guān)鍵技術(shù)大數(shù)據(jù)采集大數(shù)據(jù)預(yù)處理大數(shù)據(jù)儲存及管理大數(shù)據(jù)分析與挖掘大數(shù)據(jù)預(yù)處理開發(fā)新型數(shù)據(jù)庫采用NoSQL（NotOnlySQL）數(shù)據(jù)庫，去除了關(guān)系數(shù)據(jù)庫的關(guān)系型特性，簡化了數(shù)據(jù)庫結(jié)構(gòu)，便于對數(shù)據(jù)和系統(tǒng)架構(gòu)進(jìn)行擴(kuò)展。開發(fā)大數(shù)據(jù)安全技術(shù)改進(jìn)數(shù)據(jù)銷毀、透明加解密、分布式訪問控制、數(shù)據(jù)審計等技術(shù)；突破隱私保護(hù)和推理控制、數(shù)據(jù)真?zhèn)巫R別和取證、數(shù)據(jù)持有完整性驗證等技術(shù)。大數(shù)據(jù)的處理過程及關(guān)鍵技術(shù)大數(shù)據(jù)采集大數(shù)據(jù)預(yù)處理大數(shù)據(jù)儲存及管理大數(shù)據(jù)分析與挖掘大數(shù)據(jù)儲存及管理可視化分析數(shù)據(jù)挖掘算法預(yù)測性分析語義引擎數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)的處理過程及關(guān)鍵技術(shù)大數(shù)據(jù)采集大數(shù)據(jù)預(yù)處理大數(shù)據(jù)儲存及管理大數(shù)據(jù)分析與挖掘大數(shù)據(jù)儲存及管理通過用戶行為分析實現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象大數(shù)據(jù)的應(yīng)用

互聯(lián)網(wǎng)智能電網(wǎng)大數(shù)據(jù)與通信大數(shù)據(jù)時代的背景大數(shù)據(jù)背景下的信號處理大數(shù)據(jù)驅(qū)動下的移動通信網(wǎng)絡(luò)12大數(shù)據(jù)背景下的信號處理壓縮感知降低信號數(shù)據(jù)量多傳感器信息融合處理復(fù)雜多源信息智能傳感技術(shù)提取有價值信號高速信號處理提高信號處理速度[1]《大數(shù)據(jù)背景下的信號處理》。2013壓縮感知。它作為一個新的采樣理論，通過開發(fā)信號的稀疏特性，在遠(yuǎn)小于Nyquist

采樣率的條件下，用隨機(jī)采樣獲取信號的離散樣本，然后通過非線性重建算法完美的重建信號。壓縮感知方法拋棄了當(dāng)前信號采樣中的冗余信息。它直接從連續(xù)時間信號變換得到壓縮樣本，然后在數(shù)字信號處理采用優(yōu)化方法處理壓縮樣本。壓縮感知降低信號數(shù)據(jù)量多傳感器信息融合處理復(fù)雜多源信息智能傳感技術(shù)提取有價值信號高速信號處理提高信號處理速度大數(shù)據(jù)背景下的信號處理信息融合原因：多傳感器組網(wǎng)信息量大且單一節(jié)點(diǎn)冗余多精度差模型JDL模型，Byod控制環(huán)，瀑布模型，Dasarathy模型，混合模型數(shù)學(xué)方法爾曼濾波方法、非線性濾波方法、貝葉斯估計法、證據(jù)理論方法、模糊推理方法、隨機(jī)集理論方法壓縮感知降低信號數(shù)據(jù)量多傳感器信息融合處理復(fù)雜多源信息智能傳感技術(shù)提取有價值信號高速信號處理提高信號處理速度大數(shù)據(jù)背景下的信號處理智能傳感技術(shù)目的將部分信號處理任務(wù)前移至傳感器節(jié)點(diǎn),以減輕通信、存儲和后續(xù)處理的負(fù)擔(dān)實現(xiàn)一是許多感興趣的信號的信息量遠(yuǎn)少于原始數(shù)據(jù)量,位于高維原始傳感數(shù)據(jù)空間的一個非常低的子集中，智能傳感器直接獲取這種信息二是當(dāng)前,硬件技術(shù)飛速發(fā)展,使得可以低成本地在傳感器節(jié)點(diǎn)配置足夠的計算資源,來進(jìn)行信號處理.壓縮感知降低信號數(shù)據(jù)量多傳感器信息融合處理復(fù)雜多源信息智能傳感技術(shù)提取有價值信號高速信號處理提高信號處理速度大數(shù)據(jù)背景下的信號處理高速信號處理產(chǎn)生原因–數(shù)據(jù)量增大從GSM遷移到LTE,計算量需求從大約10個MOPS(每秒百萬次運(yùn)算)提高到10萬甚至100萬MOPS,如此才可以提供LTE所要求的10～100Mbps數(shù)據(jù)傳輸性能發(fā)展方向多核信號處理器、高速多處理器互聯(lián)技術(shù)、高性能開放式標(biāo)準(zhǔn)總線架壓縮感知降低信號數(shù)據(jù)量多傳感器信息融合處理復(fù)雜多源信息智能傳感技術(shù)提取有價值信號高速信號處理提高信號處理速度大數(shù)據(jù)背景下的信號處理大數(shù)據(jù)與通信大數(shù)據(jù)時代的背景大數(shù)據(jù)背景下的信號處理大數(shù)據(jù)驅(qū)動下的移動通信網(wǎng)絡(luò)12[1]《大數(shù)據(jù)驅(qū)動的綠色通信網(wǎng)絡(luò)》。2013大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)提高有限網(wǎng)絡(luò)資源利用率基于現(xiàn)網(wǎng)大數(shù)據(jù)的分析與應(yīng)用大數(shù)據(jù)的網(wǎng)絡(luò)承載提高有限網(wǎng)絡(luò)資源利用率—虛擬化目前國際上對虛擬化理論的研究還主要集中在計算機(jī)及計算機(jī)網(wǎng)絡(luò)領(lǐng)域．在該領(lǐng)域，研究者主要從計算機(jī)邏輯架構(gòu)的不同層面進(jìn)行計算機(jī)的虛擬化過程，包括指令集層、硬件抽象(hardwareabstractionlayer，HAL)層、操作系統(tǒng)層和應(yīng)用層當(dāng)前的虛擬化技術(shù)研究主要針對有線網(wǎng)絡(luò)，無線網(wǎng)絡(luò)虛擬化仍是一個難題．無線網(wǎng)絡(luò)虛擬化仍是一個難題．當(dāng)前的無線接入網(wǎng)絡(luò)是多種不同的網(wǎng)絡(luò)垂直獨(dú)立共存，不同網(wǎng)絡(luò)支持不同協(xié)議，網(wǎng)元節(jié)點(diǎn)具有不同屬性，如WLAN接入點(diǎn)（AP)和移動通信網(wǎng)絡(luò)家庭基站(HNB)等．同時，無線接入網(wǎng)絡(luò)必須支持用戶的移動性，這使得業(yè)務(wù)具有更復(fù)雜的突發(fā)性和動態(tài)變化大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)無線網(wǎng)絡(luò)虛擬化ThisdemoexposesseveralwirelessWiFiaccesspointsprovidinguserswithdifferentandspecificservicesfromtheCloud.Eachphysicalequipmentischaracterizedby2GByteRAM,C2D-2.2GhzCPU,4GbpsEthernetnetworkinterfaceandWiFiAtheroschipsetbasedcard.ThevirtualaccesspointimplementsaDHCPserverwhichprovidesIPaddresses(IPv4orIPv6)forusersaskingforconnections.[1]VirtualAccessPointtotheCloud.

2012無線資源管理在低業(yè)務(wù)量時期減少發(fā)送時隙在時域、空域和頻域通過動態(tài)/半靜態(tài)優(yōu)化系統(tǒng)配置網(wǎng)絡(luò)站點(diǎn)部署引入宏基站、微基站、微微基站和無線局域網(wǎng)(，WLAN)等混合覆蓋的立體分層組網(wǎng)新模式．在話務(wù)熱點(diǎn)和深度覆蓋盲區(qū)，加設(shè)微蜂窩基站和微微基站等在數(shù)據(jù)話務(wù)熱點(diǎn)區(qū)域大幅度增加WiFi無線接入站點(diǎn)(accesspoint，AP)部署，構(gòu)建無線mesh網(wǎng)絡(luò)，大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)提高有限網(wǎng)絡(luò)資源利用率MobileInternetBigDataPlatforminChinaUnicomChinaUnicom’sbigdataplatform,startingfromOctober2009,hasrecordedmonthlytrafficofmorethan2trillionrecords,monthlydatavolumeisover525TB,andthemaximumdatavolumerecordedhasreachedapeakof5PB.Overallwritingspeedhasreached1390000recordspersecond,andtherecordedretrievaltimeinthetablethatcontainstrillionsofrecordsislessthan100ms.大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)BigDataPlatform大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)HadoopDistributedFileSystem(HDFS)HBase對運(yùn)營商的影響大數(shù)據(jù)驅(qū)動的移動通信網(wǎng)絡(luò)豐富用戶信息業(yè)務(wù)轉(zhuǎn)為數(shù)據(jù)微信、QQ針對性業(yè)務(wù)推薦客戶洞察業(yè)務(wù)構(gòu)架盈利格局謝謝！2012年大事記■2012年1月，世界經(jīng)濟(jì)論壇年會把“大數(shù)據(jù)、大影響”作為重要議題?！?012年2月，工信部發(fā)布物聯(lián)網(wǎng)“十二五”規(guī)劃，把信息處理技術(shù)作為4項關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來，其中包括了海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析等大數(shù)據(jù)技術(shù)的重要組成部分?！?012年3月，美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，拿出兩億美元提升美國利用大數(shù)據(jù)的能力?！?012年7月，天貓與阿里云、萬網(wǎng)宣布聯(lián)合推出聚石塔平臺，以云計算為“塔基”，為天貓、淘寶平臺上的電商及電商服務(wù)商提供大數(shù)據(jù)云服務(wù)?！?012年8月，美國《連線》雜志報道谷歌新一代交互式大數(shù)據(jù)分析技術(shù)Dremel，稱可在3秒內(nèi)分析PB級數(shù)據(jù)，比Hadoop快10~100倍，將大數(shù)據(jù)技術(shù)水平向前推進(jìn)了一大步。隨后Dremel其開源版本ApacheDrill也正式啟動開發(fā)?！?012年9月，百度對外開放核心云能力，向開發(fā)者提供百度指數(shù)、司南、風(fēng)云榜、數(shù)據(jù)研究中心和百度統(tǒng)計五個大數(shù)據(jù)服務(wù)[1]2012年中國通信產(chǎn)業(yè)十大關(guān)鍵詞點(diǎn)評文章(九)大數(shù)據(jù)BCM21892是博通公司針對智能手機(jī)和平板電腦市場推出的4GLTE-Advanced調(diào)制解調(diào)器，擁有業(yè)界最小尺寸，這款調(diào)制解調(diào)器還能夠支持LTE等級4的速率-150Mbps，可在所有3GPP網(wǎng)絡(luò)中運(yùn)行，并能夠在各種4GLTE、3G和2G接口技術(shù)之間進(jìn)行無縫切換。同時，該公司的StrataConnect系列是中小企業(yè)網(wǎng)絡(luò)交換解決方案，在單一芯片上高度集成了第二層和第三層(L2/L3)交換、16個千兆以太網(wǎng)(GbE)物理層收發(fā)器(PHY)、10GbE以及高性能中央處理單元(CPU)，為中小企業(yè)提供了大企業(yè)級網(wǎng)絡(luò)管理功能。代號為CrystalForest的英特爾新一代通信平臺于2012年10月發(fā)布，提供高達(dá)每秒1.6億個數(shù)據(jù)包的三層數(shù)據(jù)包轉(zhuǎn)發(fā)性能，從而能夠在每個網(wǎng)絡(luò)節(jié)點(diǎn)發(fā)送數(shù)千個高清視頻。CrystalForest平臺讓設(shè)備制造商將能夠在多核英特爾架構(gòu)處理上整合三種通信負(fù)載——應(yīng)用、控制與數(shù)據(jù)包處理，從傳統(tǒng)的、以不同架構(gòu)的硬件為核心的設(shè)備平臺轉(zhuǎn)向采用單一硬件架構(gòu)，基于軟件實現(xiàn)不同網(wǎng)絡(luò)組件的高效解決方案，有效