NNI大數(shù)據(jù)解決方案

NNIT大數(shù)據(jù)解決方案創(chuàng)造數(shù)據(jù)的價(jià)值

1.WhyBigData2.WhyNNIT3.解決方案詳細(xì)內(nèi)容4.案例21.WhyBigData

3數(shù)據(jù)爆發(fā)時(shí)代的到來通過媒體流通的信息量的變遷比特?cái)?shù)（×1017）【出處】2010年度信息流通統(tǒng)計(jì)調(diào)查報(bào)告書未被利用的信息19982000200220042008200004000060000800000被利用的信息量流通的信息量2006■2025年,社會(huì)的信息量爆發(fā)為06年的200倍！

■今后如何利用大量未開發(fā)信息來創(chuàng)造新價(jià)值，是我們的課題多媒體信息網(wǎng)絡(luò)電影/圖像電視機(jī)?收音機(jī)社會(huì)媒體等

非結(jié)構(gòu)化數(shù)據(jù)的增加企業(yè)內(nèi)信息

交易信息日志信息

模擬數(shù)據(jù)數(shù)字化傳感器?機(jī)器等生成的信息

圖像/各種測(cè)量數(shù)據(jù)未被利用的信息比例99.4%4信息時(shí)代無所不在的數(shù)據(jù)來源

云計(jì)算中心商業(yè)旅游科研工業(yè)農(nóng)林水產(chǎn)物流金融機(jī)構(gòu)大廈公共設(shè)施住宅學(xué)校醫(yī)院賓館車站能源站商店回收設(shè)施工廠城市管理基礎(chǔ)設(shè)施通信能源交通水學(xué)習(xí)生活工作移動(dòng)互聯(lián)網(wǎng)放送固定手機(jī)新能源煤氣大規(guī)模集中電源蓄電池鐵道航空海運(yùn)道路上水處理下水處理產(chǎn)業(yè)排水處理5大數(shù)據(jù)的商業(yè)價(jià)值美國第二大百貨商Target通過數(shù)據(jù)分析幫助銷售額提升超過50%廣告信原有的美國嬰兒用品營(yíng)銷: 根據(jù)公開的出生記錄在嬰兒出生后，海量的廣告促銷Target的基于大數(shù)據(jù)分析的營(yíng)銷: 分析消費(fèi)者的行為，對(duì)孕婦進(jìn)行提前促銷購買無香護(hù)手霜,善存鈣片等分析數(shù)據(jù)廣告信6大數(shù)據(jù)技術(shù)的應(yīng)用行業(yè)7搜索社交游戲視頻流通電信醫(yī)療交通公安制造航空電力金融民生核心～２０１２２０１２～

2.WhyNNIT8大數(shù)據(jù)平臺(tái)整體及NNIT注重領(lǐng)域處理大量數(shù)據(jù)處理多媒體數(shù)據(jù)數(shù)據(jù)庫分布式處理面部識(shí)別圖像分析數(shù)據(jù)挖掘語音識(shí)別：：運(yùn)營(yíng)商收集處理數(shù)據(jù)保健金融能源交通?物流安全推動(dòng)人?物?IT系統(tǒng)之間的互動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)WebDBLog傳感器數(shù)據(jù)統(tǒng)計(jì)分析數(shù)據(jù)挖掘②對(duì)應(yīng)激增的數(shù)據(jù)③處理不同類型的數(shù)據(jù)①從傳感器?機(jī)器收集信息←NNIT注重領(lǐng)域提供大數(shù)據(jù)處理平臺(tái)設(shè)計(jì)/構(gòu)筑服務(wù)(使用NEC及開源產(chǎn)品)定制開發(fā)大數(shù)據(jù)處理系統(tǒng)(可能需要與NEC其他部門或其他公司合作)9面向的客戶NNIT大數(shù)據(jù)平臺(tái)的潛在客戶具有以下特點(diǎn)：

有大量的文件或者數(shù)據(jù)需要處理/存儲(chǔ)/訪問例：醫(yī)療影像、地圖文件、GPS記錄、電商網(wǎng)站的海量圖片非ＯＬＴＰ(非面向?qū)崟r(shí)交易的系統(tǒng))例：銀行BI、谷歌街景、FaceBook等不會(huì)頻繁修改已有數(shù)據(jù)內(nèi)容例：ERP系統(tǒng)不適合使用10NNIT大數(shù)據(jù)據(jù)解決決方案案特點(diǎn)點(diǎn)高性價(jià)價(jià)比?使用通通用硬硬件比比使用用存儲(chǔ)儲(chǔ)設(shè)備備節(jié)省?。常埃埃ヒ砸陨媳憬?平臺(tái)管管理通通過專專用圖圖形化化管理理系統(tǒng)統(tǒng)ＯＤＤＰＭＭ，操操作便便捷?通過掛掛載可可在１１分鐘鐘內(nèi)開開始應(yīng)應(yīng)用系系統(tǒng)與與平臺(tái)臺(tái)間的的文件件交互互而無無需修修改應(yīng)應(yīng)用易擴(kuò)展展?在管理理系統(tǒng)統(tǒng)上簡(jiǎn)簡(jiǎn)單操操作即即可通通過增增加節(jié)節(jié)點(diǎn)來來提升升系統(tǒng)統(tǒng)存儲(chǔ)儲(chǔ)容量量及性性能?平臺(tái)存存儲(chǔ)量量從１１０ＴＴＢ擴(kuò)擴(kuò)展到到１００ＰＢＢ也只只需簡(jiǎn)簡(jiǎn)單增增加節(jié)節(jié)點(diǎn)即即可完完成?平臺(tái)性性能隨隨節(jié)點(diǎn)點(diǎn)增加加線形形增長(zhǎng)長(zhǎng)整體解解決方方案?我們提提供從從系統(tǒng)統(tǒng)整體體設(shè)計(jì)計(jì)優(yōu)化化、定定制開開發(fā)到到數(shù)據(jù)據(jù)遷移移、系系統(tǒng)實(shí)實(shí)施等等相關(guān)關(guān)服務(wù)的的整體體解決決方案案11ＮＮＩＩＴ大大數(shù)據(jù)據(jù)平臺(tái)臺(tái)ODPF體系12MapReduce分布式式處理理組件件ＯＦＳ分布式式文件件存儲(chǔ)儲(chǔ)系統(tǒng)統(tǒng)ＯＤＢＢ*1KVS型分布布式DBＯＤＰＰＭ圖形化化的平臺(tái)管管理系系統(tǒng)*1：現(xiàn)版版本ODPF的分布布式數(shù)數(shù)據(jù)庫庫主要要功能能以Hbase為主上圖為為平臺(tái)臺(tái)管理理系統(tǒng)統(tǒng)ODPMＯＤＰＰＦ其他Hadoop生態(tài)圈圈組件件SQL支持，，數(shù)據(jù)據(jù)遷移移，ETL等平臺(tái)綜綜合管管理系系統(tǒng)ODPM?整體一一站式式管理理-管理作作為前前端主主機(jī)的的web/DB服務(wù)器器(可為虛虛擬機(jī)機(jī))-管理NNIT大數(shù)據(jù)據(jù)平臺(tái)臺(tái)的整整體配配置/硬件/組件/運(yùn)行狀狀態(tài)等等-管理平平臺(tái)中中的文文件和和數(shù)據(jù)據(jù)?豐富的的管理理功能能使平平臺(tái)運(yùn)運(yùn)用更更便捷捷-Wizard向?qū)Чδ埽海撼跗谄诎惭b裝，節(jié)節(jié)點(diǎn)追追加等等-配置管管理：：平臺(tái)臺(tái)的初初期設(shè)設(shè)定及及修改改等-運(yùn)維管管理：：監(jiān)控控、報(bào)報(bào)警等等-數(shù)據(jù)管管理：：文件件及數(shù)數(shù)據(jù)的的訪問問控制制，副副本管管理，，內(nèi)容容檢索索等13前端主主機(jī)管管理界界面OFSVolume管理界界面文件系系統(tǒng)OFS14WebServer應(yīng)用程程序直直接讀讀寫存存放在在平臺(tái)臺(tái)上的的文件件和數(shù)數(shù)據(jù)JmeterJmeterJmeter數(shù)據(jù)節(jié)節(jié)點(diǎn)JmeterJmeterJmeter數(shù)據(jù)節(jié)節(jié)點(diǎn)DBServerWebServerDBServer分布式式文件件系統(tǒng)統(tǒng)(從KB大小的的數(shù)十十億海海量地地圖圖圖片到到GB級(jí)別的的數(shù)據(jù)據(jù)庫文文件)ＯＦＳ?便捷：：無需需修改改前端端應(yīng)用用程序序即可可連接接OFS進(jìn)行讀讀寫?高擴(kuò)展展性：：通過過簡(jiǎn)單單追加加數(shù)據(jù)據(jù)節(jié)點(diǎn)點(diǎn)即可可線性性擴(kuò)展展存儲(chǔ)儲(chǔ)容量量與性性能?高性價(jià)價(jià)比：：硬件件使用用通用用x86服務(wù)器器避免免昂貴貴小型型機(jī)和和存儲(chǔ)儲(chǔ)設(shè)備備?高可用用性：：自動(dòng)動(dòng)副本本管理理機(jī)制制對(duì)應(yīng)應(yīng)硬件件故障障3.解決方方案詳詳細(xì)內(nèi)內(nèi)容15服務(wù)內(nèi)內(nèi)容（（基于于數(shù)據(jù)據(jù)生命命周期期）數(shù)據(jù)生生成數(shù)據(jù)存存儲(chǔ)數(shù)據(jù)處處理數(shù)據(jù)應(yīng)應(yīng)用分布式式數(shù)據(jù)據(jù)庫，，分布布式文文件系系統(tǒng)采集、、監(jiān)測(cè)測(cè)軟件件智能搜搜索與與分析析軟件件系統(tǒng)集集成、、IT基礎(chǔ)設(shè)設(shè)施服服務(wù)咨詢實(shí)實(shí)施服服務(wù)信息安安全平臺(tái)設(shè)設(shè)備（（網(wǎng)絡(luò)絡(luò)設(shè)備備、服服務(wù)器器等））采集設(shè)設(shè)備信息服服務(wù)硬件基礎(chǔ)軟軟件應(yīng)用軟軟件NNIT提供部部分NNIT與母公公司或或合作作伙伴伴共同同提供供部分分16解決方方案內(nèi)內(nèi)容#項(xiàng)目?jī)?nèi)容1信息服務(wù)系統(tǒng)集成整體解決方案2咨詢顧問數(shù)據(jù)應(yīng)用咨詢3平臺(tái)開發(fā)咨詢4IT基礎(chǔ)設(shè)施面向私有云的IDC需求設(shè)計(jì)5IaaS/PaaS6程序開發(fā)數(shù)據(jù)層應(yīng)用程序開發(fā)7性能測(cè)試AP/DB/Filesystem層面的性能測(cè)試8應(yīng)用軟件采集，檢測(cè)軟件9智能搜索與分析軟件10基礎(chǔ)軟件數(shù)據(jù)庫SQL+NoSQL11非關(guān)系型數(shù)據(jù)庫NoSQL12分布式文件系統(tǒng)13數(shù)據(jù)處理中間件14系統(tǒng)管理15硬件數(shù)據(jù)采集設(shè)備各種傳感器，攝像頭等等16數(shù)據(jù)平臺(tái)設(shè)備網(wǎng)絡(luò)設(shè)備，服務(wù)器等NNIT注力領(lǐng)領(lǐng)域17解決方方案內(nèi)內(nèi)容（（信息息服務(wù)務(wù)）#項(xiàng)目?jī)?nèi)容備注1信息服務(wù)系統(tǒng)集成整體解決方案整合母公司及合作伙伴資源提供一站式服務(wù)2咨詢顧問數(shù)據(jù)應(yīng)用咨詢幫助客戶找出數(shù)據(jù)的附加價(jià)值3平臺(tái)開發(fā)咨詢根據(jù)客戶需求提案大數(shù)據(jù)平臺(tái)4IT基礎(chǔ)設(shè)施面向私有云的IDC需求設(shè)計(jì)基于業(yè)務(wù)發(fā)展規(guī)劃的IDC需求設(shè)計(jì)5IaaS/PaaS使用日電東軟IaaS/PaaS作為基礎(chǔ)平臺(tái)6程序開發(fā)數(shù)據(jù)層應(yīng)用程序開發(fā)對(duì)應(yīng)用程序中需要與數(shù)據(jù)庫及文件系統(tǒng)等平臺(tái)層交互的數(shù)據(jù)層進(jìn)行開發(fā)7性能測(cè)試AP/DB/FS層的性能測(cè)試性能測(cè)試及系統(tǒng)優(yōu)化18服務(wù)內(nèi)內(nèi)容（（基礎(chǔ)礎(chǔ)軟件件）#項(xiàng)目?jī)?nèi)容備注10基礎(chǔ)軟件數(shù)據(jù)庫SQL+NoSQLMySQL+ＯＦＳ,IFS(InfoFrameRelationalStore,byNEC)等11ＯＤＢ，Ｈｂａｓｅ12分布式文件系統(tǒng)ＯＦＳ可通過ＮＦＳ直接操作文件或應(yīng)用系統(tǒng)使用ＡＰＩ操作文件13數(shù)據(jù)處理中間件HIVE,Pig,Sqoop等14平臺(tái)管理ＯＤＰＭ圖形化的平臺(tái)綜合管理系統(tǒng)19目錄4.案例20NNIT案例(1):移動(dòng)位位置服服務(wù)21作為移移動(dòng)位位置服服務(wù)的的后端端平臺(tái)臺(tái)提供供文件件及數(shù)數(shù)據(jù)的的存儲(chǔ)儲(chǔ)和訪訪問NNIT案例(1):移動(dòng)位位置服服務(wù)22內(nèi)測(cè)版版:初期系系統(tǒng)規(guī)規(guī)模:14臺(tái)機(jī)架架式服服務(wù)器器（其其中8臺(tái)用于于大數(shù)數(shù)據(jù)集集群））初期數(shù)數(shù)據(jù)規(guī)規(guī)模:100T?20億個(gè)文文件(30KB/個(gè)的地地圖圖圖片及及500KB/個(gè)的衛(wèi)衛(wèi)星實(shí)實(shí)景照照片)?數(shù)十萬萬臺(tái)車車的GPS信息(2條/分)?用戶上上傳的的照片片等文文件系統(tǒng)性性能：：?地圖訪訪問并并發(fā)：：受限限于互互聯(lián)網(wǎng)網(wǎng)帶寬寬(平臺(tái)內(nèi)內(nèi)部支支持萬萬兆數(shù)數(shù)據(jù)交交換)?GPS數(shù)據(jù)上上傳并并發(fā)：：每數(shù)數(shù)據(jù)庫庫節(jié)點(diǎn)點(diǎn)1400條/秒NNIT案例(2):油井管管理平平臺(tái)云平臺(tái)臺(tái)用大數(shù)數(shù)據(jù)處處理平平臺(tái)分分析處處理來來自物物聯(lián)網(wǎng)網(wǎng)傳感感器的的海量量數(shù)據(jù)據(jù)23NNIT案例(2):油井管管理平平臺(tái)24初期系系統(tǒng)規(guī)規(guī)模:2千口新新式油油井(國內(nèi)油油井?dāng)?shù)數(shù)7萬口)初期數(shù)數(shù)據(jù)規(guī)規(guī)模:容量:2TB+,數(shù)據(jù)條條數(shù):二十億億條以以上(每口井井每分分發(fā)送送2次1K數(shù)據(jù)包包，保保存1年以上上)系統(tǒng)效效果：：提高生生產(chǎn)效效率及及管理理水平平●中短期期故障障(結(jié)蠟，，卡泵泵，短短路，，漏液液等)自動(dòng)分分析，，●中長(zhǎng)期期生產(chǎn)產(chǎn)經(jīng)營(yíng)營(yíng)信息息(產(chǎn)量，，電力力成本本控制制等)自動(dòng)分分析NNIT案例(2):油井管管理平平臺(tái)251億條數(shù)數(shù)據(jù):3臺(tái)8Corex86服務(wù)器器10億條數(shù)數(shù)據(jù)：：5臺(tái)100億條數(shù)數(shù)據(jù)：：10臺(tái)對(duì)全數(shù)數(shù)據(jù)進(jìn)進(jìn)行帶帶有模模糊匹匹配查查詢的的分析析掃描描任務(wù)務(wù)NNIT案例(3):食品溯溯源零售企企業(yè)流通企企業(yè)成品制制造企企業(yè)原料制制造企企業(yè)養(yǎng)殖廠廠消費(fèi)者者農(nóng)戶加強(qiáng)監(jiān)監(jiān)管·杜絕假冒偽偽劣產(chǎn)產(chǎn)品提高安安全安安心的附加加價(jià)值值共享·掌握運(yùn)輸和和保管管狀態(tài)態(tài)食品溯源平臺(tái)通過整整合供供應(yīng)鏈鏈上的的各個(gè)個(gè)環(huán)節(jié)節(jié)達(dá)成成對(duì)各各種食食品的的綜合合管理理26NNIT案例(3):食品溯溯源作為山山東某某食品品集團(tuán)團(tuán)企業(yè)業(yè)內(nèi)產(chǎn)產(chǎn)品溯溯源，，年產(chǎn)