聯(lián)想大數(shù)據(jù)分析平臺方案

1、聯(lián)想大數(shù)據(jù)分析平臺方案從2011年，聯(lián)想啟動了大數(shù)據(jù)平臺建設(shè)5年！300+研發(fā)人員持續(xù)投入全球部署的超大規(guī)模集群海量數(shù)據(jù)分析與持續(xù)性業(yè)務(wù)支撐300名開發(fā)工程師60名運(yùn)維工程師30名數(shù)據(jù)科學(xué)家全球8個(gè)數(shù)據(jù)中心2000臺服務(wù)器3000名操作用戶12Pb數(shù)據(jù)容量規(guī)模9Pb數(shù)據(jù)量150億條記錄天30TB天技術(shù)融合深度優(yōu)化持續(xù)演進(jìn)工匠情懷工業(yè)是實(shí)體經(jīng)濟(jì)的核心，各國積極部署工業(yè)4.0大數(shù)據(jù)“智慧”貫穿始終，是工業(yè)4.0時(shí)代企業(yè)的核心資產(chǎn)德國：工業(yè)4.0戰(zhàn)略美國：先進(jìn)制造業(yè)國家戰(zhàn)略計(jì)劃英國：英國工業(yè)2050戰(zhàn)略法國：新工業(yè)法國 2016 Lenovo. All rights reserved.通過各類技術(shù)的

2、共同作用，充分把握新工業(yè)時(shí)代下信息資源帶來的機(jī)遇，以數(shù)據(jù)洞察為核心驅(qū)動力，貫穿參與者、產(chǎn)品與生產(chǎn)，實(shí)現(xiàn)跨界和全球化互聯(lián)互通的協(xié)同，形成集制造和服務(wù)為一體的全球化價(jià)值網(wǎng)絡(luò)。工業(yè)4.0白皮書，IBM全球研究院海量數(shù)據(jù)，80%非結(jié)構(gòu)化，給商業(yè)分析和價(jià)值體現(xiàn)帶來的挑戰(zhàn)數(shù)據(jù)類型數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)增長數(shù)據(jù)大小數(shù)據(jù)明細(xì)數(shù)據(jù)存儲大數(shù)據(jù)技術(shù)開始替換傳統(tǒng)數(shù)據(jù)倉庫，企業(yè)商業(yè)智能升級通過診斷型分析，發(fā)現(xiàn)企業(yè)流程的問題，提出改進(jìn)建議通過預(yù)測型分析，構(gòu)建敏捷型企業(yè)，快速響應(yīng)用戶需求標(biāo)準(zhǔn)報(bào)告即席報(bào)告下鉆查詢儀表板記分卡解析和分割優(yōu)化發(fā)生了什么?問題究竟出在哪里?數(shù)量, 頻率, 地點(diǎn)發(fā)生了什么？什么是可能發(fā)生的最好的？為什么會發(fā)生

3、?智能程度競爭優(yōu)勢接下來會發(fā)生什么?預(yù)測模型預(yù)測如果這些趨勢繼續(xù)會怎樣?通過跨領(lǐng)域產(chǎn)業(yè)互聯(lián)，結(jié)合大數(shù)據(jù)優(yōu)化商業(yè)運(yùn)作模式 大數(shù)據(jù)商業(yè)模式創(chuàng)新資源置換直接變現(xiàn)社會效應(yīng)交叉營銷醫(yī)療旅游運(yùn)輸銀行保險(xiǎn)公共事業(yè)互聯(lián)網(wǎng)餐飲政府零售征信報(bào)告險(xiǎn)種定制和費(fèi)用優(yōu)化企業(yè)和產(chǎn)品保險(xiǎn) 反欺詐和反洗錢 小額貸款授信產(chǎn)品在線銷售健康個(gè)性化需求就診便利舉措疫情監(jiān)測景區(qū)人流預(yù)警旅游產(chǎn)品推薦高端人群營銷交通路徑規(guī)劃競品分析社交媒體熱點(diǎn)追蹤人流熱度和影響分析用戶輿情和突發(fā)事件監(jiān)測城市規(guī)劃優(yōu)化政務(wù)流程優(yōu)化餐飲選址餐飲個(gè)性化推薦產(chǎn)品在線銷售互聯(lián)網(wǎng)營銷輿情熱點(diǎn)追蹤客戶留存高端用戶營銷系統(tǒng)監(jiān)控和優(yōu)化制造產(chǎn)品銷售和營銷供應(yīng)鏈金融產(chǎn)品持續(xù)改進(jìn)聯(lián)

4、想企業(yè)大數(shù)據(jù)分析平臺（LEAP）提供從大數(shù)據(jù)采集到商業(yè)價(jià)值呈現(xiàn)的一體化解決方案01數(shù)據(jù)04運(yùn)維05價(jià)值02平臺03管理數(shù)據(jù)：整合各方數(shù)據(jù)，沉淀業(yè)務(wù)知識，LEAP將為客戶提供豐富的數(shù)據(jù)接口與強(qiáng)大的數(shù)據(jù)資源整合能力。平臺：LEAP將為客戶提供安全可靠的分布式的大數(shù)據(jù)平臺，解決了海量數(shù)據(jù)的計(jì)算，存儲實(shí)時(shí)數(shù)據(jù)計(jì)算等問題。管理：參與到企業(yè)運(yùn)營的各環(huán)節(jié)，通過對業(yè)務(wù)數(shù)據(jù)的分析，發(fā)現(xiàn)各種規(guī)律趨勢，為策略制定提供參考依據(jù)。運(yùn)維：LEAP提供集中的運(yùn)維管控組件，實(shí)現(xiàn)從設(shè)備到服務(wù)的全方位監(jiān)控、管理和擴(kuò)展。價(jià)值：聯(lián)想提供端到端的大數(shù)據(jù)服務(wù)，旨在發(fā)現(xiàn)數(shù)據(jù)潛在價(jià)值，幫助客戶通過大數(shù)據(jù)解決商業(yè)問題，與客戶共同成長。LEAP

5、聯(lián)想大數(shù)據(jù)分析平臺（LEAP）全景圖資源開放分析武庫數(shù)據(jù)工廠大數(shù)據(jù)能力開放平臺 GaussBig Data as a Service大數(shù)據(jù)計(jì)算平臺 Descartes大數(shù)據(jù)技術(shù)整合與深度優(yōu)化大數(shù)據(jù)分析應(yīng)用套件 Nash數(shù)據(jù)資產(chǎn)管理平臺系統(tǒng)運(yùn)維監(jiān)控中心EulerArchiton軟硬件一體化優(yōu)化，突破計(jì)算平臺性能瓶頸批量處理性能查詢性能實(shí)時(shí)處理性能復(fù)雜計(jì)算專利的智能調(diào)度技術(shù)，提升Hadoop計(jì)算效能5x20 x虛擬大數(shù)據(jù)系統(tǒng)，簡化異地?cái)?shù)據(jù)中心的數(shù)據(jù)同步率先支持Spark 2.0，實(shí)時(shí)性能提升5x全面支持MPP業(yè)務(wù)場景，10 x優(yōu)于傳統(tǒng)數(shù)據(jù)倉庫數(shù)據(jù)查詢測試對比LEAP主流云平臺某廠商數(shù)據(jù)大文件加載抗

6、壓測試對比LEAP主流云平臺某廠商平臺性能評測基于TPC-DS，2016100%兼容SQL 2003，SQL 99和PL/SQL動態(tài)選擇合適的數(shù)據(jù)源和計(jì)算引擎執(zhí)行查詢請求，相對HUE查詢性能提升10 x全圖形化的任務(wù)調(diào)度工具，可每日處理上萬個(gè)獨(dú)立的數(shù)據(jù)計(jì)算任務(wù)內(nèi)嵌數(shù)據(jù)質(zhì)量校驗(yàn)?zāi)芰?，簡化ETL任務(wù)的開發(fā)工作量LEAP全圖形化的計(jì)算平臺，便捷的大數(shù)據(jù)系統(tǒng)管理和運(yùn)維一站式圖形化界面完成大數(shù)據(jù)集群的安裝，升級，系統(tǒng)監(jiān)控的工作，簡化管理創(chuàng)建各種大數(shù)據(jù)任務(wù)和查詢操作全部圖形化完成，無需命令行入口支持豐富的開源擴(kuò)展，圖形化添加近百個(gè)高質(zhì)量組件，全面支持和管理各種大數(shù)據(jù)業(yè)務(wù)場景系統(tǒng)入口系統(tǒng)監(jiān)測任務(wù)調(diào)度全圖形化

7、的任務(wù)調(diào)度工具，可每日處理全球來自數(shù)百個(gè)數(shù)據(jù)分析人員的上萬個(gè)獨(dú)立的數(shù)據(jù)計(jì)算任務(wù)具備靈活多樣的部署形態(tài)，滿足不同規(guī)模企業(yè)的系統(tǒng)架構(gòu)傳統(tǒng)數(shù)據(jù)倉庫大數(shù)據(jù)平臺新型探索分析傳統(tǒng)分析應(yīng)用專業(yè)探索分析集市UNIX小型機(jī)X86集群傳統(tǒng)數(shù)據(jù)倉庫大數(shù)據(jù)平臺新型探索分析/傳統(tǒng)分析應(yīng)用傳統(tǒng)分析應(yīng)用混搭雙中心UNIX小型機(jī)X86集群探索分析/傳統(tǒng)分析應(yīng)用企業(yè)級大數(shù)據(jù)中心X86集群大數(shù)據(jù)平臺大數(shù)據(jù)平臺定位：屬于數(shù)據(jù)倉庫的補(bǔ)充系統(tǒng)特點(diǎn)：規(guī)模小，大數(shù)據(jù)創(chuàng)新試點(diǎn)大數(shù)據(jù)平臺定位：分擔(dān)數(shù)據(jù)倉庫的存儲和計(jì)算壓力特點(diǎn)：大數(shù)據(jù)平臺逐漸成為業(yè)務(wù)分析中心大數(shù)據(jù)平臺定位：支持企業(yè)所有數(shù)據(jù)計(jì)算、分析和應(yīng)用。特點(diǎn)：企業(yè)真正成為數(shù)據(jù)驅(qū)動的企業(yè)傳統(tǒng)數(shù)

8、據(jù)倉庫全面支持海量復(fù)雜數(shù)據(jù)，構(gòu)建高質(zhì)量統(tǒng)一企業(yè)大數(shù)據(jù)倉庫智能工廠數(shù)據(jù) 供應(yīng)商數(shù)據(jù) 公開數(shù)據(jù) 數(shù)據(jù)源： 政府網(wǎng)站、社交媒體等。 數(shù)據(jù)類型：TB級非結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源： ERP、SRM，SCM 數(shù)據(jù)類型： TB級結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源： PLM、 MES、DCS，CAM 數(shù)據(jù)類型： PB級異構(gòu)數(shù)據(jù)設(shè)備數(shù)據(jù) 業(yè)務(wù)數(shù)據(jù) 零售數(shù)據(jù) 數(shù)據(jù)源：ERP、Salesforce，Excel 數(shù)據(jù)類型：PB級異構(gòu)數(shù)據(jù) 數(shù)據(jù)源：日志、 設(shè)備參數(shù)、操作 數(shù)據(jù)類型：PB級非結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)源：ERP、CRM，SCM，EAI 數(shù)據(jù)類型：TB級結(jié)構(gòu)化數(shù)據(jù)企業(yè)異構(gòu)數(shù)據(jù)源異構(gòu)數(shù)據(jù)自動適配數(shù)據(jù)質(zhì)量保證統(tǒng)一數(shù)據(jù)字典統(tǒng)一數(shù)據(jù)清洗加載數(shù)據(jù)資

9、產(chǎn)管理完備的應(yīng)用開發(fā)工具，全面提升數(shù)據(jù)洞察效率-無縫支持Spark 2.0, Spark R, Hive, Impala, Kylin等數(shù)據(jù)引擎，全面算法硬件優(yōu)化，提升性能5x10 x強(qiáng)大的SQL分析引擎Python和腳本工具箱硬件優(yōu)化的算法庫R交互式數(shù)據(jù)分析引擎回歸算法分類算法聚類算法決策樹算法可靠性預(yù)測算法集成算法智能分析套件，內(nèi)建行業(yè)解決方案，快速構(gòu)建商業(yè)智能零售賣場和推廣效率分析產(chǎn)業(yè)結(jié)構(gòu)和區(qū)域分析設(shè)備質(zhì)量關(guān)聯(lián)性分析用戶群聚類和產(chǎn)品反饋分析熱區(qū)分析全球超大規(guī)模實(shí)踐，驗(yàn)證系統(tǒng)高可靠性和實(shí)時(shí)性香港 舊金山 芝加哥法蘭克福新加坡北京埃森天津總?cè)萘?12PB數(shù)據(jù)總量 9PB日新增數(shù)據(jù) 30TB日處理數(shù)據(jù) 4.3 PB99.5%的全球高可用性全球化多中心部署，2000臺服務(wù)器，3000名操作用戶在實(shí)踐中充分驗(yàn)證系統(tǒng)的高可靠性企業(yè)數(shù)據(jù)本地化收集和存儲完全合規(guī)各國數(shù)據(jù)保護(hù)和隱私保護(hù)法律每隔5秒，聯(lián)想全球的新增設(shè)備信息會被實(shí)時(shí)提取和計(jì)算，實(shí)時(shí)優(yōu)化全球業(yè)務(wù)流程聯(lián)想大數(shù)據(jù)具備全球復(fù)雜業(yè)務(wù)的全面支持能力，助力企業(yè)轉(zhuǎn)型升級領(lǐng)先的大數(shù)據(jù)業(yè)務(wù)平臺 300+研發(fā)人員的持續(xù)投入 全面支持Spark 2.0和MPP場景, 性能提升5x20 x完備的數(shù)據(jù)遷移和數(shù)據(jù)分析工具，簡化商業(yè)智能專業(yè)的分析和業(yè)務(wù)咨詢能力 聯(lián)想大數(shù)據(jù)專家、數(shù)據(jù)科學(xué)家、行業(yè)顧問50+余人 80%海外留學(xué)背景，博士占比近70% 發(fā)表學(xué)術(shù)