大數(shù)據時代系統(tǒng)工程面臨的機遇與挑戰(zhàn)

大數(shù)據時代系統(tǒng)工程面臨的機遇與挑戰(zhàn)移動大數(shù)據在海地大地震應急救援管理決策中的應用；基于大數(shù)據的航天裝備的健康管理與壽命預測研究；TCL美國棱鏡計劃對國家安全與反恐維穩(wěn)情報體系建設的啟示；網絡輿情分析和實時情景態(tài)勢感知的突發(fā)事件應急管理與決策；2015年國家自然科學基金委管理學部的重點項目投票……大數(shù)據時代系統(tǒng)工程面臨的機遇與挑戰(zhàn)主要內容一、大數(shù)據時代系統(tǒng)工程面臨的機遇二、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)大數(shù)據指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策有更積極目的的資訊。大數(shù)據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值密度低）。大數(shù)據已成為互聯(lián)網信息技術行業(yè)的流行詞匯，已成為未來“十三五”和2030年前我國重點發(fā)展的十大科技領域之一。大數(shù)據技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據信息，而在于對這些含有價值的數(shù)據進行專業(yè)化處理，通過“加工處理”實現(xiàn)數(shù)據“增值”。關于大數(shù)據(bigdata)一、大數(shù)據時代系統(tǒng)工程面臨的機遇大數(shù)據可分為大數(shù)據技術、大數(shù)據工程、大數(shù)據科學和大數(shù)據應用等領域。大數(shù)據的來源包括網絡日志、RFID、傳感器網絡、社會網絡、手機呼叫詳細記錄、社會數(shù)據、互聯(lián)網文本和文件、互聯(lián)網搜索索引、天文學、大氣科學、基因組學、生物和其他復雜的、跨學科的科研、軍事偵察、能源、交通、醫(yī)療記錄、教育、社會管理、企業(yè)組織內部數(shù)據、攝影檔案館視頻檔案、大規(guī)模的電子商務等。大數(shù)據從”結構化”數(shù)據發(fā)展變化到圖片、視頻、互動、三維等大量形態(tài)各異的”非結構化”數(shù)據，與事件、社會情緒等諸多不可預測的因素有關，如同控制我們情緒的右腦。關于大數(shù)據(bigdata)一、大數(shù)據時代系統(tǒng)工程面臨的機遇“Theuseofbigdatainthedevelopmentworldisinitsearlydaysbutitsignalsanewerainwhichtechnologycouldtransformthewayinternationalpublicsectororganisationsapproachtheirwork.”FinancialTimes,Nov14,2013大數(shù)據的應用在現(xiàn)代社會中還處于起步階段，但他寓示了一個新時代的到來：即大數(shù)據技術將徹底改變公共部門的管理和運作方式。金融時報，2013年11月14日一、大數(shù)據時代系統(tǒng)工程面臨的機遇值得注意的是，中國現(xiàn)代化建設中的很多復雜問題（或系統(tǒng)），如能源、交通、醫(yī)療衛(wèi)生、科技教育、社會保障、環(huán)境保護、城市建設、企業(yè)管理、信息網絡管理、社會管理、國防與軍隊建設管理等問題，用傳統(tǒng)方法很難以解決或成本太高，而基于大數(shù)據（證據）的分析和決策有可能是解決此類問題的選擇。這些問題正是現(xiàn)代化帶來的復雜系統(tǒng)問題，也是系統(tǒng)工程要努力解決的問題。因此，我們進入“互聯(lián)網-大數(shù)據時代”的同時，我們也迎來了系統(tǒng)工程時代！

一、大數(shù)據時代系統(tǒng)工程面臨的機遇案例一：移動大數(shù)據在應急管理中的應用一、大數(shù)據時代系統(tǒng)工程面臨的機遇

全球每年約有2.58億人受到如臺風、地震、洪水、干旱等自然災害的影響，大部分自然災害最直接的后果是導致人口移動和遷徙，社會管理系統(tǒng)趨于癱瘓，大量救援物資無法及時、準確分發(fā)給災民。地海大地震MOU&NDAwithDigicelHaiti（地海）約

10億條通話記錄!數(shù)據庫文件

250GB

單個文本文件25GB手機數(shù)據輔助定位災民移動和分布ImprovedResponsetoDisastersandOutbreaksbyTrackingPopulationMovementswithMobilePhoneNetworkData:APost-EarthquakeGeospatialStudyinHaiti.PLoSMedicine震后災民流動情況分析：人群行為動力學分析ImprovedResponsetoDisastersandOutbreaksbyTrackingPopulationMovementswithMobilePhoneNetworkData:APost-EarthquakeGeospatialStudyinHaiti.PLoSMedicine移動軌跡預測方法ImprovedResponsetoDisastersandOutbreaksbyTrackingPopulationMovementswithMobilePhoneNetworkData:APost-EarthquakeGeospatialStudyinHaiti.PLoSMedicine霍亂感染地區(qū)人口流動及風險評估基于移動數(shù)據的傳染病預防與管控FLOWMINDER.ORG數(shù)據分析報告提交聯(lián)合國救援組織Copyright?2013F.Forinternaluseonly.國際媒體關注Copyright?2013F.Forinternaluseonly.天宮一號目標飛行器的控制力矩陀螺（CMG）性能（退化）數(shù)據趨勢分析數(shù)據的關聯(lián)性分析（飛行器姿態(tài)數(shù)據、空間位置數(shù)據、周邊局部溫度數(shù)據等）基于數(shù)據的故障預測基于數(shù)據的壽命預測基于數(shù)據的故障處理決策支持利用數(shù)據驗證拓展人工管理經驗。案例二：基于大數(shù)據的載人航天系統(tǒng)評價與決策分析一、大數(shù)據時代系統(tǒng)工程面臨的機遇描述統(tǒng)計量

N極小值極大值均值標準差CMG2框架角速度指令3601-.0360.0396-.001714.0123763CMG2框架角度3601-169.15649-150.28747-162.94173306.50066428CMG2轉子轉速脈沖數(shù)3601142414251424.42.493CMG2工作狀態(tài)3601238238238.00.000CMG2自檢狀態(tài)3601121212.00.000CMG2轉子電機電流36011.820000051.919999961.8522854966.02217410613CMG2+45V電源狀態(tài)36014.480000024.500000004.4939794562.00917535759CMG2固緊端軸溫36012.200000052.220000032.2060594719.00919212637CMG2滑動端軸溫36012.240000012.259999992.2599944360.00033328671CMG2+12V電源狀態(tài)36014.260000234.260000234.26000023000E-11CMG2轉子電機電壓36013.940000063.960000043.9599944860.00033328671CMG2+2.5V電源狀態(tài)36012.480000022.500000002.4800222360.00066629563CMG2框架電機電流3601.039999999.159999996.08141071850.024648831419CMG2框架電機電壓36014.219999794.219999794.21999979000E-11CMG2選通狀態(tài)360100.00.000CMG2粗正弦信號36012.059999942.460000042.3216051267MG2粗余弦信號36011.41.61.452.0504奇異測度sm3601.9973.9132.574861.027585姿態(tài)控制管理狀態(tài)3601204204204.00.000三軸角動量偏差DHsatx3601-4.929.12.08743.90774三軸角動量偏差DHsaty3601-7.2424.244.21369.46642三軸角動量偏差DHsatz3601-1.1619.286.85855.97848有效的

N（列表狀態(tài)）3601

案例二：基于大數(shù)據的載人航天系統(tǒng)評價與決策分析一、大數(shù)據時代系統(tǒng)工程面臨的機遇提出了基于數(shù)據趨勢變化的故障預測方法和性能退化的壽命預測方法。

這些案例告訴我們，基于大數(shù)據我們能夠迅速、直觀、理性地對復雜系統(tǒng)或問題進行分析、預測、評估、決策和實施管理，即“基于數(shù)據（或證據）的決策”而不是靠似是而非的“理論”、基于過多假設的“模型”的決策或“事后諸葛亮”。美國前白宮經濟委員會主任、哈佛大學教授LawrenceSummers所認為的，“我們正處在歷史的轉折點，200年后的人書寫我們這段歷史時，他們會發(fā)現(xiàn)我們所處的時代人類思考方式發(fā)生了重大的變化，那就是我們比以往任何時代在更多事情上變得更加理性，我們更多以數(shù)據為依據分析思考問題?！币?、大數(shù)據時代系統(tǒng)工程面臨的機遇(1)社會調查與統(tǒng)計分析方法（含實證分析方法）；(2)系統(tǒng)分析方法；(3)預測分析方法；(4)系統(tǒng)評價方法；(5)運籌學(最優(yōu)化)方法（含智能優(yōu)化）；(6)仿真建模分析方法；(7)網絡建模分析方法（含社會網絡計算）；(8)大數(shù)據建模分析方法（含數(shù)據挖掘、證析）。從方法看挑戰(zhàn)：系統(tǒng)工程方法可大致分為一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)從解析建模、仿真建模、大數(shù)據建模的發(fā)展中，后者都需要前者。如仿真建模中需要局部的解析建模，仿真結果分析需要統(tǒng)計分析和系統(tǒng)評價；大數(shù)據建模中需要解析建模，也需要仿真建模，而且是其中的重要組成部分。因此，如果我們結合中國的管理現(xiàn)實需要和熱點問題，把傳統(tǒng)的方法與大數(shù)據、云計算、物聯(lián)網、網絡科學、社會網絡、數(shù)據挖掘、證析、仿真、社會計算等有機結合起來，可以得到很多有用的新方法。如大數(shù)據、社會網絡的統(tǒng)計分析與預測；物聯(lián)網環(huán)境下數(shù)據驅動的在線優(yōu)化與動態(tài)決策等。一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)(1)社會調查與統(tǒng)計分析方法(2)系統(tǒng)分析方法(3)預測分析方法(4)系統(tǒng)評價方法(5)運籌學方法(6)仿真建模分析方法(7)網絡建模分析方法(8)大數(shù)據建模分析方法傳統(tǒng)方法新的方法結合、創(chuàng)新一、大數(shù)據時代系統(tǒng)工程面臨的機遇研究內容：測量網絡數(shù)據、發(fā)現(xiàn)網絡性質、建立網絡模型、分析網絡行為、設計與控制網絡性能。發(fā)展應用：社會網絡與大數(shù)據分析相結合，為分析復雜的社會系統(tǒng)提供了有力的工具，在社會學、管理學、經濟、國家安全等領域將得到廣泛應用。網絡科學（networkscience）測量網絡數(shù)據發(fā)現(xiàn)網絡數(shù)據建立網絡模型控制網絡功能分析網絡行為一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)網絡建模分析方法定義：是用數(shù)學、運籌學、統(tǒng)計學影響商業(yè)決策的一種方法?！白C”是證據的證，這個證據更多強調的是定量的證據，也就是數(shù)據；“析”仍然是分析的析，分析數(shù)據以產生新的影響決策的證據。因此，證析就是指對量化證據進行分析以影響決策的實踐。背景：證析是學科和時代發(fā)展到現(xiàn)階段的新產物，驅動力來自業(yè)界通過收集和分析數(shù)據以從中獲得最大化的價值的努力，業(yè)界利用數(shù)據指導從產品設計、物流規(guī)劃到推廣營銷的一系列決策。大數(shù)據為analytics提供了技術基礎，數(shù)學、運籌學、統(tǒng)計學和計算機科學的發(fā)展為analytics提供了分析數(shù)據的手段。以Analytics為名的雜志也于2008年正式發(fā)行。證析：基于證據的決策(analytics，不同于analysis)一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)１、需求分析：證析是為解決業(yè)務問題、提升業(yè)務決策服務的，所以要分析客戶的問題和需求是什么。２、決策流程分析：企業(yè)通過其價值鏈實現(xiàn)客戶價值，企業(yè)為實現(xiàn)價值、獲取利潤需優(yōu)化價值鏈中各個環(huán)節(jié)的決策，因此，企業(yè)業(yè)務流程中的決策流程的決策效果是證析項目的主要目標。３、數(shù)據管理：從各個來源抽取與搜集數(shù)據、建立數(shù)據倉庫、管理數(shù)據是證析項目的基礎和重要組成部分。４、度量：度量指標決定了證析項目所需要優(yōu)化的決策目標。５、探索性數(shù)據分析與數(shù)據可視化。６、提出假設，發(fā)現(xiàn)模型、關聯(lián)與模式。證析的研究內容和步驟：一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)７、檢驗與評價：假設成立與否需要使用數(shù)據并利用統(tǒng)計方法進行檢驗。８、形成理論與洞察：利用人的歸納和推理能力，對數(shù)據的產生機理做出猜測，從而形成理論。９、推理與優(yōu)化：利用專家系統(tǒng)中的自動推理規(guī)則和搜索優(yōu)化算法。１0、干預與解決方案設計：包括產生創(chuàng)意、細化創(chuàng)意、選擇方案等。１1、仿真與實驗：相關性并不等同于因果性。１2、應用與推廣（實施決策）。１3、監(jiān)控與持續(xù)的改進。證析的研究內容和步驟：一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)實際上，大數(shù)據、物聯(lián)網、云計算、網絡科學、社會網絡、數(shù)據挖掘、證析、仿真、計算實驗等都有很密切的關系：

1、大數(shù)據挖掘、開源情報分析

2、大數(shù)據與證析（基于證據的決策）

3、大數(shù)據分析與仿真驗證

4、大數(shù)據分析與云計算

5、大數(shù)據與網絡科學研究

6、大數(shù)據與社會網絡分析7、大數(shù)據與計算實驗結論：研究方法的選取大多與研究對象的結構化、關聯(lián)性和數(shù)據多少有關?？偟陌l(fā)展趨勢是數(shù)據越來越多，問題越來越非結構化，關系越來越復雜和網絡化。一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)一、大數(shù)據時代系統(tǒng)工程面臨的挑戰(zhàn)從復雜系統(tǒng)研究看挑戰(zhàn)：關于復雜系統(tǒng)的特性，主要表現(xiàn)為：以非線性為核心，由此推演出復雜系統(tǒng)的整體性、自主性、關聯(lián)性、涌現(xiàn)性和多樣性等特性。大數(shù)據時代追求的“不是隨機樣本，而是全體數(shù)據”。全體數(shù)據正好刻畫了復雜系統(tǒng)的整體。小數(shù)據時代，萬事都要追問個“為什么”，總想弄清