基于云端的行業(yè)協(xié)作設(shè)計(jì)平臺

1、基于云端的行業(yè)協(xié)作設(shè)計(jì)平臺技術(shù)創(chuàng)新 變革未來20周年44+ GW28500 臺風(fēng)機(jī)深港兩地上市國際第三國內(nèi)遙遙領(lǐng)先兩次獲得MIT創(chuàng)新TOP50數(shù)字化風(fēng)電場起始點(diǎn)1.5年2.5年20年規(guī)劃設(shè)計(jì)工程建設(shè)后期運(yùn)營規(guī)劃可行性研究 設(shè)計(jì)招標(biāo) 建設(shè) 并網(wǎng)維修維護(hù) 備品備件 資產(chǎn)管理 運(yùn)行管理 延壽改造 業(yè)務(wù)優(yōu)化數(shù)字化產(chǎn)品數(shù)據(jù)平臺智能風(fēng)機(jī)載荷仿真安全性能定制化設(shè)計(jì)備選機(jī)型（共13種）GW115-2.0-HH80, 85, 90GW115-2.1-HH80, 85, 90GW115-2.2-HH80, 85, 90GW121-2.0-HH85, 90GW121-2.5-HH80, 90定制化方案塔架減重提高切

2、出風(fēng)速提高額定功率39種方案業(yè)務(wù)難點(diǎn)HPC每天數(shù)萬次仿真大數(shù)據(jù)短時(shí)間產(chǎn)生數(shù)百GB的二進(jìn)制文件在PB級數(shù)據(jù)中做秒級查詢分鐘級完成數(shù)十萬小文件統(tǒng)計(jì)ECSRDSS3DynamoDBEC2 AutoscalingLambdaEC2SQSEC2 Spot InstanceEMRS3IAMRDSVPCDirect ConnectElasticacheCloudWatchELBSNSEBSElastic Search業(yè)務(wù)系統(tǒng)HPC數(shù)據(jù)湖后臺監(jiān)控助力金風(fēng)載荷評估效率的飛躍201420152016201720183天1輪1天1輪1天3輪1天10+1天20+1 Day2 Days3 Days載荷仿真流程Pre-p

3、rocessingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 對象關(guān)系型關(guān)系型關(guān)系型二進(jìn)制PB量級半結(jié)構(gòu)化10TB量級100 GB/s大規(guī)模并行仿真計(jì)算Pre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 每個(gè)batch = 300020000個(gè)工況基于的典型并行計(jì)

4、算架構(gòu)最高可達(dá)核的性能仿真性能對比核60301020506070本地48核工作站AWS3040仿真時(shí)間/小時(shí)類似的統(tǒng)一任務(wù)進(jìn)度管理SNSLambdaDynamoDB查詢API提交任務(wù) 通道合并生風(fēng)基于的定時(shí)觸發(fā)任務(wù)LambdaCloudWatchEventCloudWatchCustom MetricAuto-scaling無服務(wù)架構(gòu)在并行任務(wù)調(diào)度中的優(yōu)點(diǎn)支持自動(dòng)重試（服務(wù)端自己實(shí)現(xiàn)重試機(jī)制）SNS配合Lambda并發(fā)性能高安全(IAM管控)松耦合/無狀態(tài)開發(fā)工作量小，幾十行代碼幾乎零運(yùn)維成本大幅節(jié)省計(jì)算成本(400萬次請求+10萬秒的運(yùn)行時(shí)間=35元，1個(gè)月2臺m4.xlarge=4000元

5、)實(shí)時(shí)監(jiān)控，Cloud Watch記錄SNS轉(zhuǎn)發(fā)狀態(tài)，事件報(bào)警提高并行能力的下一個(gè)關(guān)鍵點(diǎn)吞吐效率100MB(每個(gè)工況) X 1000工況 = 100GB/minPre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 海量小文件的挑戰(zhàn)3000個(gè)工況 =300 GB容量20 萬個(gè)二進(jìn)制文件傳統(tǒng)的解決方案部署在上的緊耦合/資源競爭不能自動(dòng)擴(kuò)展數(shù)據(jù)湖仿真輸出S3落庫程序Auto-scaleSQS仿真結(jié)果S3元數(shù)據(jù)RDS分鐘級延時(shí)處

6、理峰值100GB/s的二進(jìn)制壓縮文件無限的擴(kuò)展能力每天35 TB從100 TB到900 TB數(shù)億個(gè)小文件請求延遲穩(wěn)定在100 ms量級可追溯可搜索的集中仿真數(shù)據(jù)管理從級數(shù)據(jù)中做秒級查詢基于版本控制的多版本對比版本管理幾乎不需要額外的代碼文件數(shù)量很大時(shí)，版本信息太過分散，批量查詢效率低并行后處理Pre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 統(tǒng)計(jì)后處理極限載荷疲勞載荷如何針對幾十萬個(gè)文件做快速統(tǒng)計(jì)處理？海量小文件的挑

7、戰(zhàn)3000個(gè)工況 =300 GB容量20 萬個(gè)二進(jìn)制文件基于的大規(guī)模并行后處理仿真結(jié)果S3后處理EMRHBase EMRHBase S3從單機(jī)數(shù)據(jù)處理到MR:自動(dòng)處理所有輸出變量單機(jī):有選擇的變量組合后處理性能對比全部極限載荷240.10510202530本地48核工作站EMR+S315后處理統(tǒng)計(jì)時(shí)間/小時(shí)性能HBase on EMRHBase Region ServerEBSHBase on S3基于S3的無限存儲S3的高可靠性打散Row Key可以避免S3熱點(diǎn)用EBS可以提高熱數(shù)據(jù)查詢性能使用競價(jià)實(shí)例降低成本適合使用Spot的業(yè)務(wù)模塊無狀態(tài)的應(yīng)用具備失敗重試機(jī)制業(yè)務(wù)在短時(shí)間內(nèi)需求量會暴增的

8、應(yīng)用80%Jenkins 多架構(gòu)的部署方案以Jenkins為中心對多種混合架構(gòu)進(jìn)行統(tǒng)一部署S3/ECR存放編譯后代碼或鏡像平均部署時(shí)長1分鐘，每天80次部署ECRECSS3LambdaEC2Auto-scalingEC2Push鏡像API部署API部署編譯后代碼ECSRDSS3DynamoDBEC2 AutoscalingLambdaEC2SQSEC2 Spot InstanceEMRS3IAMRDSVPCDirect ConnectElasticacheCloudWatchELBSNSEBSElastic Search業(yè)務(wù)系統(tǒng)HPC數(shù)據(jù)湖后臺監(jiān)控對流程的關(guān)鍵性支撐Pre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 峰值4000核的并行計(jì)算將仿真時(shí)間縮短20