高效、快速、靈活的彈性大數據平臺設計

企業(yè)研究開發(fā)項目計劃書（自主開發(fā)類）項目名稱高效、快速、靈活的彈性大數據平臺設計企業(yè)名稱XXXX企業(yè)法人（簽名）項目負責人電話項目起卜時間XXX年1月至XXX年1—月填報日期研究開發(fā)費預算表單位：元（已計入無形資產成本的費用除外）所屬年度：序號研發(fā)費用項目預算額1一、直接從事研發(fā)活動的本企業(yè)在職人員人工費用21、工資、薪金32、津貼、補貼43、加班工資、獎金、年終加薪56二、研發(fā)活動直接投入的費用71、直接消耗的原材料、半成品、燃料和動力費用82、達不到固定資產標準的模具、樣品、樣機及一般測試手段購置費93、工藝裝備開發(fā)制造費，設備調整檢驗費，試制產品檢驗費104、用于研發(fā)活動的儀器設備簡單維護費1112三、折舊費用與長期待攤費用131、專門用于研發(fā)活動的儀器、設備的折舊費或租賃費142、研發(fā)儀器設備改裝、修理過程中發(fā)生的長期待攤費用1516四、設計費用171、新產品設計費、新工藝規(guī)程制定費182、進行工序、技術規(guī)范、操作特性方面的設計等發(fā)生的其它費用1920五、裝備調試費211、工裝準備過程中研發(fā)活動發(fā)生的費用2223六、專門用于研發(fā)活動的無形資產攤銷費241、研發(fā)軟件252、專利權263、非專利發(fā)明（技術）274、許可證、專有技術、設計和計算方法等專有技術發(fā)生的攤銷費2829七、勘探、開發(fā)技術的現(xiàn)場試驗費3031八、研發(fā)成果的論證、鑒定、評審、驗收費32九、與研發(fā)活動直接相關的其他費用331、技術圖書資料費、資料翻譯費34七、主要（大中型）儀器設備清單八、自主研究開發(fā)專項小組序號項目規(guī)格數量備注1服務器1PowerEdgeR7201臺用于平臺開發(fā)、測試及業(yè)務測試、運行2服務器2PowerEdgeR71010臺3PC電腦Lenovoideapad110-15IKBIntelcorei5-7200UCPU2.50GHz2.70GHz內存8G20臺用于開發(fā)編碼，及日常辦公4蘋果電腦MacBookproIntelcorei5內存8G+256G閃存5臺XXXX成立專門的項目小組，該項目小組是由我公司核心研發(fā)人員組成，是高素質、高技術、高水平人才。該項目小組專項負責高新技術容器云平臺、大數據平臺的研發(fā)測試，業(yè)務活動按國家和地方有關條例進行，正是這支務實高效、勇于創(chuàng)新的科研隊伍，為公司的技術創(chuàng)新和各項研發(fā)活動奠定了堅實的基礎。九、主要研發(fā)人員情況企業(yè)蓋章序號姓名學歷職務備注1大專技術總監(jiān)2碩士系統(tǒng)架構師3本科系統(tǒng)架構師4大專5大專6本科7本科8本科9本科10本科高級軟件開發(fā)工程師11本科高級軟件開發(fā)工程師12大專高級軟件開發(fā)工程師13本科局級前端開發(fā)工程師14本科局級前端開發(fā)工程師15本科局級前端開發(fā)工程師16本科高級前端開發(fā)工程師17本科高級前端開發(fā)工程師一、立項依據國內外現(xiàn)狀、水平和發(fā)展趨勢目前，伴隨移動互聯(lián)網、智能硬件和物聯(lián)網的快速普及，全球數據總量呈現(xiàn)指數級增長態(tài)勢，與此同時，機器學習等先進的數據分析技術創(chuàng)新也日趨活躍，使得大數據隱含的價值得以更大程度的顯現(xiàn)，一個更加注重數據價值的新時代正悄然來臨。發(fā)達國家一向重視大數據在促進經濟發(fā)展和社會變革、提升國家整體競爭力等方面的重要作用，當前更是把大數據視為重要的戰(zhàn)略資源，大力搶抓大數據技術與產業(yè)發(fā)展先發(fā)優(yōu)勢，積極捍衛(wèi)本國數據主權，力爭在數字經濟時代占得先機。我們從各國發(fā)展大數據的新舉措中或許可以窺探到大數據發(fā)展的新趨勢。項目研發(fā)的目的、意義大數據是繼云計算、物聯(lián)網之后IT產業(yè)又一次技術變革?！按髷祿笔枪驹谌粘＿\營中生成、累積的數據。這些數據的規(guī)模龐大。因此，積極針對大數據布局，從戰(zhàn)略層面應對大數據時代的挑戰(zhàn)，推進并建立起數據驅動型發(fā)展方式的金融機構將獲得比同業(yè)更高的效率，優(yōu)化行政物控流程，結合企業(yè)內外部數據，在業(yè)務擴張的同時，清楚掌握企業(yè)成本消耗，并最終實現(xiàn)精細化管理，并由此培育出自己的信息核心競爭力。本項目達到的技術水平及市場前景。＞高可用性數據集市是分布式架構。數據存儲是分布式的，數據的計算也是分布式的，還帶有備份機制和監(jiān)控機制。當某一臺數據集市的機器宕機，另外一臺數據集市會自動承擔所有計算。該數據集市應用廣泛，有的電信級客戶的數據量已經達到了上百T,依舊運行穩(wěn)定可靠。該分布式數據集市支持對計算和存儲節(jié)點進行熱插拔擴展，可以從一個節(jié)點擴展到幾十個甚至上百個節(jié)點；＞高并發(fā)性數據集市支持高并發(fā)。數據集市作為計算層，支持分布式計算，采用MapReduce架構來提高計算效率。永洪科技的分布式數據集市，是列式存儲的，采用良好的內存計算技術，可基于多臺存儲和計算節(jié)點并行工作，非常適合海量數據的實時數據分析。＞高擴展性整個系統(tǒng)架構，無論是ETL層、數據集市層，還是BI層，都可以加入或者減少服務器節(jié)點。這里的服務器節(jié)點，既可以是物理機也可以是虛擬機。A高性價比，低TCO整個系統(tǒng)架構，摒棄了傳統(tǒng)系統(tǒng)常見的向上升級(Scale-Up)的思想，不管是數據集市還是BI前端，都支持橫向升級(Scale-Out)。隨著企業(yè)的業(yè)務增長，數據量和分析需求都會大幅增長，基于X86PCServer集群的平臺架構十分關鍵。在這種架構下，我們不用采購昂貴的小型機去支撐高并發(fā)，去支撐海量數據計算，去支撐數據分析業(yè)務的發(fā)展，而是采購多臺普通的PCServer搭建集群，建設高性價比的分析平臺。在達到高技術水平的同時，本項目市場前景較好，可廣泛用于軍工、制造、金融、能源等行業(yè)，市場前景非常廣闊。我公司該項目不斷發(fā)展、不斷完善，功能以及性能可滿足多行業(yè)、高標準企業(yè)，能提升企業(yè)信息化建設，具有重要的經濟和社會效益。二、研發(fā)內容和目標項目主要內容及目標研制具有高適應性、高可擴展性、安全可靠的基于Kubernetes和Docker容器的新型虛擬化技術統(tǒng)一資源調度操作系統(tǒng)，操作系統(tǒng)支持包括FPGA、GPU等異構計算設備、非易失內存等存儲設備虛擬化的統(tǒng)一資源調度，為大規(guī)模并行分析、分布式內存計算和大數據、深度學習、HPC應用等負載提供超融合架構和調度能力，并提升應用遷移處理能力、處理效率和用戶資源隔離水平。關鍵技術平臺支持Docker公司的原生Kubernetes調度引擎，對外使用標準DockerAPI,降低學習和開發(fā)成本，通過該調度引擎，能夠提供資源調度、服務發(fā)現(xiàn)、運行監(jiān)控、擴容縮容、負載均衡、灰度升級、失敗冗余、容災恢復、DevOps等，可實現(xiàn)大規(guī)模、分布式、高可用的Docker集群。通過云平臺可以實現(xiàn)大數據平臺的快速部署，用戶只需要根據生產環(huán)境的實際業(yè)務需求，選擇用戶需要使用的大數據組件，即可輕松、快速地完成大數據平臺的部署與使用。用戶可以根據自己的需要自定義相關組件，并保存為鏡像文件，以后每次使用時，用戶可使用自定義的大數據功能組件進行部署。云平臺內部集成持續(xù)集成流水線，通過可視化、拖拽的形式,將不同的微服務組件，根據不同項目情況建設不同的流水線，將開發(fā)、測試、部署活動全部自動化，極大的節(jié)約開發(fā)成本，提高軟件交付速度。支持基于Docker的持續(xù)集成流程，方便微服務的改造，可以直接將代碼和分支關聯(lián)起來，用戶可根據需求自動或者手動分布式構建微服務項目。同時支持多微服務的流水線作業(yè)。支持平滑的軟件升級，通過灰度發(fā)布的方式，對不同應用的不同功能組件進行升級。如果一個服務的由多個容器組成，灰度升級會一個容器一個容器的進行，類似于RollingUpgrade的方式。如果在升級的過程發(fā)現(xiàn)了問題，可以及時地對服務進行回滾。這樣可以保證整體系統(tǒng)的穩(wěn)定，而且不會在升級過程中中斷服務。升級完成后，用戶可以根據新版本的使用感受，來決定是否進行灰度降級回滾。將大數據容器化，所有大數據組件依靠stackOS容器云平臺支撐，使用Kubernetes進行調度，完美融合云計算與大數據。.技術創(chuàng)新之處在原生的Docker和Kubernetes技術上做了自主研發(fā)(2)大數據平臺支撐(3)開發(fā)運維一體化DevOps(4)微服務支撐(5)打造多租戶能力(6)設計平臺計費功能(7)大數據PAAS平臺支撐(8)云計算與大數據完美融合.主要技術指標或經濟指標研究開發(fā)Docker+Kubernetes,結合大數據、微服務等高級功能，做到高性能，自動化快速部署，功能易用易懂。主要技術指標：無人值守，部署時間：＜30分鐘高故障恢復能力：GO分鐘高效率故障切換：＜5分鐘三、研發(fā)試驗方法及技術路線整個云平臺分為三層，包括“物理層”，“平臺層”和“計算層”物理層：采用傳統(tǒng)的x86物理服務器、存儲和網絡設備，作為容器云平臺和大數據平臺的底層物理支撐；為整個云平臺提供一個彈性的，可擴展的基礎硬件資源。平臺層：平臺層采用Docker容器作為業(yè)務系統(tǒng)封裝技術，該層作為智慧的核心處理層，主要包括以下功能：容器平臺的調度引擎，提供容器的生命周期管理，生命周期內能根據業(yè)務壓力自動調度業(yè)務運行；所有計算層容器直接通過Docker引擎調用宿主機硬件資源，包括CPU,內存，存儲和網絡設備資源；針對有高性能要求和圖像處理要求的應用，平臺層可以提供PassThrough能力，直接將宿主機硬件FPGA或GPU映射到容器內部，為計算層平臺應用提供高性能計算或圖像處理能力，在最大化硬件資源利用的情況下，同時以最高性能為智慧平臺提供業(yè)務支撐。平臺具有DevOps敏捷開發(fā)輔助工具，為用戶開發(fā)提供CI/CD能力。支持平滑的軟件升級，通過灰度發(fā)布的方式，對不同應用的不同功能組件進行升級?；叶劝l(fā)布是指在黑與白之間，能夠平滑過渡的一種發(fā)布方式。多租戶能力，容器云平臺不僅能夠實現(xiàn)傳統(tǒng)容器云平臺的所有功能，同時該產品能夠針對不同的應用場景，對用戶實現(xiàn)多租戶管理，每個租戶應用都相互獨立，互不干擾，各租戶間的資源使用，都相互獨立。計算層：提供大數據的業(yè)務應用服務，供多個客戶使用，支持多租戶的應用開發(fā)框架，同時大數據分析能力和高性能處理能力或高性能圖像處理能力。a）大數據分析通過云平臺可以實現(xiàn)大數據平臺的快速部署，用戶只需要根據生產環(huán)境的實際業(yè)務需求，選擇用戶需要使用的大數據組件，即可輕松、快速地完成大數據平臺的部署與使用。用戶可以根據自己的需要自定義相關組件，并保存為鏡像文件，以后每次使用時，用戶可使用自定義的大數據功能組件進行部署。b）高性能處理能力云端的GPU和FPGA的主要功能是計算。用于數據中心、人工智能、機器學習、云計算和大數據云平臺。云端的人工智能主要包括“離線訓練，，和，，在線判斷和服務，，兩種方式。離線訓練是指利用海量數據輸入，通過合適的訓練方法，實現(xiàn)和驗證人工智能算法模型。而在線判斷和服務是指利用訓練出來的算法模型做出判斷，在線響應用戶的請求。通過云平臺PassThrough,能夠為容器內業(yè)務應用直接提供裸硬件級的性能，大大提高云平臺在人工智能方向的支撐能力。四、現(xiàn)有研發(fā)條件和工作基礎.承擔單位開展本項目的優(yōu)勢公司擁有一支年輕化、知識化、專業(yè)化、經驗豐富、勇于創(chuàng)新的研發(fā)隊伍，具有專業(yè)人才優(yōu)勢。根據項目開發(fā)內容和難度進行人員安排，并根據計劃有序地進行。公司利用技術研發(fā)中心的技術平臺，成立項目研發(fā)小組，實行項目負責人負責制，由項目研發(fā)小組提出項目試制的技術工藝和立項報告，外聘專家做技術指導，財務部安排科研經費，領導部門審批。整個組織實施過程做到定期檢查、定期匯報，以確保項目的順利進行。.2.已有的工作基礎，如預試及小試成果等。該項目獲得技術訣竅多項，已經過測試，已初步積累了數據和經驗。五、計劃進度本項目目前完成情況:序號功能模塊完成備注平臺自動部署60%主機管理90%存儲管理80%網絡管理90%用戶管理30%容