高效、快速、靈活的彈性大數(shù)據(jù)平臺設(shè)計

企業(yè)研究開發(fā)項目計劃書（自主開發(fā)類）項目名稱高效、快速、靈活的彈性大數(shù)據(jù)平臺設(shè)計企業(yè)名稱XXXX企業(yè)法人（簽名）項目負責人電話項目起卜時間XXX年1月至XXX年1—月填報日期研究開發(fā)費預(yù)算表單位：元（已計入無形資產(chǎn)成本的費用除外）所屬年度：序號研發(fā)費用項目預(yù)算額1一、直接從事研發(fā)活動的本企業(yè)在職人員人工費用21、工資、薪金32、津貼、補貼43、加班工資、獎金、年終加薪56二、研發(fā)活動直接投入的費用71、直接消耗的原材料、半成品、燃料和動力費用82、達不到固定資產(chǎn)標準的模具、樣品、樣機及一般測試手段購置費93、工藝裝備開發(fā)制造費，設(shè)備調(diào)整檢驗費，試制產(chǎn)品檢驗費104、用于研發(fā)活動的儀器設(shè)備簡單維護費1112三、折舊費用與長期待攤費用131、專門用于研發(fā)活動的儀器、設(shè)備的折舊費或租賃費142、研發(fā)儀器設(shè)備改裝、修理過程中發(fā)生的長期待攤費用1516四、設(shè)計費用171、新產(chǎn)品設(shè)計費、新工藝規(guī)程制定費182、進行工序、技術(shù)規(guī)范、操作特性方面的設(shè)計等發(fā)生的其它費用1920五、裝備調(diào)試費211、工裝準備過程中研發(fā)活動發(fā)生的費用2223六、專門用于研發(fā)活動的無形資產(chǎn)攤銷費241、研發(fā)軟件252、專利權(quán)263、非專利發(fā)明（技術(shù)）274、許可證、專有技術(shù)、設(shè)計和計算方法等專有技術(shù)發(fā)生的攤銷費2829七、勘探、開發(fā)技術(shù)的現(xiàn)場試驗費3031八、研發(fā)成果的論證、鑒定、評審、驗收費32九、與研發(fā)活動直接相關(guān)的其他費用331、技術(shù)圖書資料費、資料翻譯費34七、主要（大中型）儀器設(shè)備清單八、自主研究開發(fā)專項小組序號項目規(guī)格數(shù)量備注1服務(wù)器1PowerEdgeR7201臺用于平臺開發(fā)、測試及業(yè)務(wù)測試、運行2服務(wù)器2PowerEdgeR71010臺3PC電腦Lenovoideapad110-15IKBIntelcorei5-7200UCPU2.50GHz2.70GHz內(nèi)存8G20臺用于開發(fā)編碼，及日常辦公4蘋果電腦MacBookproIntelcorei5內(nèi)存8G+256G閃存5臺XXXX成立專門的項目小組，該項目小組是由我公司核心研發(fā)人員組成，是高素質(zhì)、高技術(shù)、高水平人才。該項目小組專項負責高新技術(shù)容器云平臺、大數(shù)據(jù)平臺的研發(fā)測試，業(yè)務(wù)活動按國家和地方有關(guān)條例進行，正是這支務(wù)實高效、勇于創(chuàng)新的科研隊伍，為公司的技術(shù)創(chuàng)新和各項研發(fā)活動奠定了堅實的基礎(chǔ)。九、主要研發(fā)人員情況企業(yè)蓋章序號姓名學歷職務(wù)備注1大專技術(shù)總監(jiān)2碩士系統(tǒng)架構(gòu)師3本科系統(tǒng)架構(gòu)師4大專5大專6本科7本科8本科9本科10本科高級軟件開發(fā)工程師11本科高級軟件開發(fā)工程師12大專高級軟件開發(fā)工程師13本科局級前端開發(fā)工程師14本科局級前端開發(fā)工程師15本科局級前端開發(fā)工程師16本科高級前端開發(fā)工程師17本科高級前端開發(fā)工程師一、立項依據(jù)國內(nèi)外現(xiàn)狀、水平和發(fā)展趨勢目前，伴隨移動互聯(lián)網(wǎng)、智能硬件和物聯(lián)網(wǎng)的快速普及，全球數(shù)據(jù)總量呈現(xiàn)指數(shù)級增長態(tài)勢，與此同時，機器學習等先進的數(shù)據(jù)分析技術(shù)創(chuàng)新也日趨活躍，使得大數(shù)據(jù)隱含的價值得以更大程度的顯現(xiàn)，一個更加注重數(shù)據(jù)價值的新時代正悄然來臨。發(fā)達國家一向重視大數(shù)據(jù)在促進經(jīng)濟發(fā)展和社會變革、提升國家整體競爭力等方面的重要作用，當前更是把大數(shù)據(jù)視為重要的戰(zhàn)略資源，大力搶抓大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展先發(fā)優(yōu)勢，積極捍衛(wèi)本國數(shù)據(jù)主權(quán)，力爭在數(shù)字經(jīng)濟時代占得先機。我們從各國發(fā)展大數(shù)據(jù)的新舉措中或許可以窺探到大數(shù)據(jù)發(fā)展的新趨勢。項目研發(fā)的目的、意義大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次技術(shù)變革?！按髷?shù)據(jù)”是公司在日常運營中生成、累積的數(shù)據(jù)。這些數(shù)據(jù)的規(guī)模龐大。因此，積極針對大數(shù)據(jù)布局，從戰(zhàn)略層面應(yīng)對大數(shù)據(jù)時代的挑戰(zhàn)，推進并建立起數(shù)據(jù)驅(qū)動型發(fā)展方式的金融機構(gòu)將獲得比同業(yè)更高的效率，優(yōu)化行政物控流程，結(jié)合企業(yè)內(nèi)外部數(shù)據(jù)，在業(yè)務(wù)擴張的同時，清楚掌握企業(yè)成本消耗，并最終實現(xiàn)精細化管理，并由此培育出自己的信息核心競爭力。本項目達到的技術(shù)水平及市場前景。＞高可用性數(shù)據(jù)集市是分布式架構(gòu)。數(shù)據(jù)存儲是分布式的，數(shù)據(jù)的計算也是分布式的，還帶有備份機制和監(jiān)控機制。當某一臺數(shù)據(jù)集市的機器宕機，另外一臺數(shù)據(jù)集市會自動承擔所有計算。該數(shù)據(jù)集市應(yīng)用廣泛，有的電信級客戶的數(shù)據(jù)量已經(jīng)達到了上百T,依舊運行穩(wěn)定可靠。該分布式數(shù)據(jù)集市支持對計算和存儲節(jié)點進行熱插拔擴展，可以從一個節(jié)點擴展到幾十個甚至上百個節(jié)點；＞高并發(fā)性數(shù)據(jù)集市支持高并發(fā)。數(shù)據(jù)集市作為計算層，支持分布式計算，采用MapReduce架構(gòu)來提高計算效率。永洪科技的分布式數(shù)據(jù)集市，是列式存儲的，采用良好的內(nèi)存計算技術(shù)，可基于多臺存儲和計算節(jié)點并行工作，非常適合海量數(shù)據(jù)的實時數(shù)據(jù)分析。＞高擴展性整個系統(tǒng)架構(gòu)，無論是ETL層、數(shù)據(jù)集市層，還是BI層，都可以加入或者減少服務(wù)器節(jié)點。這里的服務(wù)器節(jié)點，既可以是物理機也可以是虛擬機。A高性價比，低TCO整個系統(tǒng)架構(gòu)，摒棄了傳統(tǒng)系統(tǒng)常見的向上升級(Scale-Up)的思想，不管是數(shù)據(jù)集市還是BI前端，都支持橫向升級(Scale-Out)。隨著企業(yè)的業(yè)務(wù)增長，數(shù)據(jù)量和分析需求都會大幅增長，基于X86PCServer集群的平臺架構(gòu)十分關(guān)鍵。在這種架構(gòu)下，我們不用采購昂貴的小型機去支撐高并發(fā)，去支撐海量數(shù)據(jù)計算，去支撐數(shù)據(jù)分析業(yè)務(wù)的發(fā)展，而是采購多臺普通的PCServer搭建集群，建設(shè)高性價比的分析平臺。在達到高技術(shù)水平的同時，本項目市場前景較好，可廣泛用于軍工、制造、金融、能源等行業(yè)，市場前景非常廣闊。我公司該項目不斷發(fā)展、不斷完善，功能以及性能可滿足多行業(yè)、高標準企業(yè)，能提升企業(yè)信息化建設(shè)，具有重要的經(jīng)濟和社會效益。二、研發(fā)內(nèi)容和目標項目主要內(nèi)容及目標研制具有高適應(yīng)性、高可擴展性、安全可靠的基于Kubernetes和Docker容器的新型虛擬化技術(shù)統(tǒng)一資源調(diào)度操作系統(tǒng)，操作系統(tǒng)支持包括FPGA、GPU等異構(gòu)計算設(shè)備、非易失內(nèi)存等存儲設(shè)備虛擬化的統(tǒng)一資源調(diào)度，為大規(guī)模并行分析、分布式內(nèi)存計算和大數(shù)據(jù)、深度學習、HPC應(yīng)用等負載提供超融合架構(gòu)和調(diào)度能力，并提升應(yīng)用遷移處理能力、處理效率和用戶資源隔離水平。關(guān)鍵技術(shù)平臺支持Docker公司的原生Kubernetes調(diào)度引擎，對外使用標準DockerAPI,降低學習和開發(fā)成本，通過該調(diào)度引擎，能夠提供資源調(diào)度、服務(wù)發(fā)現(xiàn)、運行監(jiān)控、擴容縮容、負載均衡、灰度升級、失敗冗余、容災(zāi)恢復(fù)、DevOps等，可實現(xiàn)大規(guī)模、分布式、高可用的Docker集群。通過云平臺可以實現(xiàn)大數(shù)據(jù)平臺的快速部署，用戶只需要根據(jù)生產(chǎn)環(huán)境的實際業(yè)務(wù)需求，選擇用戶需要使用的大數(shù)據(jù)組件，即可輕松、快速地完成大數(shù)據(jù)平臺的部署與使用。用戶可以根據(jù)自己的需要自定義相關(guān)組件，并保存為鏡像文件，以后每次使用時，用戶可使用自定義的大數(shù)據(jù)功能組件進行部署。云平臺內(nèi)部集成持續(xù)集成流水線，通過可視化、拖拽的形式,將不同的微服務(wù)組件，根據(jù)不同項目情況建設(shè)不同的流水線，將開發(fā)、測試、部署活動全部自動化，極大的節(jié)約開發(fā)成本，提高軟件交付速度。支持基于Docker的持續(xù)集成流程，方便微服務(wù)的改造，可以直接將代碼和分支關(guān)聯(lián)起來，用戶可根據(jù)需求自動或者手動分布式構(gòu)建微服務(wù)項目。同時支持多微服務(wù)的流水線作業(yè)。支持平滑的軟件升級，通過灰度發(fā)布的方式，對不同應(yīng)用的不同功能組件進行升級。如果一個服務(wù)的由多個容器組成，灰度升級會一個容器一個容器的進行，類似于RollingUpgrade的方式。如果在升級的過程發(fā)現(xiàn)了問題，可以及時地對服務(wù)進行回滾。這樣可以保證整體系統(tǒng)的穩(wěn)定，而且不會在升級過程中中斷服務(wù)。升級完成后，用戶可以根據(jù)新版本的使用感受，來決定是否進行灰度降級回滾。將大數(shù)據(jù)容器化，所有大數(shù)據(jù)組件依靠stackOS容器云平臺支撐，使用Kubernetes進行調(diào)度，完美融合云計算與大數(shù)據(jù)。.技術(shù)創(chuàng)新之處在原生的Docker和Kubernetes技術(shù)上做了自主研發(fā)(2)大數(shù)據(jù)平臺支撐(3)開發(fā)運維一體化DevOps(4)微服務(wù)支撐(5)打造多租戶能力(6)設(shè)計平臺計費功能(7)大數(shù)據(jù)PAAS平臺支撐(8)云計算與大數(shù)據(jù)完美融合.主要技術(shù)指標或經(jīng)濟指標研究開發(fā)Docker+Kubernetes,結(jié)合大數(shù)據(jù)、微服務(wù)等高級功能，做到高性能，自動化快速部署，功能易用易懂。主要技術(shù)指標：無人值守，部署時間：＜30分鐘高故障恢復(fù)能力：GO分鐘高效率故障切換：＜5分鐘三、研發(fā)試驗方法及技術(shù)路線整個云平臺分為三層，包括“物理層”，“平臺層”和“計算層”物理層：采用傳統(tǒng)的x86物理服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備，作為容器云平臺和大數(shù)據(jù)平臺的底層物理支撐；為整個云平臺提供一個彈性的，可擴展的基礎(chǔ)硬件資源。平臺層：平臺層采用Docker容器作為業(yè)務(wù)系統(tǒng)封裝技術(shù)，該層作為智慧的核心處理層，主要包括以下功能：容器平臺的調(diào)度引擎，提供容器的生命周期管理，生命周期內(nèi)能根據(jù)業(yè)務(wù)壓力自動調(diào)度業(yè)務(wù)運行；所有計算層容器直接通過Docker引擎調(diào)用宿主機硬件資源，包括CPU,內(nèi)存，存儲和網(wǎng)絡(luò)設(shè)備資源；針對有高性能要求和圖像處理要求的應(yīng)用，平臺層可以提供PassThrough能力，直接將宿主機硬件FPGA或GPU映射到容器內(nèi)部，為計算層平臺應(yīng)用提供高性能計算或圖像處理能力，在最大化硬件資源利用的情況下，同時以最高性能為智慧平臺提供業(yè)務(wù)支撐。平臺具有DevOps敏捷開發(fā)輔助工具，為用戶開發(fā)提供CI/CD能力。支持平滑的軟件升級，通過灰度發(fā)布的方式，對不同應(yīng)用的不同功能組件進行升級?；叶劝l(fā)布是指在黑與白之間，能夠平滑過渡的一種發(fā)布方式。多租戶能力，容器云平臺不僅能夠?qū)崿F(xiàn)傳統(tǒng)容器云平臺的所有功能，同時該產(chǎn)品能夠針對不同的應(yīng)用場景，對用戶實現(xiàn)多租戶管理，每個租戶應(yīng)用都相互獨立，互不干擾，各租戶間的資源使用，都相互獨立。計算層：提供大數(shù)據(jù)的業(yè)務(wù)應(yīng)用服務(wù)，供多個客戶使用，支持多租戶的應(yīng)用開發(fā)框架，同時大數(shù)據(jù)分析能力和高性能處理能力或高性能圖像處理能力。a）大數(shù)據(jù)分析通過云平臺可以實現(xiàn)大數(shù)據(jù)平臺的快速部署，用戶只需要根據(jù)生產(chǎn)環(huán)境的實際業(yè)務(wù)需求，選擇用戶需要使用的大數(shù)據(jù)組件，即可輕松、快速地完成大數(shù)據(jù)平臺的部署與使用。用戶可以根據(jù)自己的需要自定義相關(guān)組件，并保存為鏡像文件，以后每次使用時，用戶可使用自定義的大數(shù)據(jù)功能組件進行部署。b）高性能處理能力云端的GPU和FPGA的主要功能是計算。用于數(shù)據(jù)中心、人工智能、機器學習、云計算和大數(shù)據(jù)云平臺。云端的人工智能主要包括“離線訓(xùn)練，，和，，在線判斷和服務(wù)，，兩種方式。離線訓(xùn)練是指利用海量數(shù)據(jù)輸入，通過合適的訓(xùn)練方法，實現(xiàn)和驗證人工智能算法模型。而在線判斷和服務(wù)是指利用訓(xùn)練出來的算法模型做出判斷，在線響應(yīng)用戶的請求。通過云平臺PassThrough,能夠為容器內(nèi)業(yè)務(wù)應(yīng)用直接提供裸硬件級的性能，大大提高云平臺在人工智能方向的支撐能力。四、現(xiàn)有研發(fā)條件和工作基礎(chǔ).承擔單位開展本項目的優(yōu)勢公司擁有一支年輕化、知識化、專業(yè)化、經(jīng)驗豐富、勇于創(chuàng)新的研發(fā)隊伍，具有專業(yè)人才優(yōu)勢。根據(jù)項目開發(fā)內(nèi)容和難度進行人員安排，并根據(jù)計劃有序地進行。公司利用技術(shù)研發(fā)中心的技術(shù)平臺，成立項目研發(fā)小組，實行項目負責人負責制，由項目研發(fā)小組提出項目試制的技術(shù)工藝和立項報告，外聘專家做技術(shù)指導(dǎo)，財務(wù)部安排科研經(jīng)費，領(lǐng)導(dǎo)部門審批。整個組織實施過程做到定期檢查、定期匯報，以確保項目的順利進行。.2.已有的工作基礎(chǔ)，如預(yù)試及小試成果等。該項目獲得技術(shù)訣竅多項，已經(jīng)過測試，已初步積累了數(shù)據(jù)和經(jīng)驗。五、計劃進度本項目目前完成情況:序號功能模塊完成備注平臺自動部署60%主機管理90%存儲管理80%網(wǎng)絡(luò)管理90%用戶管理30%容