信息安全分析項(xiàng)目解決方案說明書

信息安全項(xiàng)目解決方案說明書XX科技股份有限公司編制

目錄一、項(xiàng)目存在問題及需解決問題 31. 存在問題 31.1 人為因素和自然災(zāi)害因素 31.2 網(wǎng)絡(luò)操作系統(tǒng)的脆弱性 31.3 數(shù)據(jù)庫管理系統(tǒng)安全的脆弱性 41.4 網(wǎng)絡(luò)資源共享 41.5 計(jì)算機(jī)網(wǎng)絡(luò)病毒 42. 需解決問題 5二、解決方案 51.解決方案總體架構(gòu) 52.核心技術(shù) 6（1）Hadoop 6（2）SpringMVC 7（3）MyBatis 7（4）Echarts 7（5）MySQL 7（6）Hive 8（7）HBASE 8（8）Zookeeper 8（9）Flume 9三、開發(fā)范圍 91.數(shù)據(jù)生產(chǎn) 92.數(shù)據(jù)采集/消費(fèi) 93.數(shù)據(jù)分析 104.數(shù)據(jù)展示 11

項(xiàng)目存在問題及需解決問題存在問題人為因素和自然災(zāi)害因素⑴人為因素是指人為入侵和攻擊、破壞網(wǎng)絡(luò)系統(tǒng)正常運(yùn)行。一些"黑客"利用計(jì)算機(jī)病毒在網(wǎng)絡(luò)中可以傳播的食利條件，破壞單位或者個(gè)人的計(jì)算機(jī)系統(tǒng)、竊取秘密資料和帳戶密碼，從事各種違法犯罪活動(dòng)。(2)自然災(zāi)害因素主要是指火災(zāi)、水災(zāi)、風(fēng)暴、雷電、地震等破壞，以及環(huán)境(溫度、濕度、震動(dòng)、沖擊、污染的影響。此類不安全因素的特點(diǎn)是:突發(fā)性、自然性、非針對(duì)性。這種不安全因素對(duì)網(wǎng)絡(luò)信息的完整性和可用性威脅最大，而對(duì)網(wǎng)絡(luò)信息的保密性影響卻較小，因?yàn)樵谝话闱闆r下，物理上的破壞將銷毀網(wǎng)絡(luò)信息本身。解決此類不安全隱患的有效方法是采取各種防護(hù)措施、制定安全規(guī)章、隨時(shí)備份數(shù)據(jù)等。(3)由于網(wǎng)絡(luò)自身存在安全隱患而導(dǎo)致網(wǎng)絡(luò)系統(tǒng)產(chǎn)生隱患的不安全因素有:網(wǎng)絡(luò)操作系統(tǒng)的脆弱性、數(shù)據(jù)庫管理系統(tǒng)安全的脆弱性、網(wǎng)絡(luò)資源共享、計(jì)算機(jī)病毒等。網(wǎng)絡(luò)操作系統(tǒng)的脆弱性網(wǎng)絡(luò)操作系統(tǒng)是計(jì)算機(jī)網(wǎng)絡(luò)最基本的軟件。在網(wǎng)絡(luò)上傳輸文件，加載與安裝程序，包括可執(zhí)行的文件;它可以創(chuàng)建進(jìn)程，甚至可以在網(wǎng)絡(luò)的節(jié)點(diǎn)上進(jìn)行遠(yuǎn)程的創(chuàng)建和激活;操作系統(tǒng)中有一些守護(hù)進(jìn)程，實(shí)際上是一些系統(tǒng)進(jìn)程，其總是在等待一些條件的出現(xiàn);操作系統(tǒng)都提供遠(yuǎn)程調(diào)用(RemoteProcedureCall，簡(jiǎn)稱RPC)服務(wù)，而提供的安全驗(yàn)證功能卻很有限操作系統(tǒng)提供網(wǎng)絡(luò)文件系統(tǒng)(NetworkFileSystem，簡(jiǎn)稱NFS)服務(wù)，NFS系統(tǒng)是一個(gè)基于RPC的網(wǎng)絡(luò)文件系統(tǒng)。在UNIX與WindowsNT中的Daemon軟件實(shí)際上是一些系統(tǒng)進(jìn)程，它們通常總是在等待一些條件的出現(xiàn)，倘若滿足要求的條件出現(xiàn)，此程序會(huì)繼續(xù)運(yùn)行下去。這類軟件正是被"黑客"所看中并且加以利用的。更令人擔(dān)憂的是Daemon軟件具有與操作系統(tǒng)核心層軟件同等的權(quán)限。數(shù)據(jù)庫管理系統(tǒng)安全的脆弱性由于數(shù)據(jù)庫管理系統(tǒng)(DBMS)對(duì)數(shù)據(jù)庫的管理是建立在分級(jí)管理概念上的，由此可見DBMS的安全性。除此之外，DBMS與網(wǎng)絡(luò)操作系統(tǒng)之間存在不少接口，它的安全必須與操作系統(tǒng)的安全配套，這必然是一個(gè)先天性不足，僅靠后天的預(yù)防還是難以避免。由于DBMS是在操作系統(tǒng)上運(yùn)行的所以，這種安全性弱點(diǎn)是無法克服的。網(wǎng)絡(luò)資源共享計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的最大優(yōu)勢(shì)是實(shí)現(xiàn)網(wǎng)絡(luò)系統(tǒng)資源共享，硬件、軟件、數(shù)據(jù)等資源共享。這種共享是一把雙刃劍，帶有兩面性，一方面既給用戶帶來方便的同時(shí)，另一方面也為非法用戶竊取信息、破壞信息創(chuàng)造了便利條件。非法用戶或者黑客可以通過終端或結(jié)點(diǎn)進(jìn)行非法手段或者非法侵害。計(jì)算機(jī)網(wǎng)絡(luò)病毒由于計(jì)算機(jī)網(wǎng)絡(luò)在當(dāng)代社會(huì)工作和生活中的廣泛應(yīng)用，計(jì)算機(jī)病毒對(duì)計(jì)算機(jī)及網(wǎng)絡(luò)的攻擊也與日俱增，而且破壞性日益嚴(yán)重。一旦病毒發(fā)作，它能沖擊內(nèi)存，影響性能，修改數(shù)據(jù)或刪除文件。一些病毒甚至能擦除硬盤或使硬盤不可訪問，甚至破壞電腦的硬件設(shè)施。病毒的最大危害是使整個(gè)網(wǎng)絡(luò)陷于癱瘓，網(wǎng)絡(luò)資源無法訪問。由此可見，計(jì)算機(jī)病毒對(duì)電腦和計(jì)算機(jī)網(wǎng)絡(luò)的威脅非常嚴(yán)重，不可忽視。需解決問題計(jì)算機(jī)網(wǎng)絡(luò)病毒缺少有效的系統(tǒng)平臺(tái)網(wǎng)絡(luò)資源共享解決方案解決方案總體架構(gòu)圖SEQ圖表\*ARABIC1信息安全解決方案總體架構(gòu)HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲(chǔ)一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計(jì)方法，把整個(gè)系統(tǒng)看作是多個(gè)離散對(duì)象的組合。系統(tǒng)設(shè)計(jì)時(shí)，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實(shí)體對(duì)象，然后根據(jù)業(yè)務(wù)流程分析對(duì)于這些業(yè)務(wù)實(shí)體對(duì)象的操作方法，形成業(yè)務(wù)處理對(duì)象，最后把各個(gè)功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計(jì)是一個(gè)將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計(jì)陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計(jì)思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計(jì)思想，定義和管理系統(tǒng)的實(shí)體及配置，調(diào)整實(shí)體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實(shí)現(xiàn)的平臺(tái)無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實(shí)際使用的易用性。系統(tǒng)采用echarts可視化框架實(shí)現(xiàn)數(shù)據(jù)展示。核心技術(shù)HadoopHadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲(chǔ)過程和高級(jí)映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡(jiǎn)單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對(duì)象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個(gè)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。HiveHive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲(chǔ)在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡(jiǎn)稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實(shí)現(xiàn)對(duì)map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。HBASEHBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。ZookeeperZooKeeper是一個(gè)分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對(duì)于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會(huì)讓你來進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項(xiàng)目的一體化方案的設(shè)計(jì)（數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、分析、展示），則必須清楚每一個(gè)環(huán)節(jié)是如何處理的，包括其中每個(gè)環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們?cè)诖诵枰獙?shí)時(shí)數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對(duì)接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->s