大數(shù)據(jù)在信息系統(tǒng)設(shè)計(jì)與推廣中的思考

1、大數(shù)據(jù)在信息系統(tǒng)設(shè)計(jì)與推廣中的思考摘要相對(duì)于大數(shù)據(jù)技術(shù)，大數(shù)據(jù)更加注重的是在思考和設(shè)計(jì)方式上的轉(zhuǎn) 變，在大數(shù)據(jù)理念和技術(shù)快速興起并受到廣泛關(guān)注的背景下，結(jié)合公安行業(yè)的 信息化特點(diǎn)探討大數(shù)據(jù)在信息化建設(shè)中的應(yīng)用基礎(chǔ)和實(shí)施策略。關(guān)鍵詞大數(shù)據(jù)；數(shù)據(jù)倉(cāng)庫(kù)；信息化建設(shè)；系統(tǒng)推廣；功能調(diào)研1背景目前，“大數(shù)據(jù)”理念和相關(guān)技術(shù)已經(jīng)被廣泛討論和研究，一方面，對(duì)大數(shù) 據(jù)的掌握程度可以轉(zhuǎn)化為實(shí)際的應(yīng)用價(jià)值；另一方面，大數(shù)據(jù)的影響范圍由電 商、金融向政府、公安等更多的行業(yè)和領(lǐng)域擴(kuò)展。要應(yīng)用大數(shù)據(jù)，就必須要對(duì)其有詳細(xì)的定義，但是站在不同的角度和時(shí)期 對(duì)其有不同的認(rèn)識(shí)，我們可以認(rèn)為大數(shù)據(jù)就是“利用歷史積累的海量數(shù)據(jù)建立

2、數(shù) 學(xué)模型，分析事物之間的相關(guān)關(guān)系，挖掘數(shù)據(jù)的價(jià)值，解決實(shí)際問(wèn)題，”也可以 認(rèn)為大數(shù)據(jù)是“無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管 理和處理的數(shù)據(jù)集合”或“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞 察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)?！辈还苋绾味?義，大數(shù)據(jù)不但要求“大”，而且要求“全”，注重?cái)?shù)據(jù)的完整性和相關(guān)性，推翻 了采樣分析和追求因果關(guān)系的傳統(tǒng)觀點(diǎn)。大數(shù)據(jù)具有明顯的行業(yè)特征，其落地的關(guān)鍵在于與行業(yè)應(yīng)用的深度融合， 傳統(tǒng)BI通過(guò)大量的ETL形成完整的數(shù)據(jù)倉(cāng)庫(kù)，而基于大數(shù)據(jù)的BI分析可能會(huì) 將數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)為分布式的、能夠處理非結(jié)構(gòu)化數(shù)據(jù)的綜合性數(shù)據(jù)

3、倉(cāng)庫(kù)。數(shù)據(jù) 分析的基本方法和思路沒(méi)有改變，只是落地到執(zhí)行的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方法 改變了，當(dāng)然對(duì)系統(tǒng)集群的維護(hù)也提出了更高的要求。現(xiàn)在，大數(shù)據(jù)理念和相關(guān)技術(shù)在新興行業(yè)中應(yīng)用已較為成熟，例如，電商 行業(yè)直接借助于新興的互聯(lián)網(wǎng)技術(shù)，獲取大量不同類(lèi)型的客戶(hù)數(shù)據(jù)，從中分析 客戶(hù)行為規(guī)律，為其提供相關(guān)的商品推薦。另外，大數(shù)據(jù)理念和技術(shù)在公安行 業(yè)中的應(yīng)用也嶄露頭角。大數(shù)據(jù)正在逐漸影響著更多的行業(yè)，對(duì)傳統(tǒng)的業(yè)務(wù)系統(tǒng)也會(huì)有新的貢獻(xiàn)。 公安行業(yè)信息化投資大、風(fēng)險(xiǎn)高，技術(shù)人員和領(lǐng)導(dǎo)團(tuán)隊(duì)都需要從大量當(dāng)前系統(tǒng) 使用情況的數(shù)據(jù)中抽取有價(jià)值的信息作為系統(tǒng)推廣、后期調(diào)研、綜合研判的依 據(jù)。公安業(yè)務(wù)系統(tǒng)數(shù)據(jù)具有分散性、多樣

4、性和異構(gòu)性特點(diǎn)，隨著數(shù)據(jù)量的增 加，對(duì)大量信息的處理難度也不斷增大，從大量數(shù)據(jù)中發(fā)現(xiàn)有利信息成為數(shù)據(jù) 利用的關(guān)鍵技術(shù)。這些是公安行業(yè)信息系統(tǒng)建設(shè)的難點(diǎn)也正是大數(shù)據(jù)理念和技 術(shù)引入的必要性和數(shù)據(jù)基礎(chǔ)。目前，一些警種已經(jīng)把數(shù)據(jù)倉(cāng)庫(kù)引入到研判的信息系統(tǒng)中，用商務(wù)智能的 方法處理數(shù)據(jù)，以便能夠迅速、準(zhǔn)確、全面及時(shí)地掌握各方面信息，從整體上 提高生產(chǎn)率。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的和反映歷史變化的數(shù)據(jù) 集合，通過(guò)對(duì)原有的大量復(fù)雜數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載而形成真實(shí)、全面、 統(tǒng)一的數(shù)據(jù)。在獲取了全面的數(shù)據(jù)信息之后，還需要建立相關(guān)模型，挖掘數(shù)據(jù) 中隱含的知識(shí)，探索案件發(fā)生的規(guī)律，預(yù)測(cè)警情等，為更有效地

5、進(jìn)行資源分配 和防范犯罪提供可靠依據(jù)。很多地區(qū)都開(kāi)始了公安云的建設(shè)。如江蘇省、山東省、湖北省等地區(qū)都建 立起了省級(jí)的云平臺(tái)，建立統(tǒng)一的管理和服務(wù)平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)的資產(chǎn)化管理 和集成應(yīng)用。主要表現(xiàn)在：注重現(xiàn)場(chǎng)自動(dòng)化建設(shè)、注重應(yīng)用的集成、注重對(duì)數(shù) 據(jù)的深入利用、注重通過(guò)信息化促進(jìn)工作優(yōu)化。這些都是傳統(tǒng)BI技術(shù)在公安行 業(yè)中的應(yīng)用，要拓展新思路，探索新方法，實(shí)現(xiàn)新發(fā)展，可以從大數(shù)據(jù)理念的 角度出發(fā)思考問(wèn)題又公安搭業(yè)作為具有代表性的新興行業(yè)，其現(xiàn)有的信息系統(tǒng)相對(duì)成熟，傳統(tǒng) 觀念已根深蒂固，針對(duì)大數(shù)據(jù)技術(shù)的人員儲(chǔ)備不足，信息化技術(shù)在上游業(yè)務(wù)中 的應(yīng)用較少，如果完全以新技術(shù)取代傳統(tǒng)技術(shù)對(duì)企業(yè)的系統(tǒng)架構(gòu)、信

6、息安全和 人員配置以及運(yùn)維方法都會(huì)造成很大的沖擊，導(dǎo)致整個(gè)生產(chǎn)鏈條的紊亂。因 此，公安行業(yè)需要引進(jìn)大數(shù)據(jù)理念和技術(shù)，要從上游業(yè)務(wù)中開(kāi)始注重各方面基 礎(chǔ)數(shù)據(jù)的采集，逐步穩(wěn)妥地將數(shù)據(jù)理念滲入到傳統(tǒng)的BI技術(shù)中。但不宜大范圍 地更換新技術(shù)，應(yīng)該先建立試點(diǎn)，待技術(shù)成熟、制度完善、有應(yīng)用戰(zhàn)果之后再 進(jìn)行推廣。公安經(jīng)濟(jì)保衛(wèi)工作也在按照這個(gè)思路向新理念、新技術(shù)靠攏。近些年，先 后完成了經(jīng)保業(yè)務(wù)等專(zhuān)業(yè)數(shù)據(jù)庫(kù)建設(shè)，囊括了經(jīng)保信息系統(tǒng)投入開(kāi)發(fā)后所產(chǎn)生 的絕大部分業(yè)務(wù)數(shù)據(jù)，形成了覆蓋整體業(yè)務(wù)的數(shù)據(jù)管理體系，并參照警綜平臺(tái) 和情報(bào)平臺(tái)的數(shù)據(jù)模型，開(kāi)展了業(yè)務(wù)系統(tǒng)的升級(jí)改造，先后與多個(gè)系統(tǒng)進(jìn)行了 對(duì)接，為數(shù)據(jù)的綜合應(yīng)用打

7、下了堅(jiān)實(shí)基礎(chǔ)，使數(shù)據(jù)管理基本實(shí)現(xiàn)正規(guī)化。隨著 對(duì)云計(jì)算技術(shù)的全面應(yīng)用，參照大數(shù)據(jù)的理念，已經(jīng)具備了開(kāi)展大數(shù)據(jù)應(yīng)用的 理論基礎(chǔ)和技術(shù)基礎(chǔ)。2關(guān)于大數(shù)據(jù)的應(yīng)用觀點(diǎn)2.1 關(guān)聯(lián)分析是關(guān)注點(diǎn)大數(shù)據(jù)時(shí)代，人們追求的是相關(guān)性而不是因果性。建立在相關(guān)關(guān)系分析法 基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心。相關(guān)關(guān)系是通過(guò)識(shí)別有用的關(guān)聯(lián)物來(lái)幫助人們 分析一個(gè)現(xiàn)象，而不是通過(guò)揭示其內(nèi)部的運(yùn)作機(jī)制。2.2 建立分析模型是根本大數(shù)據(jù)應(yīng)用具有明顯的行業(yè)特征，其落地的關(guān)鍵在于與行業(yè)應(yīng)用的深度融 合，根據(jù)行業(yè)特點(diǎn)，建立不同的分析模型，以促使大數(shù)據(jù)應(yīng)用更好的“落地2.3 可視化應(yīng)用是同點(diǎn)首先，大數(shù)據(jù)技術(shù)分析的數(shù)據(jù)量大而且結(jié)構(gòu)多樣化，分析過(guò)程

8、比較復(fù)雜， 但是普通用戶(hù)不能從大數(shù)據(jù)中直接獲取知識(shí)，因此更關(guān)心結(jié)果的展示，所以， 數(shù)據(jù)可視化應(yīng)用是大數(shù)據(jù)技術(shù)的亮點(diǎn)。其次，作為傳統(tǒng)的IT系統(tǒng)，現(xiàn)有的系統(tǒng)架構(gòu)和技術(shù)人員配置都相對(duì)成熟， 但是這些基礎(chǔ)設(shè)施、數(shù)據(jù)結(jié)構(gòu)、技術(shù)儲(chǔ)備都無(wú)法滿足大數(shù)據(jù)分析的技術(shù)要求， 所以面臨技術(shù)升級(jí)（如分布式系統(tǒng)架構(gòu)Hadoop等）的挑戰(zhàn)，這就要求具備強(qiáng) 大而穩(wěn)定的技術(shù)開(kāi)發(fā)和運(yùn)維團(tuán)隊(duì)。3主要工作基于以上分析，認(rèn)為公安行業(yè)應(yīng)當(dāng)實(shí)行大數(shù)據(jù)理念和傳統(tǒng)的BI技術(shù)并行的 策略。根據(jù)自身實(shí)際情況，從系統(tǒng)建設(shè)的標(biāo)準(zhǔn)化必備模塊、數(shù)據(jù)管理制度建 設(shè)、綜合數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)的應(yīng)用分析四個(gè)層面開(kāi)展工作，包括以下內(nèi)容：1.1.1 標(biāo)準(zhǔn)化必備模塊1

9、.1.2 據(jù)采集大數(shù)據(jù)的采集是指通過(guò)多個(gè)數(shù)據(jù)庫(kù)或多類(lèi)統(tǒng)一業(yè)務(wù)的信息存儲(chǔ)表來(lái)接收發(fā) 自客戶(hù)端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶(hù)可以通過(guò)這些數(shù) 據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢(xún)和處理工作。如使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和 Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)。此外，Redis和MongoDB這樣的NoSQL數(shù) 據(jù)庫(kù)也常用于采集業(yè)務(wù)的其他角度的描述信息。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)樵谕粫r(shí) 間，可能會(huì)有成千上萬(wàn)的用戶(hù)來(lái)進(jìn)行訪問(wèn)和操作，如人口信息，它們并發(fā)的訪 問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。并且 如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片的

10、確是需要深入的思考和設(shè)計(jì)。雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的 分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)， 或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工 作，來(lái)滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量 經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。1.1.3 統(tǒng)計(jì)分析統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi) 的海量數(shù)據(jù)進(jìn)行普通的分析和分類(lèi)匯總等，以滿足大多數(shù)常見(jiàn)的分析需求，在 這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的Greenplum, Oracle的Exadat

11、a,以及 基于MySQL的列式存儲(chǔ)Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù) 的需求可以使用Hadoopo統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資 源，特別是I/O會(huì)有極大的占用。1.1.4 數(shù)據(jù)挖掘與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主 題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，起到預(yù)測(cè)（Predict）的 效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。比較典型算法有用于聚類(lèi)的 Kmeans,用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類(lèi)的Naive Bayes,主要使用的工具有 Hadoop的Mahout等。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘

12、的算法很復(fù)雜，并 且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。3.2 完善數(shù)據(jù)管理制度進(jìn)一羲善數(shù)據(jù)管理制度，用大數(shù)據(jù)理念梳理并完善各警種的數(shù)字資源管 理，構(gòu)建集曰常工作、預(yù)警提示、決策支持與服務(wù)為一體的大數(shù)據(jù)應(yīng)用體系， 尤其是建立和規(guī)范實(shí)時(shí)數(shù)據(jù)和視頻數(shù)據(jù)的存儲(chǔ)管理機(jī)制，形成以專(zhuān)業(yè)數(shù)據(jù)庫(kù)為 基礎(chǔ)、中心數(shù)據(jù)庫(kù)為核心包括實(shí)時(shí)數(shù)據(jù)庫(kù)和空間數(shù)據(jù)庫(kù)的涵蓋數(shù)據(jù)入庫(kù)、質(zhì)量 控制、數(shù)據(jù)標(biāo)準(zhǔn)化與數(shù)據(jù)整合的數(shù)據(jù)管理體系。3.3 公安數(shù)據(jù)集市從公安業(yè)務(wù)需求和信息化的實(shí)際情況來(lái)看，建立地區(qū)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該是 下一步工作的主要方向。目前可以以中心數(shù)據(jù)庫(kù)為基礎(chǔ)建立地區(qū)級(jí)數(shù)據(jù)倉(cāng)庫(kù)， 梳理和構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)項(xiàng)、數(shù)據(jù)評(píng)測(cè)指標(biāo)體系，實(shí)現(xiàn)業(yè)務(wù)分析對(duì)象與指標(biāo)體系 的靈活、快速組合，滿足各級(jí)用戶(hù)曰常數(shù)據(jù)分析的個(gè)性化需求，提高用戶(hù)數(shù)據(jù) 綜合分析能力，為大數(shù)據(jù)在共享、預(yù)測(cè)、研判等應(yīng)用方面提供基礎(chǔ)支撐，提高 深層次業(yè)務(wù)數(shù)據(jù)分析能力，并促進(jìn)各級(jí)管理水平的提升。該系統(tǒng)的功能主要包 括指標(biāo)體系定義、分析對(duì)象自定義、指標(biāo)連續(xù)性跟蹤、數(shù)據(jù)與圖形一體化展 示、成果分布和共享、標(biāo)準(zhǔn)化分析、靈活數(shù)據(jù)查詢(xún)等。3.4 開(kāi)展分析平臺(tái)建設(shè)以正在運(yùn)行的公安業(yè)務(wù)系統(tǒng)數(shù)據(jù)為基礎(chǔ)，建立各種業(yè)務(wù)的業(yè)務(wù)分析模型， 包括預(yù)警