大數(shù)據(jù)環(huán)境下上網(wǎng)行為分析管理系統(tǒng)

1、 大數(shù)據(jù)環(huán)境下上網(wǎng)行為分析管理系統(tǒng) 陳先浪孫新杰文中芳Summary：近幾年來，國家不僅開始著重教育發(fā)展，同時也開始關(guān)注信息變化的各種形式。如今信息時代逐漸形成以大數(shù)據(jù)、云計算等新型方式為主流的發(fā)展。與此同時各大高校早幾年便開始著重網(wǎng)上學(xué)習(xí)的新型學(xué)習(xí)方式，觸及到網(wǎng)上學(xué)習(xí)自然也離不開校園網(wǎng)的利用，于是我們便在校園網(wǎng)上下功夫，通過對六盤水師范學(xué)院校園網(wǎng)產(chǎn)生日志數(shù)據(jù)的如下指標：上線總數(shù)的分布、連接時長統(tǒng)計、在線人數(shù)統(tǒng)計、流量使用統(tǒng)計、工作日和周末的網(wǎng)絡(luò)活動對比、學(xué)生異常網(wǎng)絡(luò)行為統(tǒng)計等，進行上網(wǎng)行為趨勢、行為定位分析、上網(wǎng)行為等分析。給網(wǎng)絡(luò)管理者提供一個合理管理網(wǎng)絡(luò)資源和規(guī)范上網(wǎng)行為的分析系統(tǒng)。通過監(jiān)

2、制和管理校園網(wǎng)環(huán)境等措施，讓學(xué)生自覺通過網(wǎng)絡(luò)實現(xiàn)新時代下的學(xué)習(xí)形式，從而實現(xiàn)網(wǎng)絡(luò)環(huán)境下自我約束與提升。Key：校園網(wǎng);上網(wǎng)行為;統(tǒng)計分析;數(shù)據(jù)分析;管理系統(tǒng)1大數(shù)據(jù)環(huán)境下的院校眾所周知，現(xiàn)在大學(xué)生的課外活動時間相對于高中封閉式學(xué)習(xí)要自由得多，但是由此，也造成了大部分學(xué)生對于時間上的要求過于懶散，大部分時間花在網(wǎng)絡(luò)上，生活作息不規(guī)律，學(xué)習(xí)效率大幅度降低。那么我們通過對六盤水師范學(xué)院的校園網(wǎng)數(shù)據(jù)的收集研究，對學(xué)生們在校園網(wǎng)絡(luò)下的此類行為作出具有針對性且以實際理論數(shù)據(jù)為支撐的解決方案?，F(xiàn)如今全國高校均已全面進入信息化教育環(huán)境，校園網(wǎng)絡(luò)因此早已成為各大高校的標配，甚至升級成校園管理工作中的考核項目。校

3、園網(wǎng)為教師、學(xué)生、管理人員構(gòu)建了以大寬帶為基礎(chǔ)的多媒體網(wǎng)絡(luò)溝通平臺，以方便對教學(xué)資源、科研數(shù)據(jù)、綜合管理信息的相互傳輸與交流。由此可見，校園網(wǎng)是一種寬帶拓撲網(wǎng)絡(luò)。對于我校的多媒體網(wǎng)絡(luò)資源管理、網(wǎng)絡(luò)教學(xué)實驗室、電子圖書館、教學(xué)教務(wù)系統(tǒng)管理系統(tǒng)、考試數(shù)據(jù)庫等，皆是以網(wǎng)絡(luò)為基礎(chǔ)，以此產(chǎn)生各司其職的小型VLAN網(wǎng)絡(luò)，然后再通過介質(zhì)傳輸或者無線傳輸進而搭建整個校園網(wǎng)絡(luò)。這樣可以可以使管理人員在極短時間內(nèi)產(chǎn)生用戶的校園網(wǎng)絡(luò)行為報告，觀察校園網(wǎng)行為報告并加以挖掘和探究，最后分析大學(xué)生上網(wǎng)的行為，監(jiān)制高發(fā)用網(wǎng)時段和晚上熄燈后網(wǎng)絡(luò)的使用規(guī)范。由此做到提升校園網(wǎng)絡(luò)質(zhì)量，加強學(xué)生生活作息規(guī)律，提高學(xué)生學(xué)習(xí)效率等目的

4、。同時通過對我校學(xué)生的上網(wǎng)行為分析，我們由此可以進一步了解到大學(xué)生對于網(wǎng)絡(luò)學(xué)習(xí)是產(chǎn)生的理念與要求，強調(diào)一個適合自己高效率的學(xué)習(xí)方式，并且做到分析教師講解課程時方式方法的不足之處，而后加以改善，并制定大學(xué)生自我學(xué)習(xí)能力培養(yǎng)方法即對策。由此制定網(wǎng)絡(luò)學(xué)習(xí)報告，在提升我校教學(xué)方面的質(zhì)量的同時，也更加充實學(xué)生們的大學(xué)生活。除此之外，對于部分大學(xué)生的思想尚且還存在一些年輕化的狀態(tài)，個人自律能力和事件識別能力還需有待提高，對于類似校園網(wǎng)的開放式網(wǎng)絡(luò)有些許迷茫。所以可由此對于學(xué)生上網(wǎng)行為做一個調(diào)查，利用對校園網(wǎng)的測量與觀察，將數(shù)據(jù)收集并且進行分析，可以避免從以下幾方面的產(chǎn)生的危害：關(guān)于網(wǎng)絡(luò)信息的安全問題，我們

5、可以從網(wǎng)址這一類開始探究，我們需要做到的就是對于網(wǎng)址的篩選。近年來，還未進行相關(guān)技術(shù)認證的網(wǎng)址和非法網(wǎng)站逐漸增多，學(xué)生極其容易無意點擊進入，對此我們將屏蔽危險網(wǎng)絡(luò)，并做到防止釣魚網(wǎng)出現(xiàn)，減少學(xué)生進入此類網(wǎng)站的情況，也避免給學(xué)生造成非積極影響。其次就是對于文件管理安全的要求，通過數(shù)據(jù)分析，我們了解到，文件可能會出現(xiàn)的問題，部分網(wǎng)絡(luò)會導(dǎo)致內(nèi)部文件外發(fā)審計的情況發(fā)生，由此我們也可對應(yīng)相關(guān)問題采用文件后綴識別，封IP、端口的方式也盡可能避免此類情況發(fā)生，同時也要做到，在接受外部文件向內(nèi)部文件發(fā)送時帶來的外來病毒，導(dǎo)致文件中毒或文件丟失的情況。最后前面提到的關(guān)于安全的問題，還應(yīng)著重在應(yīng)用APP上，手機現(xiàn)

6、已成為上網(wǎng)的使用多頻率重點工具，對于手機應(yīng)用的安全問題，也可從中獲取相關(guān)數(shù)據(jù)信息，由此來確保應(yīng)用APP使用時的安全問題。綜合上述所說的情況，以此達到對于網(wǎng)絡(luò)安全的審計，防止各類信息危害。與此同時通過此次分析以及數(shù)據(jù)收集形成相關(guān)網(wǎng)絡(luò)數(shù)據(jù)報表，由此報表對于學(xué)生上網(wǎng)行為在深入探究，由此加強對于管理層方面的更深更全面控制，也為管理層決策提供相應(yīng)的更好更符合依據(jù)。以便于使我校校園網(wǎng)絡(luò)，達到一個更高更安全的層次，也方便為同學(xué)們帶來更好的校園網(wǎng)的體驗效果。2分析方法及技術(shù)2.1基于回歸分析的數(shù)據(jù)分析在傳統(tǒng)的分析方法中主要采用強制關(guān)聯(lián)去分析具備依存關(guān)系的數(shù)據(jù)表的字符屬性關(guān)聯(lián)，這種分析方法利于單位用戶的個人行為

7、的獨立整合，但是對于用戶群體的非相關(guān)聯(lián)用戶分析存在單一局限性，不利與分析系統(tǒng)的結(jié)果的普遍性、公共性、切實性，所以引入回歸分析法進行數(shù)據(jù)分析。回歸分析法是是研究兩個及兩個以上的相同等級的變量間的相關(guān)關(guān)系的數(shù)據(jù)分析和統(tǒng)計的方法。在這種分析中變量與變量間的相關(guān)聯(lián)系存在非強制性關(guān)聯(lián)，寬松的依存關(guān)系。如用相關(guān)系數(shù)R來描述X與Y之間的相關(guān)性，公式如圖1回歸公式：透過圖2在2018-12-1至2018-12-7這七天的部分數(shù)據(jù)可以看出每天的pc與手機訪問呈現(xiàn)出強相關(guān)的趨勢，并且直觀的到手機端的用戶遠遠多于pc的用戶。（以上數(shù)據(jù)其演示作用，最終數(shù)據(jù)以產(chǎn)生的實際數(shù)據(jù)為主）2.2基于Hadoop生態(tài)圈的數(shù)據(jù)處理在

8、傳統(tǒng)的基于日志的上網(wǎng)行為管理系統(tǒng)中，必須得面臨一天十幾G的日志數(shù)據(jù)處理量，日志數(shù)據(jù)抽取分析的快速時效，難以排除的數(shù)據(jù)日志異常。Hadoop生態(tài)系統(tǒng)具備大型分布式文件系統(tǒng)HDFS，以及對底層文件系統(tǒng)進行數(shù)據(jù)驅(qū)動的MapReduce引擎。同時解決了分布式日志文件的大量儲存管理問題和接近實實時運算的高效工具，對于開發(fā)人員來說，他是一個更容易開發(fā)的和運行大數(shù)據(jù)處理的開源軟件的平臺，能夠輕松的處理TB級的數(shù)據(jù)量。2.3基于于Excel、js的web數(shù)據(jù)呈現(xiàn)Web的數(shù)據(jù)分析呈現(xiàn)較傳統(tǒng)的數(shù)據(jù)分析呈現(xiàn)還是有所差異的。報表、條形圖、扇形圖、折現(xiàn)圖等傳統(tǒng)的展現(xiàn)方式雖然可以表達分析內(nèi)容與情況趨勢，但是卻不能形象生動

9、的表現(xiàn)出管理者需求的用戶的上網(wǎng)行為和網(wǎng)絡(luò)內(nèi)容，因此引用了在傳統(tǒng)的基礎(chǔ)上加以優(yōu)化的網(wǎng)絡(luò)熱力圖、時段雷達圖等更加鮮明生動的符合視覺直觀需求的呈現(xiàn)方式：（1）硬性需求內(nèi)容采用傳統(tǒng)的圖表表現(xiàn)手法，使用Excel自動繪制生成，以節(jié)約開發(fā)時間縮短系統(tǒng)開發(fā)周期，然后利用js將Excel生成的數(shù)據(jù)報表導(dǎo)入到web前端界面上進行呈現(xiàn)，部分實現(xiàn)效果如下圖：（2）網(wǎng)絡(luò)熱力圖：通過表現(xiàn)顏色的冷暖深淺程度，直接反映出熱點信息的分布，相關(guān)區(qū)域的聚集等數(shù)據(jù)信息。網(wǎng)絡(luò)熱力圖主要運用在網(wǎng)絡(luò)高峰熱點、直觀視覺沖擊、高呈現(xiàn)對比度等等很多以控制變量法為基礎(chǔ)的的多維度分析中。在本分析管理系統(tǒng)中通過分析網(wǎng)絡(luò)時段和對應(yīng)的在線人數(shù)，表現(xiàn)出網(wǎng)

10、絡(luò)高發(fā)時段，其顏色越熱，表示在線人數(shù)越多。（3）網(wǎng)絡(luò)雷達圖：雷達圖是指對多個變量的全面分析。網(wǎng)絡(luò)雷達圖將變量之間的不確定關(guān)聯(lián)形象化，從而可以使我們在對用數(shù)值無法表現(xiàn)的傾向性和印象性進行把握的時候，將之清晰的實現(xiàn)，并且達到為擬定網(wǎng)絡(luò)分流限時計劃提供信息分析的數(shù)據(jù)協(xié)助。由于實行方法可以通過Excel直接生成，所以我們依舊采用js實現(xiàn)對數(shù)據(jù)表的引入。（4）動態(tài)詞云：是結(jié)合Key標簽的特征，如字體的大小、顏色等方式，表達重點信息程度，分析Key標簽的大片詞圖。字體若是越明顯越突出，則說明Key標簽對應(yīng)的內(nèi)容出現(xiàn)的次數(shù)也就越頻繁，由此便可以了解到用戶通過網(wǎng)絡(luò)對應(yīng)用的使用頻數(shù)以及應(yīng)用的使用情況。動態(tài)詞云就是通過做到Key標簽的各種各樣的視覺特效，從而產(chǎn)生出各種各樣的可視化表現(xiàn)效果。3總結(jié)經(jīng)過我國現(xiàn)代信息科技化的長時間演變與進步，當下對于數(shù)據(jù)的處理也已經(jīng)變得越來越成熟，大數(shù)據(jù)（BigData）已經(jīng)可以做到在一定的時間內(nèi)用普通數(shù)據(jù)處理工具做不到的對數(shù)據(jù)的集合上的一系列海量操作。由于信息科技的逐步成熟與完善，現(xiàn)如今各大院校大學(xué)生上網(wǎng)的行為多種多樣，例如：信息瀏覽、購物數(shù)據(jù)、消費記錄、資料查詢、游戲娛樂等