Python數(shù)據(jù)分析與可視化項目實戰(zhàn) 課件 項目6 基于大數(shù)據(jù)的求職信息挖掘與分析

項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展大數(shù)據(jù)是指規(guī)模龐大、多樣化、高速生成的數(shù)據(jù)集，這些數(shù)據(jù)通常超出了傳統(tǒng)數(shù)據(jù)處理工具的能力范圍。大數(shù)據(jù)技術(shù)在各個領(lǐng)域都具有廣泛的影響：在商業(yè)智能和分析方面，大數(shù)據(jù)幫助企業(yè)分析客戶行為、市場趨勢和銷售數(shù)據(jù)，支持決策制定和市場營銷策略；在醫(yī)療方面，大數(shù)據(jù)分析可以用于疾病預(yù)測、藥物研發(fā)、患者管理和醫(yī)療成本控制；在交通和城市規(guī)劃方面，大數(shù)據(jù)支持智能交通系統(tǒng)、城市規(guī)劃和交通流量優(yōu)化；在社交媒體和娛樂方面，大數(shù)據(jù)分析用于個性化推薦、廣告定位和社交趨勢分析等。大數(shù)據(jù)技術(shù)已經(jīng)成為各行各業(yè)的重要工具，對于就業(yè)市場也不例外。畢業(yè)生在步入職場之前，由于信息不對稱、缺乏經(jīng)驗，往往對就業(yè)前景和實際情況存在一定的疑慮和不確定性。這種不確定性可能會導(dǎo)致畢業(yè)生對自己的職業(yè)選擇和薪資期望與實際就業(yè)情況存在一定差距。而通過大數(shù)據(jù)分析和挖掘，可以幫助求職者更客觀地看待就業(yè)問題，減少就業(yè)預(yù)期與實際差距，從而更好地融入職場并實現(xiàn)職業(yè)目標(biāo)。今天，我們就來學(xué)習(xí)如何使用大數(shù)據(jù)來進(jìn)行信息的采集挖掘和分析項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景1.1大數(shù)據(jù)的特征大數(shù)據(jù)是一個仁者見仁、智者見智的寬泛概念。關(guān)于“什么是大數(shù)據(jù)”這個問題，大家比較認(rèn)可關(guān)于大數(shù)據(jù)的“4V”說法。所謂“4V”，指的是大數(shù)據(jù)的四個特點，包含四個層面：Volume(數(shù)據(jù)量大)，Variety(數(shù)據(jù)類型繁多)，Velocity(處理速度快)，Value(價值密度低)。

大數(shù)據(jù)的價值本質(zhì)上體現(xiàn)為：提供了一種人類認(rèn)識復(fù)雜系統(tǒng)的新思維和新手段。就理論上而言，在足夠小的時間和空間尺度上，對現(xiàn)實世界數(shù)字化，可以構(gòu)造一個現(xiàn)實世界的數(shù)字虛擬映像，這個映像承載了現(xiàn)實世界的運行規(guī)律，在擁有充足的計算能力和高效的數(shù)據(jù)分析方法的前提下，對這個數(shù)字虛擬映像的深度分析，將有可能理解和發(fā)現(xiàn)現(xiàn)實復(fù)雜系統(tǒng)的運行行為、狀態(tài)和規(guī)律。應(yīng)該說大數(shù)據(jù)為人類提供了全新的思維方式、探知客觀規(guī)律、改造自然和社會的新手段，這也是大數(shù)據(jù)引發(fā)經(jīng)濟社會變革最根本性的原因。項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景1.2大數(shù)據(jù)處理的基本流程大數(shù)據(jù)處理的基本流程主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)處理與分析、數(shù)據(jù)展示/數(shù)據(jù)可視化、數(shù)據(jù)應(yīng)用等環(huán)節(jié)

其中數(shù)據(jù)質(zhì)量貫穿于整個大數(shù)據(jù)流程，每一個數(shù)據(jù)處理環(huán)節(jié)都會對大數(shù)據(jù)質(zhì)量產(chǎn)生影響和作用。通常，一個好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測、優(yōu)秀的可視化圖表以及簡練易懂的結(jié)果解釋。項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景2.1、數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘(DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中人們事先不知道的，但又是潛在有用的信息和知識的過程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，動額以TB計，如何從海量的數(shù)據(jù)中提取有用的知識成為當(dāng)務(wù)之急，數(shù)據(jù)挖掘就是為順應(yīng)這種需要應(yīng)運而生發(fā)展起來的數(shù)據(jù)處理技術(shù)，是知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase)的關(guān)鍵步驟。數(shù)據(jù)挖掘是目前人工智能和數(shù)據(jù)庫領(lǐng)域研究的熱點問題，主要基于人工智能、機器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、數(shù)據(jù)庫、可視化技術(shù)等，高度自動化地分析企業(yè)的數(shù)據(jù)，做出歸納性的整理，從中挖掘出潛在的模式，從而幫助決策者調(diào)整市場策略，減少風(fēng)險。數(shù)據(jù)挖掘是通過分析每個數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用數(shù)據(jù)挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來；規(guī)律表示是盡可能以用戶可理解的方式(如可視化)將找出的規(guī)律表示出來。數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景3、Python數(shù)據(jù)挖掘Python語言具有易學(xué)易用、強大的第三方庫支持等特點，被廣泛應(yīng)用于數(shù)據(jù)挖掘與機器學(xué)習(xí)領(lǐng)域。數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中提取有效信息的過程，包括數(shù)據(jù)預(yù)處理、特征選擇、模型選擇和評估等環(huán)節(jié)。Python中的數(shù)據(jù)挖掘庫主要有以下幾個：1.NumPy：用于科學(xué)計算和數(shù)學(xué)操作，提供多維數(shù)組對象和一些便捷的函數(shù)操作。2.Pandas：用于數(shù)據(jù)分析和處理，提供豐富的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作方法。3.Matplotlib：用于數(shù)據(jù)可視化，提供各種繪圖函數(shù)和樣式設(shè)置。4.Scikit-learn：用于機器學(xué)習(xí)，提供各種監(jiān)督/非監(jiān)督/半監(jiān)督的學(xué)習(xí)算法，包括分類、回歸、聚類等。項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景機器學(xué)習(xí)是基于數(shù)據(jù)構(gòu)建模型并進(jìn)行預(yù)測或分類的過程。Python中的機器學(xué)習(xí)庫相較于數(shù)據(jù)挖掘庫更加強調(diào)算法的實現(xiàn)和模型的優(yōu)化，主要有以下幾個：1.TensorFlow：由Google開發(fā)的機器學(xué)習(xí)框架，提供各種深度學(xué)習(xí)算法的實現(xiàn)和優(yōu)化，包括神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。2.Keras：基于TensorFlow或Theano開發(fā)的高層次神經(jīng)網(wǎng)絡(luò)庫，封裝了各種神經(jīng)網(wǎng)絡(luò)的實現(xiàn)和訓(xùn)練操作。3.PyTorch：由Facebook開發(fā)的機器學(xué)習(xí)框架，提供各種深度學(xué)習(xí)算法的實現(xiàn)和優(yōu)化，具有動態(tài)計算圖和易變性等特點。4.Scikit-learn：雖然是數(shù)據(jù)挖掘庫，但也提供了許多常見的機器學(xué)習(xí)算法，如決策樹、支持向量機、樸素貝葉斯等。項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景綜上所述，Python的數(shù)據(jù)挖掘和機器學(xué)習(xí)生態(tài)系統(tǒng)非常完善，提供了豐富的工具和庫支持，為數(shù)據(jù)科學(xué)家和機器學(xué)習(xí)工程師提供了便利。Python可以用于不同類型的數(shù)據(jù)挖掘任務(wù)，例如：數(shù)據(jù)預(yù)處理：Python可以用于數(shù)據(jù)處理、轉(zhuǎn)換和清洗，例如數(shù)據(jù)過濾、去重、缺失值填充等。探索性數(shù)據(jù)分析：Python可以用于生成可視化圖形和摘要統(tǒng)計信息，以幫助分析數(shù)據(jù)集的特征并發(fā)現(xiàn)潛在的關(guān)系和趨勢。監(jiān)督式學(xué)習(xí)：Python可以用于建立和優(yōu)化監(jiān)督式模型來進(jìn)行分類、回歸和預(yù)測任務(wù)。無監(jiān)督式學(xué)習(xí)：Python可以用于進(jìn)行聚類和降維操作，以便于發(fā)現(xiàn)和理解數(shù)據(jù)集中隱藏的信息和模式。項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備4、求職信息分析任務(wù)就業(yè)問題一直是國家和人民最關(guān)注的問題之一，良好的就業(yè)前景可以促進(jìn)國家GDP發(fā)展，推動國民經(jīng)濟，伴隨著我國高校精英教育向大眾化教育的轉(zhuǎn)變，以及高校畢業(yè)生就業(yè)制度由國家統(tǒng)包分配向畢業(yè)生自主擇業(yè)轉(zhuǎn)變，大學(xué)生就業(yè)難已經(jīng)成為不爭的事實。自2003年我國第一批擴招大學(xué)生走向社會以來，我國社會的人才需求量逐步由賣方市場轉(zhuǎn)為買方市場，龐大的畢業(yè)生隊伍走向就業(yè)市場，而高校畢業(yè)生對就業(yè)的期望值卻居高不下進(jìn)而影響了畢業(yè)生的就業(yè)工作，為避免社會現(xiàn)實與畢業(yè)生的想法之間存在較大差距，可以通過對招聘網(wǎng)站信息進(jìn)行分析和挖掘，從而客觀地對待就業(yè)問題。項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備4.1研究內(nèi)容及方法本項目以分析電子商務(wù)類人才為例，通過對招聘網(wǎng)站電子商務(wù)人才職位信息進(jìn)行數(shù)據(jù)入庫、數(shù)據(jù)清理、數(shù)據(jù)預(yù)處理、相關(guān)數(shù)據(jù)分析、結(jié)巴分詞、數(shù)據(jù)可視化、崗位薪資預(yù)測及LDA主題文本相似度模型建立等操作，完成整體項目的開發(fā)工作。具體包含：（1）通過調(diào)用python中的pandas庫對數(shù)據(jù)進(jìn)行入庫處理，調(diào)用其中的各種函數(shù)對數(shù)據(jù)進(jìn)行去重、去空等操作，對數(shù)據(jù)進(jìn)行預(yù)處理操作，方便后期建立模型。（2）通過調(diào)用pyecharts對各個特征和薪資的關(guān)系進(jìn)行數(shù)據(jù)可視化分析、對招聘職位信息進(jìn)行探索分析、使用jieba對崗位描述進(jìn)行中文分詞并查找其中的差別。（3）對和薪資有關(guān)的數(shù)據(jù)進(jìn)行特征降維、數(shù)據(jù)標(biāo)準(zhǔn)化等操作，將70%的數(shù)據(jù)集劃分為訓(xùn)練集，剩下的30%劃分為測試集，調(diào)用隨機森林、xgboost、lightGBM等算法對其進(jìn)行訓(xùn)練，然后觀察其RMSE分?jǐn)?shù)、R2評分，確定最優(yōu)模型并抽取其中一些數(shù)據(jù)作為測試集對崗位薪資進(jìn)行預(yù)測。（4）在TF-IDF的基礎(chǔ)上建立職位LDA模型對求職者的能力進(jìn)行相似度的計算，并輸出LDA主題模型的可視化分析結(jié)果。項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備4.2算法及模型4.2.1lightGBM回歸算法LightGBM（LightGradientBoostingMachine）是一個梯度boosting框架，是基于決策樹算法的分布式梯度提升框架。LightGBM相較于xgboost，它擁有更快的訓(xùn)練效率，更高的準(zhǔn)確率，支持并行化學(xué)習(xí)，占用更少的內(nèi)存，還能夠處理大規(guī)模數(shù)據(jù)。項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備4.2.2LDA主題模型LDA模型是一種可以將文檔數(shù)據(jù)集中的每篇文章的主題以概率分布形式給出的主題模型，再通過這個主題分布進(jìn)行主題聚類或者文本分類，這樣就相當(dāng)于抽出了每篇文章的主旨。這也是一種典型的“詞包”模式，即一篇文章是由一系列單詞組成的，它們之間沒有一定的順序，因此，在抽取文本的隱性主題時，往往會忽視其語法結(jié)構(gòu)和詞匯的先后次序。LDA有三層生成式貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，包含了單詞，文檔和文檔整體三者之間的概率分布關(guān)系，其結(jié)構(gòu)依次是文檔層、主題層和特征詞層，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6-2所示。

圖6-2

LDA模型隱含主題的拓?fù)浣Y(jié)構(gòu)示意圖項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備4.3數(shù)據(jù)加工與訓(xùn)練模型數(shù)據(jù)加工是指融合多源海量的數(shù)據(jù)，并將其轉(zhuǎn)化為可被操作的智能數(shù)據(jù)的過程。具體地說，是處理來自單個和多個數(shù)據(jù)源的數(shù)據(jù)或數(shù)據(jù)組合，以及數(shù)據(jù)間關(guān)系，實現(xiàn)精確定位和特性預(yù)估，并完成對危險態(tài)勢和重要性的及時評估的過程。數(shù)據(jù)加工集成了多個數(shù)據(jù)源以產(chǎn)生比任何單個數(shù)據(jù)源提供的信息更一致、更準(zhǔn)確和更有用的信息，其特點是根據(jù)任務(wù)需求增加搜集的數(shù)據(jù)源，并且通過不斷地預(yù)估和評價算法，修正數(shù)據(jù)加工過程，以達(dá)到更好的結(jié)果。

項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備4.4數(shù)據(jù)分析與預(yù)測項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備項目分析項目實現(xiàn)項目拓展項目背景項目準(zhǔn)備項目分析項目拓展項目背景項目準(zhǔn)備項目實現(xiàn)根據(jù)對招聘網(wǎng)站信息的分析，可以得到如下啟示：1、求職者在瀏覽招聘信息時第一關(guān)注的崗位的薪資狀況，當(dāng)看到心儀的薪資后再去查看該崗位招聘人員的具體需求，當(dāng)遇到無法給定薪資的崗位時，求職者無法清晰地判斷出該崗位的真實薪資區(qū)間。通過對招聘信息中的崗位能力需求進(jìn)行文本相似度分析，推