數(shù)智化人力資源管理-課件 04-數(shù)據(jù)采集

數(shù)智化人力資源管理主編徐明霞

唐玉潔數(shù)據(jù)采集第四章第二篇方法篇1.了解數(shù)據(jù)的主要類型2.了解數(shù)據(jù)的主要來(lái)源3.掌握數(shù)據(jù)采集的方法4.掌握數(shù)據(jù)的存儲(chǔ)與管理學(xué)習(xí)目標(biāo)知識(shí)結(jié)構(gòu)圖引導(dǎo)案例對(duì)于一些人而言,大數(shù)據(jù)可能會(huì)被認(rèn)為是與實(shí)驗(yàn)室或計(jì)算機(jī)相關(guān)的技術(shù),離我們的生活似乎還比較遙遠(yuǎn)。但在今天的數(shù)字經(jīng)濟(jì)時(shí)代,幾乎所有事物都可以用數(shù)字來(lái)表達(dá),而紙質(zhì)數(shù)據(jù)僅占其中一小部分。實(shí)際上,我們每天都在參與大數(shù)據(jù)的收集和整理,大數(shù)據(jù)已經(jīng)非常貼近我們的生活。我們?cè)诙兑簟⒖焓值绕脚_(tái)上制作的短視頻、手機(jī)上的大量照片、氣象衛(wèi)星每天拍攝的大量圖片以及個(gè)人電腦上的記錄,都可以形成海量的數(shù)據(jù)。IDC(國(guó)際數(shù)據(jù)公司)《2021—2025全球數(shù)據(jù)預(yù)測(cè)》顯示,2021年全球數(shù)據(jù)量為79ZB,預(yù)計(jì)2025年將達(dá)到181ZB(1YB=1024ZB,1ZB=1024EB,1EB=1024PB,1PB=1024TB,1TB=1024GB,1GB=1024MB,1MB=1024KB,1KB=1024B,1B=8bit,即1ZB=1024×1024×1024TB),復(fù)合增長(zhǎng)率為23%。在數(shù)字經(jīng)濟(jì)時(shí)代,每一個(gè)人都在自覺(jué)或不自覺(jué)地參與大數(shù)據(jù)搜集活動(dòng),數(shù)據(jù)來(lái)源的多樣性已經(jīng)打破了傳統(tǒng)單一的數(shù)據(jù)來(lái)源。企業(yè)數(shù)字化轉(zhuǎn)型已經(jīng)成為當(dāng)今商業(yè)社會(huì)的主流趨勢(shì)和話題,政府政策、商業(yè)環(huán)境及市場(chǎng)趨勢(shì)的變化速度不斷加快,這樣的發(fā)展變化也對(duì)人力資源從業(yè)者們提出了新的挑戰(zhàn)。在互聯(lián)網(wǎng)時(shí)代,人們的生活更加碎片化,例如,時(shí)間碎片化、學(xué)習(xí)碎片化、用工碎片化,這些事物已經(jīng)在定義著新的“勞動(dòng)力公式”。人力資源管理業(yè)已面臨數(shù)字化轉(zhuǎn)型,人力資源數(shù)據(jù)如何合法、合規(guī)、合理地采集與存儲(chǔ),成為人力資源管理從業(yè)者們首要關(guān)注的問(wèn)題。思考:如何對(duì)人們獲取的龐大數(shù)據(jù)進(jìn)行分類?如何獲取自己需要的數(shù)據(jù)?第一節(jié)數(shù)據(jù)類型第二節(jié)數(shù)據(jù)來(lái)源第三節(jié)數(shù)據(jù)采集方法目錄第四節(jié)數(shù)據(jù)存儲(chǔ)與管理第一節(jié)數(shù)據(jù)類型第四章第二篇方法篇數(shù)據(jù)類型第二節(jié)數(shù)據(jù)來(lái)源第四章第二篇方法篇一、企業(yè)內(nèi)部數(shù)據(jù)來(lái)源(一)企業(yè)信息管理系統(tǒng)1.業(yè)務(wù)系統(tǒng)2.辦公類系統(tǒng)(1)人力資源管理系統(tǒng)(2)財(cái)務(wù)管理系統(tǒng)(3)客戶關(guān)系管理系統(tǒng)(二)部門(mén)上報(bào)數(shù)據(jù)物聯(lián)網(wǎng)系統(tǒng)包括智能儀表、智能設(shè)備、視頻監(jiān)控系統(tǒng)等。(三)內(nèi)部調(diào)查數(shù)據(jù)企業(yè)的人力資源部門(mén)通常會(huì)使用訪談和問(wèn)卷調(diào)查來(lái)收集內(nèi)部數(shù)據(jù)。二、企業(yè)外部數(shù)據(jù)來(lái)源(一)政府公開(kāi)數(shù)據(jù)(二)企業(yè)發(fā)布數(shù)據(jù)(三)人力資源行業(yè)網(wǎng)絡(luò)數(shù)據(jù)1.人力資源行業(yè)商業(yè)調(diào)查數(shù)據(jù)2.網(wǎng)絡(luò)招聘平臺(tái)發(fā)布的數(shù)據(jù)3.線上勞動(dòng)力外包平臺(tái)發(fā)布的數(shù)據(jù)(四)公共社交網(wǎng)絡(luò)數(shù)據(jù)1.社交網(wǎng)站發(fā)布的數(shù)據(jù)2.在線社區(qū)發(fā)布的數(shù)據(jù)企業(yè)外部數(shù)據(jù)來(lái)源第三節(jié)數(shù)據(jù)采集方法第四章第二篇方法篇一、基于調(diào)查方法的數(shù)據(jù)采集調(diào)查法是指通過(guò)考察了解客觀情況直接獲取有關(guān)材料,間接了解被測(cè)試者的心理活動(dòng)的方法。調(diào)查法能在短時(shí)間內(nèi)同時(shí)調(diào)查很多對(duì)象,獲取大量資料,并能對(duì)資料進(jìn)行量化處理,經(jīng)濟(jì)省時(shí)。因此,它也是收集數(shù)據(jù)過(guò)程中,一種最基礎(chǔ)、應(yīng)用最廣泛的方法。(一)訪談?wù){(diào)查法訪談?wù){(diào)查法可簡(jiǎn)稱為“訪談法”,是社會(huì)調(diào)查中最古老、最常用的方法之一,是一種通過(guò)訪談員和受訪者面對(duì)面交談來(lái)了解受訪人的心理和行為的基本研究方法。一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法調(diào)查問(wèn)卷法起源于19世紀(jì)末期20世紀(jì)初期的心理學(xué)研究,是指通過(guò)制定詳細(xì)周密的問(wèn)卷,并邀請(qǐng)被調(diào)查者作答,借此收集數(shù)據(jù)的一種手段。1.調(diào)查問(wèn)卷基礎(chǔ)知識(shí)(1)調(diào)查問(wèn)卷的分類(2)調(diào)查問(wèn)卷的結(jié)構(gòu)(3)調(diào)查問(wèn)卷設(shè)計(jì)原則(4)問(wèn)卷調(diào)查收集的人力數(shù)據(jù)一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法1.調(diào)查問(wèn)卷基礎(chǔ)知識(shí)①按照答案方式劃分:自填式問(wèn)卷與代填式問(wèn)卷。②按照問(wèn)題答案劃分:結(jié)構(gòu)式問(wèn)卷、開(kāi)放式問(wèn)卷與半結(jié)構(gòu)式問(wèn)卷。③按照傳播方式劃分:傳統(tǒng)問(wèn)卷與網(wǎng)絡(luò)問(wèn)卷。(1)調(diào)查問(wèn)卷的分類一份完整的調(diào)查問(wèn)卷通常包括標(biāo)題、指導(dǎo)語(yǔ)、問(wèn)題、答案、結(jié)束語(yǔ),如圖4-1所示。(2)調(diào)查問(wèn)卷的結(jié)構(gòu)圖4-1調(diào)查問(wèn)卷結(jié)構(gòu)示意圖一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法1.調(diào)查問(wèn)卷基礎(chǔ)知識(shí)①目的性原則。②邏輯性原則。③準(zhǔn)確性原則。④通俗性原則。⑤非誘導(dǎo)性原則。⑥合理長(zhǎng)度原則。⑦匹配性原則。(3)調(diào)查問(wèn)卷設(shè)計(jì)原則問(wèn)卷調(diào)查方法可以收集的人力數(shù)據(jù)有:員工滿意度、員工培訓(xùn)需求、員工培訓(xùn)效果、員工績(jī)效滿意度、員工薪酬滿意度、員工敬業(yè)度、企業(yè)文化認(rèn)知等。(4)問(wèn)卷調(diào)查收集的人力數(shù)據(jù)一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法2.網(wǎng)絡(luò)調(diào)查問(wèn)卷技術(shù)移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展和智能手機(jī)的普及,促進(jìn)了線上問(wèn)卷調(diào)查技術(shù)的發(fā)展與應(yīng)用,線上形式的問(wèn)卷調(diào)查使得問(wèn)卷的發(fā)放、回收及統(tǒng)計(jì)更加方便快捷。問(wèn)卷星、金數(shù)據(jù)、問(wèn)卷網(wǎng)、騰訊問(wèn)卷等都是常用的線上問(wèn)卷調(diào)查工具,這里以問(wèn)卷星為例介紹網(wǎng)絡(luò)問(wèn)卷調(diào)查過(guò)程。一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法2.網(wǎng)絡(luò)調(diào)查問(wèn)卷技術(shù)步驟1:創(chuàng)建問(wèn)卷類型。圖4-2問(wèn)卷類型選擇一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法2.網(wǎng)絡(luò)調(diào)查問(wèn)卷技術(shù)步驟2:創(chuàng)建問(wèn)卷。圖4-3創(chuàng)建問(wèn)卷一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法2.網(wǎng)絡(luò)調(diào)查問(wèn)卷技術(shù)步驟3:設(shè)置問(wèn)卷題目。圖4-4發(fā)布問(wèn)卷圖4-5問(wèn)卷鏈接與二維碼的生成和發(fā)送一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法2.網(wǎng)絡(luò)調(diào)查問(wèn)卷技術(shù)步驟4:邀請(qǐng)被調(diào)查者作答。一、基于調(diào)查方法的數(shù)據(jù)采集(二)調(diào)查問(wèn)卷法2.網(wǎng)絡(luò)調(diào)查問(wèn)卷技術(shù)步驟5:查看問(wèn)卷調(diào)查結(jié)果。圖4-6問(wèn)卷調(diào)查數(shù)據(jù)的分析和下載二、基于爬蟲(chóng)工具的數(shù)據(jù)采集網(wǎng)絡(luò)爬蟲(chóng)技術(shù)(又稱為“網(wǎng)頁(yè)蜘蛛”或“網(wǎng)絡(luò)機(jī)器人”)是指為搜索引擎下載并存儲(chǔ)網(wǎng)頁(yè)的程序,可以按照一定的規(guī)則自動(dòng)地抓取萬(wàn)維網(wǎng)的信息,是搜索引擎和Web緩存的主要數(shù)據(jù)采集方式。目前市場(chǎng)上開(kāi)發(fā)的網(wǎng)絡(luò)爬蟲(chóng)工具有很多,如八爪魚(yú)、集搜客、神箭手云等,這里我們將具體展開(kāi)講解使用爬蟲(chóng)工具八爪魚(yú)采集數(shù)據(jù)的操作流程和注意事項(xiàng)。圖4-7八爪魚(yú)客戶端界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式1.使用模板采集數(shù)據(jù)步驟1:下載客戶端。圖4-8八爪魚(yú)模板使用界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式1.使用模板采集數(shù)據(jù)步驟2:進(jìn)入模板詳情頁(yè)。圖4-9八爪魚(yú)導(dǎo)出數(shù)據(jù)界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式1.使用模板采集數(shù)據(jù)步驟3:立即使用。步驟4:導(dǎo)出采集數(shù)據(jù)。圖4-10八爪魚(yú)自定義任務(wù)界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式2.使用自定義配置采集數(shù)據(jù)步驟1:新建自定義任務(wù)。圖4-11八爪魚(yú)自定義任務(wù)網(wǎng)頁(yè)輸入搜索關(guān)鍵詞二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式步驟2:單擊搜索欄,輸入搜索文本。2.使用自定義配置采集數(shù)據(jù)圖4-12八爪魚(yú)自定義任務(wù)網(wǎng)頁(yè)選中搜索按鈕并單擊該按鈕二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式2.使用自定義配置采集數(shù)據(jù)步驟2:單擊搜索欄,輸入搜索文本。圖4-13八爪魚(yú)自定義任務(wù)網(wǎng)頁(yè)選擇子元素二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式2.使用自定義配置采集數(shù)據(jù)步驟3:選擇子元素。圖4-14八爪魚(yú)自定義任務(wù)網(wǎng)頁(yè)自動(dòng)形成的循環(huán)提取數(shù)據(jù)界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式2.使用自定義配置采集數(shù)據(jù)步驟3:選擇子元素。圖4-15八爪魚(yú)自定義任務(wù)網(wǎng)頁(yè)自動(dòng)形成的循環(huán)翻頁(yè)界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式2.使用自定義配置采集數(shù)據(jù)步驟4:設(shè)置循環(huán)翻頁(yè)。圖4-16八爪魚(yú)自定義任務(wù)網(wǎng)頁(yè)數(shù)據(jù)采集界面二、基于爬蟲(chóng)工具的數(shù)據(jù)采集(一)使用八爪魚(yú)采集數(shù)據(jù)的模式2.使用自定義配置采集數(shù)據(jù)步驟5:數(shù)據(jù)采集與導(dǎo)出。第四節(jié)數(shù)據(jù)存儲(chǔ)與管理第四章第二篇方法篇一、數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展第一階段:人工管理階段(公元前3500年前至20世紀(jì)50年代中期),數(shù)據(jù)以人工記錄為主,不會(huì)保存在計(jì)算機(jī)內(nèi),更沒(méi)有對(duì)數(shù)據(jù)進(jìn)行管理的軟件系統(tǒng)。第二階段:文件系統(tǒng)階段(20世紀(jì)50年代后期至60年代中期),數(shù)據(jù)實(shí)現(xiàn)以文件形式長(zhǎng)期保存,同時(shí)數(shù)據(jù)由文件系統(tǒng)進(jìn)行管理。第三階段:數(shù)據(jù)庫(kù)階段(20世紀(jì)70年代至21世紀(jì)初),出現(xiàn)層次型數(shù)據(jù)庫(kù)、網(wǎng)狀型數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)。第四階段:分布式存儲(chǔ)階段(21世紀(jì)初至今),可以實(shí)現(xiàn)文件在多臺(tái)主機(jī)上分布式存儲(chǔ),以滿足大規(guī)模數(shù)據(jù)存儲(chǔ)的需求,擁有較好的容錯(cuò)率和拓展性,能夠以較低的成本實(shí)現(xiàn)大流量和大數(shù)據(jù)量的讀寫(xiě)。二、數(shù)據(jù)存儲(chǔ)系統(tǒng)概述隨著