《統(tǒng)計(jì)與數(shù)據(jù)分析基礎(chǔ)》數(shù)據(jù)采集

數(shù)據(jù)采集《統(tǒng)計(jì)與數(shù)據(jù)分析基礎(chǔ)》&人民郵電出版社02目錄/Contents2.12.22.32.4數(shù)據(jù)的類型與來源數(shù)據(jù)采集的流程與方法常用數(shù)據(jù)采集工具推薦課堂實(shí)訓(xùn)——使用八爪魚采集招聘數(shù)據(jù)2.1.1數(shù)據(jù)的類型圖數(shù)據(jù)的類型2.1.2數(shù)據(jù)的來源一手?jǐn)?shù)據(jù)也稱原始數(shù)據(jù)，是指通過直接調(diào)查或科學(xué)實(shí)驗(yàn)等方式直接獲取的數(shù)據(jù)。具體而言，采取實(shí)驗(yàn)觀察、問卷調(diào)查、抽樣調(diào)查等方法可以獲取一手?jǐn)?shù)據(jù)，如圖2-2所示。1.一手?jǐn)?shù)據(jù)圖一手?jǐn)?shù)據(jù)的獲取方法2.1.2數(shù)據(jù)的來源二手?jǐn)?shù)據(jù)即他人通過調(diào)查或?qū)嶒?yàn)取得的數(shù)據(jù)，如從統(tǒng)計(jì)年鑒中獲取的居民消費(fèi)價(jià)格指數(shù)、從房地產(chǎn)管理部門數(shù)據(jù)庫獲取的房?jī)r(jià)數(shù)據(jù)等。2.二手?jǐn)?shù)據(jù)根據(jù)渠道的不同，數(shù)據(jù)的來源還有內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)之分。內(nèi)部數(shù)據(jù)主要包括組織或個(gè)人在生產(chǎn)或生活中形成的各種數(shù)據(jù)；外部數(shù)據(jù)則是非組織或個(gè)人直接產(chǎn)生的數(shù)據(jù)。專家點(diǎn)撥目錄/Contents2.12.22.32.4數(shù)據(jù)的類型與來源數(shù)據(jù)采集的流程與方法常用數(shù)據(jù)采集工具推薦課堂實(shí)訓(xùn)——使用八爪魚采集招聘數(shù)據(jù)2.2.1數(shù)據(jù)采集的流程在采集數(shù)據(jù)之前，應(yīng)該清楚需要采集什么樣的數(shù)據(jù)和采集數(shù)據(jù)的目的，這樣才能根據(jù)需求和分析對(duì)象開展數(shù)據(jù)采集工作，其基本流程如圖2-3所示。圖數(shù)據(jù)采集的基本流程2.2.2數(shù)據(jù)采集的方法1.問卷調(diào)查（1）問卷內(nèi)容不能過多，題目應(yīng)當(dāng)簡(jiǎn)潔明了，讓受訪對(duì)象感覺可以不用花費(fèi)過多時(shí)間就能完成調(diào)查任務(wù)。（3）問題的答案選項(xiàng)不能過多，一般應(yīng)以多項(xiàng)式或等級(jí)式的方式顯示，方便受訪對(duì)象填寫。（2）問題設(shè)計(jì)應(yīng)緊扣受訪對(duì)象的行為、態(tài)度和基本信息等方面。一些敏感信息可以通過物質(zhì)刺激的方式獲取，如要求受訪對(duì)象填寫手機(jī)號(hào)碼一欄，可以不用強(qiáng)制填寫，但如果填寫，會(huì)將優(yōu)惠券以短信形式發(fā)送到手機(jī)上以供使用。2.2.2數(shù)據(jù)采集的方法就線上采集而言，首先應(yīng)充分利用線上平臺(tái)現(xiàn)有的下載功能直接下載數(shù)據(jù)；如果不具備該功能，則可考慮通過復(fù)制粘貼的方式采集到需要的數(shù)據(jù)對(duì)象；如果復(fù)制操作也無法實(shí)現(xiàn)，則考慮使用各種數(shù)據(jù)爬取工具爬取數(shù)據(jù)。就目前而言，由于互聯(lián)網(wǎng)科技的不斷發(fā)展，大數(shù)據(jù)應(yīng)用越來越廣泛，因此線上采集數(shù)據(jù)的方式顯得更加可行和高效。2.下載、復(fù)制與爬取目錄/Contents2.12.22.32.4數(shù)據(jù)的類型與來源數(shù)據(jù)采集的流程與方法常用數(shù)據(jù)采集工具推薦課堂實(shí)訓(xùn)——使用八爪魚采集招聘數(shù)據(jù)2.3.1生意參謀登錄到淘寶、天貓等阿里巴巴電商平臺(tái)后，單擊上方導(dǎo)航欄中的“千牛賣家中心”超鏈接，然后在顯示的頁面左側(cè)單擊“數(shù)據(jù)中心”欄中的“生意參謀”超鏈接，如圖2-5所示，即可進(jìn)入生意參謀數(shù)據(jù)分析與采集平臺(tái)，單擊該平臺(tái)導(dǎo)航欄中的不同功能選項(xiàng)卡，則可進(jìn)入到對(duì)應(yīng)的功能板塊。1.基本功能概述圖生意參謀入口2.3.1生意參謀生意參謀中的數(shù)據(jù)可以通過復(fù)制粘貼的方式采集到Excel中，其操作非常簡(jiǎn)單，只需設(shè)置需要顯示的數(shù)據(jù)內(nèi)容，然后拖曳鼠標(biāo)復(fù)制數(shù)據(jù)，然后在Excel中進(jìn)行粘貼即可。2.數(shù)據(jù)采集方法圖采集行業(yè)數(shù)據(jù)1TOP1：采集行業(yè)數(shù)據(jù)2.3.1生意參謀圖采集行業(yè)數(shù)據(jù)22.3.1生意參謀TOP2：粘貼數(shù)據(jù)2.3.2京東商智京東商智可以對(duì)店鋪的流量、商品、交易、服務(wù)、供應(yīng)鏈和客戶等數(shù)據(jù)進(jìn)行全方位分析。1.基本功能概述概覽實(shí)時(shí)圖

京東商智首頁的核心指標(biāo)區(qū)域2.3.2京東商智實(shí)時(shí)流量商品1.基本功能概述圖

京東商智的搜索關(guān)鍵詞分析界面2.3.2京東商智交易服務(wù)供應(yīng)鏈客戶行業(yè)1.基本功能概述圖

京東商智的交易分析界面2.3.2京東商智競(jìng)爭(zhēng)1.基本功能概述圖

京東商智的行業(yè)分析界面2.3.2京東商智2.數(shù)據(jù)采集方法圖

通過下載方式采集數(shù)據(jù)與生意參謀相比，京東商智在采集數(shù)據(jù)方面更加人性化，當(dāng)需要采集數(shù)據(jù)時(shí)，只需在相應(yīng)的功能板塊中設(shè)置需要采集的日期后，單擊界面右上角的

按鈕，即可根據(jù)向?qū)崾緦?shù)據(jù)保存下來，如圖2-16所示。2.3.3店偵探1.基本功能概述監(jiān)控中心關(guān)鍵詞分析監(jiān)控店鋪分析此功能主要用于添加并管理監(jiān)控的店鋪和商品。例如，要添加監(jiān)控店鋪時(shí)，首先需要注冊(cè)并登錄店偵探網(wǎng)站，單擊左側(cè)導(dǎo)航欄中的“監(jiān)控中心”功能下的“店鋪管理”超鏈接，然后單擊右側(cè)的”添加監(jiān)控店鋪”

按鈕，此時(shí)將打開添加監(jiān)控店鋪的對(duì)話框，在其中的文本框中輸入或復(fù)制競(jìng)爭(zhēng)店鋪的某一款商品的網(wǎng)址，然后依次單擊“預(yù)覽店鋪”和“添加監(jiān)控”按鈕即可添加該競(jìng)店單擊店偵探頂部導(dǎo)航欄中的“全網(wǎng)展示詞”超鏈接，在顯示的頁面中輸入需要分析的關(guān)鍵詞，如“新款”，單擊“搜索”按鈕即可顯示淘寶和天貓的關(guān)鍵詞綜合搜索排名情況單擊店偵探左側(cè)導(dǎo)航欄中的“監(jiān)控店鋪分析”功能，在展開的目錄中即可分析競(jìng)店的各種數(shù)據(jù)，包括競(jìng)店整體狀況分析、銷售分析、流量來源分析、活動(dòng)分析、寶貝分析等。使用方法為：?jiǎn)螕裟硞€(gè)分析超鏈接，展開其下的子目錄，然后單擊對(duì)應(yīng)的超鏈接即可。2.3.3店偵探2.數(shù)據(jù)采集方法在店偵探中，可以利用“導(dǎo)出數(shù)據(jù)”按鈕或“導(dǎo)出”按鈕將當(dāng)前界面中的數(shù)據(jù)采集到計(jì)算機(jī)中，方法為：?jiǎn)螕簟皩?dǎo)出數(shù)據(jù)”按鈕或“導(dǎo)出”按鈕，自動(dòng)啟動(dòng)已有的下載軟件，設(shè)置文件下載后的保存名稱和保存位置即可。采集到的數(shù)據(jù)將保存在Excel表格中，需要時(shí)便可打開該表格進(jìn)行處理和分析。2.3.4八爪魚采集器八爪魚采集器內(nèi)置了大量的采集模板，模板中已經(jīng)設(shè)置好采集任務(wù)和采集內(nèi)容，啟用模板就能快速完成數(shù)據(jù)采集工作。1.模板采集【實(shí)驗(yàn)室】采集京東商品搜索數(shù)據(jù)TOP1：登錄八爪魚采集器TOP2：新建模板任務(wù)2.3.4八爪魚采集器TOP4：選擇采集模板TOP3：選擇網(wǎng)站模板2.3.4八爪魚采集器TOP5：所選模板詳情2.3.4八爪魚采集器TOP6：設(shè)置任務(wù)的基本信息和配置參數(shù)TOP7：選擇采集方式2.3.4八爪魚采集器TOP8：顯示采集過程TOP9：數(shù)據(jù)采集完成2.3.4八爪魚采集器TOP10：選擇導(dǎo)出方式TOP11：設(shè)置保存位置和名稱2.3.4八爪魚采集器TOP12：導(dǎo)出數(shù)據(jù)TOP13：采集到的數(shù)據(jù)2.3.4八爪魚采集器2.自動(dòng)識(shí)別【實(shí)驗(yàn)室】通過自動(dòng)識(shí)別采集租房數(shù)據(jù)TOP1：自定義采集任務(wù)2.3.4八爪魚采集器TOP2：新建任務(wù)TOP3：自動(dòng)識(shí)別網(wǎng)頁數(shù)據(jù)2.3.4八爪魚采集器TOP4：完成識(shí)別TOP5：頁面滾動(dòng)設(shè)置2.3.4八爪魚采集器TOP6：設(shè)置翻頁采集數(shù)據(jù)TOP7：刪除字段2.3.4八爪魚采集器TOP8：修改字段名稱TOP9：刪除數(shù)據(jù)2.3.4八爪魚采集器TOP10：調(diào)整字段排列順序TOP11：生成采集設(shè)置2.3.4八爪魚采集器TOP12：開始采集數(shù)據(jù)TOP13：本地采集2.3.4八爪魚采集器TOP14：停止采集TOP15：確認(rèn)停止采集數(shù)據(jù)2.3.4八爪魚采集器TOP16：導(dǎo)出數(shù)據(jù)TOP17：去掉重復(fù)數(shù)據(jù)TOP18：選擇導(dǎo)出方式TOP19：設(shè)置保存位置和名稱2.3.4八爪魚采集器TOP20：采集到的數(shù)據(jù)2.3.4八爪魚采集器3.手動(dòng)采集如果需要采集數(shù)據(jù)的網(wǎng)頁既沒有模板，也無法識(shí)別，則可以通過手動(dòng)采集的方式采集數(shù)據(jù)。其方法為：新建采集任務(wù)，取消自動(dòng)識(shí)別數(shù)據(jù)的狀態(tài)，手動(dòng)采集需要的各個(gè)字段，設(shè)置字段名稱和位置，然后采集數(shù)據(jù)并導(dǎo)出到Excel中即可，其流程如圖2-53所示。圖

手動(dòng)采集數(shù)據(jù)的流程2.3.5火車采集器1.普通網(wǎng)址采集【實(shí)驗(yàn)室】采集豆瓣圖書數(shù)據(jù)TOP1：登錄火車采集器TOP2：新建采集任務(wù)TOP3：復(fù)制網(wǎng)址2.3.5火車采集器TOP4：審查元素TOP5：查看代碼TOP6：繼續(xù)查看代碼TOP7：設(shè)置過濾條件TOP8：采集測(cè)試2.3.5火車采集器TOP9：繼續(xù)設(shè)置過濾條件TOP10：再次測(cè)試TOP11：修改字段名稱TOP12：繼續(xù)修改字段名稱2.3.5火車采集器TOP13：添加字段TOP14：復(fù)制代碼TOP15：粘貼代碼2.3.5火車采集器TOP16：設(shè)置前后字符串TOP17：設(shè)置代碼TOP18：繼續(xù)設(shè)置代碼2.3.5火車采集器TOP19：測(cè)試成功TOP20：設(shè)置保存參數(shù)TOP21：打開文本文件模板TOP22：設(shè)置模板內(nèi)容2.3.5火車采集器TOP23：設(shè)置文件保存位置TOP24：保存采集任務(wù)TOP26：查看采集到的數(shù)據(jù)TOP25：開始采集數(shù)據(jù)2.3.5火車采集器2.批量網(wǎng)址采集TOP1：批量網(wǎng)址設(shè)置向?qū)OP3：設(shè)置參數(shù)變化規(guī)則TOP2：復(fù)制網(wǎng)址TOP4：保存任務(wù)目錄/Contents2.12.22.32.4數(shù)據(jù)的類型與來源數(shù)據(jù)采集的流程與方法常用數(shù)據(jù)采集工具推薦課堂實(shí)訓(xùn)——使用八爪魚采集招聘數(shù)據(jù)2.4.1實(shí)訓(xùn)目標(biāo)及思路本次實(shí)訓(xùn)將在BOSS直聘網(wǎng)站中采集與“室內(nèi)設(shè)計(jì)師”相關(guān)的招聘信息，需要采集到公司名稱、成立時(shí)間、法人代表、招聘職位、月薪等數(shù)據(jù)。采集時(shí)將涉及到詳情頁內(nèi)容的采集，具體操作思路如圖2-84所示。2.4.2操作方法TOP1：復(fù)制網(wǎng)址TOP2：新建任務(wù)2.4.2操作方法TOP3：建立任務(wù)TOP4：取消自動(dòng)識(shí)別2.4.2操作方法TOP5：選擇網(wǎng)頁元素TOP6