數(shù)據(jù)采集工具

數(shù)據(jù)采集工具

【典型工作任務(wù)】小丁經(jīng)營著一家淘寶店鋪，主要銷售自己家鄉(xiāng)的特產(chǎn)，包括白姜、香菇、木耳等特色農(nóng)產(chǎn)品。2019年9月，小丁家種的花椒“大紅袍”產(chǎn)量大增，她準(zhǔn)備將花椒作為新品，在網(wǎng)店上架，并將其打造為當(dāng)季引流商品。為此，小丁通過百度指數(shù)進(jìn)行了查詢，發(fā)現(xiàn)9月中旬到10月中旬，花椒的搜索指數(shù)一直維持在中等偏上的水平，并有逐漸上升的態(tài)勢，如圖3-1所示。小丁認(rèn)為可以安排花椒即時(shí)上架。圖3-1花椒搜索指數(shù)同時(shí)，小丁還注意到，搜索花椒的人群以20-29歲為主，如圖3-2所示，小丁認(rèn)為可以針對(duì)這部分人群進(jìn)行重點(diǎn)推廣。圖3-2人群屬性思考一下，數(shù)據(jù)采集與分析的渠道與工具除了上述提到的“百度指數(shù)”，還有哪些？一、數(shù)據(jù)采集渠道

電子商務(wù)數(shù)據(jù)的有效性、準(zhǔn)確性與及時(shí)性，都是建立在可靠數(shù)據(jù)來源的基礎(chǔ)上的。數(shù)據(jù)采集過程中對(duì)數(shù)據(jù)來源的渠道應(yīng)做一個(gè)可信度的劃分，確定哪些數(shù)據(jù)可信性更高，這就要求數(shù)據(jù)采集人員必須建立相應(yīng)的機(jī)制。

常見的可靠數(shù)據(jù)來源渠道有內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)。（一）內(nèi)部數(shù)據(jù)渠道

內(nèi)部數(shù)據(jù)渠道是指在電子商務(wù)項(xiàng)目運(yùn)營過程中，電子商務(wù)站點(diǎn)、店鋪?zhàn)陨硭a(chǎn)生的數(shù)據(jù)信息，如站點(diǎn)的訪客數(shù)、瀏覽量、收藏量，商品的訂單數(shù)量、訂單信息、加購數(shù)量等數(shù)據(jù)。（二）外部數(shù)據(jù)渠道

外部數(shù)據(jù)渠道是指在進(jìn)行行業(yè)及競爭對(duì)手?jǐn)?shù)據(jù)采集時(shí)，通常需要借助外部數(shù)據(jù)。在選擇外部數(shù)據(jù)時(shí)尤其需要注意的是數(shù)據(jù)的真實(shí)性和有效性。一、數(shù)據(jù)采集渠道

常用的外部數(shù)據(jù)渠道有：1.政府部門、行業(yè)協(xié)會(huì)、新聞媒體、出版社政府部門、行業(yè)協(xié)會(huì)、新聞媒體、出版社等發(fā)布（發(fā)行）的統(tǒng)計(jì)數(shù)據(jù)、行業(yè)調(diào)查報(bào)告、新聞報(bào)道、出版物等都會(huì)涉及相關(guān)的數(shù)據(jù)報(bào)告。例如，國家統(tǒng)計(jì)局每個(gè)階段都會(huì)發(fā)布宏觀經(jīng)濟(jì)、居民消費(fèi)價(jià)格指數(shù)等數(shù)據(jù)報(bào)告，如圖3-3所示。圖3-3一、數(shù)據(jù)采集渠道2.權(quán)威網(wǎng)站、數(shù)據(jù)機(jī)構(gòu)權(quán)威網(wǎng)站、數(shù)據(jù)機(jī)構(gòu)發(fā)布的報(bào)告、白皮書等也會(huì)涉及相應(yīng)的數(shù)據(jù)報(bào)告，常見的網(wǎng)站和數(shù)據(jù)機(jī)構(gòu)有如中國互聯(lián)網(wǎng)信息中心、阿里研究院、易觀數(shù)據(jù)、艾瑞咨詢等。這些平臺(tái)提供了行業(yè)或行業(yè)類龍頭企業(yè)的數(shù)據(jù)，其數(shù)據(jù)參考性較高，是重要的行業(yè)及企業(yè)數(shù)據(jù)采集渠道。如圖3-4所示。圖3-4艾瑞咨詢《2020年中國功能性兒童學(xué)習(xí)用品行業(yè)白皮書》中的部分內(nèi)容一、數(shù)據(jù)采集渠道3.電子商務(wù)平臺(tái)電子商務(wù)平臺(tái)上聚集著眾多行業(yè)賣家和買家，也是電子商務(wù)數(shù)據(jù)產(chǎn)生的重要來源。圖3-5360趨勢4.指數(shù)工具

百度指數(shù)、360趨勢（如圖3-5所示）、搜狗指數(shù)、阿里指數(shù)等工具依托于平臺(tái)海量用戶行為數(shù)據(jù)，將相應(yīng)搜索數(shù)據(jù)趨勢、需求圖譜、用戶畫像等數(shù)據(jù)通過指數(shù)工具向用戶公開，該類型數(shù)據(jù)可為市場行業(yè)、用戶需求和用戶畫像數(shù)據(jù)分析提供重要參考依據(jù)。例如本項(xiàng)目“典型工作任務(wù)”中的案例就是通過百度指數(shù)對(duì)淘寶網(wǎng)特定商品的搜索指數(shù)、受眾人群等數(shù)據(jù)進(jìn)行采集，分析出最受用戶歡迎的商品，從而進(jìn)行重點(diǎn)推廣。這就直接利用了百度指數(shù)的相關(guān)數(shù)據(jù)。一、什么是數(shù)據(jù)采集

針對(duì)以上數(shù)據(jù)源，數(shù)據(jù)采集人員如何從中選擇適合自身數(shù)據(jù)分析需求的數(shù)據(jù)源呢？首先，數(shù)據(jù)分析人員需要明確以上幾類數(shù)據(jù)源所能獲取的數(shù)據(jù)指標(biāo)，選擇具有所需數(shù)據(jù)指標(biāo)的數(shù)據(jù)源（見表3-1）。其次數(shù)據(jù)采集人員還需要對(duì)數(shù)據(jù)源按照所提供數(shù)據(jù)的精準(zhǔn)度為其劃分等級(jí)，優(yōu)先獲取等級(jí)更高的數(shù)據(jù)源。數(shù)據(jù)采集渠道數(shù)據(jù)類型典型代表電子商務(wù)網(wǎng)站、店鋪后臺(tái)或平臺(tái)提供的數(shù)據(jù)工具產(chǎn)品數(shù)據(jù)、市場數(shù)據(jù)、運(yùn)營數(shù)據(jù)、人群數(shù)據(jù)等淘寶、京東店鋪后臺(tái)及所提供的數(shù)據(jù)工具如生意參謀、京東商智等政府部門、機(jī)構(gòu)協(xié)會(huì)、媒體行業(yè)數(shù)據(jù)國家及各級(jí)統(tǒng)計(jì)局、各類協(xié)會(huì)、電視臺(tái)、報(bào)刊、雜志等權(quán)威網(wǎng)站、數(shù)據(jù)機(jī)構(gòu)行業(yè)數(shù)據(jù)、產(chǎn)品數(shù)據(jù)易觀數(shù)據(jù)、艾瑞咨詢、199IT等電子商務(wù)平臺(tái)行業(yè)數(shù)據(jù)淘寶/天貓、京東、蘇寧等指數(shù)工具行業(yè)數(shù)據(jù)、人群數(shù)據(jù)百度指數(shù)、360趨勢等表3-1數(shù)據(jù)采集渠道適用場景二、數(shù)據(jù)采集常用工具（一）什么是數(shù)據(jù)采集工具：（二）數(shù)據(jù)采集工具分類：

是指使用數(shù)據(jù)采集技術(shù)，通過識(shí)別數(shù)據(jù)渠道中所需數(shù)據(jù)指標(biāo)，將數(shù)據(jù)進(jìn)行摘錄整理，形成數(shù)據(jù)文檔工具。掌握數(shù)據(jù)采集工具的使用是數(shù)據(jù)采集人員快速、準(zhǔn)確獲取數(shù)據(jù)的基礎(chǔ)。常用的數(shù)據(jù)采集工具分為三類：第一類：平臺(tái)提供的數(shù)據(jù)工具。主要包括平臺(tái)店鋪后臺(tái)、生意參謀（淘寶/天貓）、京東商智（京東）、數(shù)據(jù)易道（蘇寧）等數(shù)據(jù)采集工具。二、數(shù)據(jù)采集常用工具1.生意參謀通過生意參謀，數(shù)據(jù)采集人員不僅可以采集自己店鋪的各項(xiàng)運(yùn)營數(shù)據(jù)（如流量、交易、服務(wù)、產(chǎn)品等數(shù)據(jù)），通過市場行情板塊還能夠獲取到在淘寶/天貓平臺(tái)的行業(yè)銷售經(jīng)營數(shù)據(jù)。如圖3-6所示。圖3-6生意參謀首頁二、數(shù)據(jù)采集常用工具2.京東商智京東商智是京東為賣家提供數(shù)據(jù)服務(wù)的平臺(tái)，賣家在訂購京東商智之后，可以從PC端、APP、微信、手機(jī)QQ、移動(dòng)端五大渠道獲取店鋪的流量、銷量、用戶、商品等數(shù)據(jù)，并能夠獲取整個(gè)行業(yè)及同行業(yè)中其他賣家的數(shù)據(jù)，以此來支持運(yùn)營決策。同時(shí)，京東商智還支持購物車營銷、用戶營銷等精準(zhǔn)營銷，幫助賣家提升銷售，如圖3-7所示。圖3-7京東商智首頁二、數(shù)據(jù)采集常用工具3.數(shù)據(jù)易道

數(shù)據(jù)易道是蘇寧面向外部賣家、供應(yīng)商及品牌工廠等合作伙伴的官方數(shù)據(jù)分析產(chǎn)品平臺(tái)，依托蘇寧海量數(shù)據(jù)價(jià)值和大數(shù)據(jù)能力，旨在通過優(yōu)質(zhì)的數(shù)據(jù)產(chǎn)品及服務(wù)為合作伙伴提供業(yè)務(wù)數(shù)據(jù)分析和決策建議，實(shí)現(xiàn)合作伙伴與蘇寧的商業(yè)價(jià)值共享共贏。如圖3-8所示。圖3-8店鋪版數(shù)據(jù)易道首頁二、數(shù)據(jù)采集常用工具第二類：第三方專項(xiàng)數(shù)據(jù)采集工具，主要包括多多情報(bào)通（多多參謀）、店偵探（淘寶/天貓）、淘數(shù)據(jù)（淘寶/京東/wish/shopee等）、逐鹿工具箱、店數(shù)據(jù)、升業(yè)績等工具。1.多多情報(bào)通

多多情報(bào)通(多多參謀)是拼多多電商平臺(tái)的數(shù)據(jù)工具,提供大盤走勢、競品（“競爭商品”的簡稱）分析、貨源分析、成交高峰、物流預(yù)警、開團(tuán)監(jiān)控、店鋪探索、深度分析活動(dòng)商品信息、關(guān)鍵詞監(jiān)控等多維度的數(shù)據(jù)服務(wù),輔助賣家的數(shù)據(jù)化運(yùn)營，如圖3-9所示。圖3-9

多多情報(bào)通首頁二、數(shù)據(jù)采集常用工具2.店偵探

店偵探是一款專門為淘寶及天貓賣家提供數(shù)據(jù)采集、數(shù)據(jù)分析的數(shù)據(jù)工具。通過對(duì)各個(gè)店鋪、寶貝運(yùn)營數(shù)據(jù)進(jìn)行采集分析，店偵探可以快速提供競爭對(duì)手店鋪的銷售數(shù)據(jù)、引流途徑、廣告投放、活動(dòng)推廣、買家購買行為等數(shù)據(jù)信息。如圖3-10所示。圖3-10店偵探首頁二、數(shù)據(jù)采集常用工具3.淘數(shù)據(jù)

淘數(shù)據(jù)是一款針對(duì)國內(nèi)和跨境電子商務(wù)提供數(shù)據(jù)采集和分析的工具，為賣家提供行業(yè)和店鋪的各項(xiàng)數(shù)據(jù)。如圖3-11所示。圖3-11淘數(shù)據(jù)首頁二、數(shù)據(jù)采集常用工具4.逐鹿工具箱

逐鹿工具箱是一款電商多領(lǐng)域營銷軟件，提供了查排名、選款選品、主圖評(píng)測、關(guān)鍵詞挖掘、關(guān)鍵詞市場分析、SEO優(yōu)化，直通車優(yōu)化，活動(dòng)分析等功能，可幫助賣家全面提升店鋪經(jīng)營效率。如圖3-12所示。圖3-12逐鹿工具箱首頁二、數(shù)據(jù)采集常用工具第三類：網(wǎng)頁數(shù)據(jù)采集工具（爬蟲）。主要包括八爪魚、火車采集器、后羿采集器等數(shù)據(jù)采集工具。1.八爪魚采集器

八爪魚采集器是一款通用網(wǎng)頁數(shù)據(jù)采集器，使用簡單，可執(zhí)行完全可視化操作；其功能強(qiáng)大，任何網(wǎng)站均可采集；另外，其采集的數(shù)據(jù)可導(dǎo)出為多種格式。八爪魚采集器可以用來采集商品的價(jià)格、銷量、評(píng)價(jià)、描述等內(nèi)容。如圖3-13所示。圖3-13八爪魚采集器首頁二、數(shù)據(jù)采集常用工具2.火車采集器

火車采集器是一個(gè)供各大主流內(nèi)容平臺(tái)系統(tǒng)、論壇系統(tǒng)等使用的多線程內(nèi)容采集發(fā)布程序，如圖3-14所示。其對(duì)于數(shù)據(jù)的采集可分為兩部分：一是采集數(shù)據(jù)，二是發(fā)布數(shù)據(jù)。借助火車采集器可以根據(jù)采集需求在目標(biāo)數(shù)據(jù)源網(wǎng)站采集相應(yīng)數(shù)據(jù)并整理成表格或TXT格式導(dǎo)出。圖3-14火車采集器首頁二、數(shù)據(jù)采集常用工具3.后羿采集器

后羿采集器功能強(qiáng)大，操作簡單，是為廣大無編程基礎(chǔ)的運(yùn)營、銷售、金融、新聞、電商和數(shù)據(jù)分析從業(yè)者，以及政府機(jī)關(guān)和學(xué)術(shù)研究等用戶量身打造的一款產(chǎn)品。后羿采集器不僅能夠進(jìn)行數(shù)據(jù)的自動(dòng)化采集，而且在采集過程中可以對(duì)數(shù)據(jù)進(jìn)行清洗。在數(shù)據(jù)源頭即可實(shí)現(xiàn)多種內(nèi)容的過濾。通過使用后羿采集器，用戶能夠快速、準(zhǔn)確地獲取海量網(wǎng)頁數(shù)據(jù)，從而徹底解決了人工收集數(shù)據(jù)所面臨的各種難題，降低了獲取信息的成本，提高了工作效率。如圖3-15所示。圖3-15后羿采集器首頁三、選擇數(shù)據(jù)采集工具的依據(jù)

對(duì)于一般數(shù)據(jù)采集人員而言，目前市面上有數(shù)以百計(jì)的數(shù)據(jù)采集工具，其功能、用途、使用難易程度各異，在選擇數(shù)據(jù)采集工具可以從以下幾方面進(jìn)行考慮。圖3-16生意參謀呈現(xiàn)的指數(shù)數(shù)據(jù)（一）適用范圍不同用戶根據(jù)自身的情況，應(yīng)當(dāng)選擇不同的數(shù)據(jù)采集器。（二）數(shù)據(jù)類型

很多電商類數(shù)據(jù)采集工具所提供的數(shù)據(jù)并非項(xiàng)目運(yùn)營實(shí)際數(shù)據(jù)，而是對(duì)實(shí)際數(shù)據(jù)進(jìn)行轉(zhuǎn)化后的展現(xiàn)。例如，生意參謀顯示的數(shù)據(jù)并非真實(shí)的用戶搜索數(shù)量，其將真實(shí)的搜索數(shù)量進(jìn)行了轉(zhuǎn)化，以指數(shù)數(shù)據(jù)進(jìn)行呈現(xiàn)。如圖3-16所示。三、選擇數(shù)據(jù)采集工具的依據(jù)圖3-17逐鹿工具箱淘寶商品數(shù)據(jù)采集可視化呈現(xiàn)結(jié)果（三）功能需求

專門針對(duì)電子商務(wù)類數(shù)據(jù)采集工具大多是數(shù)據(jù)分析工具中的一個(gè)功能模塊，其除了能進(jìn)行數(shù)據(jù)采集，還具備一定數(shù)據(jù)分析與處理功能，如使用逐鹿工具箱進(jìn)行淘寶商品數(shù)據(jù)采集，采集完成后，該系統(tǒng)還提供了數(shù)據(jù)分析結(jié)果及其可視化呈現(xiàn)結(jié)果。如圖3-17所示。三、選擇數(shù)據(jù)采集工具的依據(jù)

在進(jìn)行數(shù)據(jù)采集工具選擇時(shí)，并非適用范圍越廣泛、數(shù)據(jù)類型越豐富、功能越強(qiáng)大越好，核心選擇要素是數(shù)據(jù)采集人員能夠熟練操作，并能采集到所需的數(shù)據(jù)。如表3-2所示。數(shù)據(jù)采集工具類別數(shù)據(jù)采集工具功能及適用場景平臺(tái)提供的數(shù)據(jù)采集工具生意參謀（淘寶/天貓）京東商智（京東）數(shù)據(jù)易道（蘇寧）店鋪運(yùn)營、產(chǎn)品的流量、交易、客戶、服務(wù)等數(shù)據(jù)，市場的趨勢、規(guī)模、人群等數(shù)據(jù)第三方專項(xiàng)數(shù)據(jù)采集工具逐鹿工具箱淘寶、微信平臺(tái)的市場行情、競爭等數(shù)據(jù)多多情報(bào)通店偵探淘數(shù)據(jù)竟品、竟店（“競爭店鋪”的簡稱）推廣渠道、排名、銷售等數(shù)據(jù)網(wǎng)頁數(shù)據(jù)采集工具（爬蟲）火車采集器八爪魚采集器后羿采集器網(wǎng)頁數(shù)據(jù)采集，如商品信息、價(jià)格、詳情、用戶評(píng)價(jià)等數(shù)據(jù)。表3-2

常用數(shù)據(jù)采集工具分類、功能及適用場景任務(wù)二掌握數(shù)據(jù)采集方法【典型工作任務(wù)】

首次登錄領(lǐng)英（Linkedln）的用戶，Linkedln會(huì)讓你關(guān)注5個(gè)好友。當(dāng)你辦一張信用卡時(shí)，銀行會(huì)提出“消費(fèi)滿5筆免年費(fèi)”的優(yōu)惠條件。那么Linkedln和銀行是如何得出關(guān)注5個(gè)好友、消費(fèi)滿5筆的結(jié)論的呢?

一個(gè)淺顯的道理，用戶的行為與其留存之間有一定關(guān)系，通過干預(yù)用戶的行為可以提高留存率。借助數(shù)據(jù)采集工具，可采集用戶行為（多少天內(nèi)×某個(gè)動(dòng)作×做過幾次）與用戶留存之間的相關(guān)度信息。相關(guān)度高的組合，往往就是我們需要優(yōu)化的方向?！救蝿?wù)思考】思考一下，我們在日常生活中常常會(huì)用到哪些數(shù)據(jù)采集的方法呢？一、數(shù)據(jù)采集方法的說明

隨著數(shù)據(jù)采集頻率越來越高,數(shù)據(jù)采集數(shù)量日益增大,單一計(jì)算機(jī)的采集已不能很好地滿足用戶的需求，云計(jì)算技術(shù)的出現(xiàn)正好解決了這個(gè)問題。云計(jì)算將計(jì)算和數(shù)據(jù)分布在大量的分布式計(jì)算機(jī)上,“云中”的計(jì)算機(jī)提供強(qiáng)大的計(jì)算能力,能夠完成傳統(tǒng)單臺(tái)計(jì)算機(jī)無法完成的計(jì)算任務(wù)。同時(shí),“云中”的計(jì)算機(jī)具有龐大的數(shù)據(jù)存儲(chǔ)空間,采集器可以實(shí)現(xiàn)多種采集需求。二、商務(wù)數(shù)據(jù)的采集方法（一）內(nèi)部數(shù)據(jù)采集（二）外部數(shù)據(jù)采集1.調(diào)查問卷采集2.用戶訪談采集3.系統(tǒng)日志采集4.數(shù)據(jù)庫采集5.報(bào)表采集6.網(wǎng)頁數(shù)據(jù)采集

內(nèi)部數(shù)據(jù)采集是指采集企業(yè)內(nèi)部經(jīng)營活動(dòng)的數(shù)據(jù)，數(shù)據(jù)通常來源于業(yè)務(wù)數(shù)據(jù)庫，如訂單的交易情況。

二、商務(wù)數(shù)據(jù)的采集方法7.第三方統(tǒng)計(jì)平臺(tái)采集第三方統(tǒng)計(jì)平臺(tái)的分類如表3-3所示。采集技術(shù)手段平臺(tái)名稱采集的數(shù)據(jù)類型操作的復(fù)雜程度采集的數(shù)據(jù)質(zhì)量無埋點(diǎn)（嵌入SDK)百度統(tǒng)計(jì)等前端數(shù)據(jù)簡單且免費(fèi)數(shù)據(jù)較粗糙有埋點(diǎn)自己寫代碼)神策數(shù)據(jù)等前后端數(shù)據(jù)均可操作較復(fù)雜數(shù)據(jù)更細(xì)致有埋點(diǎn)+無埋點(diǎn)數(shù)極客等前后端數(shù)據(jù)均可既有引