（模塊二）單元一 數(shù)據(jù)采集認知

電子商務數(shù)據(jù)分析基礎(chǔ)模塊二基礎(chǔ)數(shù)據(jù)采集CONTENT目錄單元一數(shù)據(jù)采集認知單元二數(shù)據(jù)采集的渠道及工具單元三市場數(shù)據(jù)采集單元四運營數(shù)據(jù)采集單元五產(chǎn)品數(shù)據(jù)采集學習目標知識目標技能目標素養(yǎng)目標了解數(shù)據(jù)采集的概念熟悉數(shù)據(jù)采集的原則掌握數(shù)據(jù)采集的方法和步驟能夠熟練使用數(shù)據(jù)采集工具能夠獨立完成電子商務市場、運營、產(chǎn)品數(shù)據(jù)采集在數(shù)據(jù)采集的過程中能夠嚴格遵守《中華人民共和國個人信息保護法》和《中華人民共和國數(shù)據(jù)安全法》等相關(guān)法律法規(guī)通過學習、積累自身的信息安全知識，遵守職業(yè)道德，尊重公民穩(wěn)私，具備數(shù)據(jù)保密意識知識導圖單元一數(shù)據(jù)采集認知引導案例某品牌是一家專注于健康飲食電器的研發(fā)、生產(chǎn)和銷售的現(xiàn)代化企業(yè)，多年來一直保持著健康、穩(wěn)定、快速的增長，現(xiàn)已成為小家電行業(yè)的著名企業(yè)，規(guī)模位居行業(yè)前列。隨著電子商務的快速發(fā)展，該品牌在各大電商平臺（如天貓、京東等）均開設(shè)了旗艦店，并且有多家授權(quán)店鋪。近期，該品牌發(fā)現(xiàn)授權(quán)店鋪向非授權(quán)店鋪竄貨、低價出售的現(xiàn)象時有發(fā)生，導致銷售價格不統(tǒng)一、市場混亂，嚴重影響該品牌新品的市場銷售。為此，該品牌決定采集各大電商平臺的相關(guān)數(shù)據(jù)，通過采集的數(shù)據(jù)甄別非授權(quán)店鋪，篩選低價店鋪，懲治電商平臺的價格混亂現(xiàn)象。引導案例在采集數(shù)據(jù)前，需要結(jié)合數(shù)據(jù)分析的需求確定采集范圍和采集指標，該品牌計劃采集淘寶、天貓、京東、蘇寧易購等主流電商平臺賣家及銷售價格。因要采集的數(shù)據(jù)量大，該品牌與提供數(shù)據(jù)采集服務的第三方公司合作，合法采集有效數(shù)據(jù)，并對采集的數(shù)據(jù)按照平臺進行歸類、檢查和分析，第一時間篩選低價、禁售店鋪和電子商務網(wǎng)站，通過通知調(diào)整、知識產(chǎn)權(quán)維權(quán)、行政千預等手段整治渠道亂價。結(jié)合案例，思考并回答以下問題:(1）該案例中進行數(shù)據(jù)采集的原因是什么?(2）該案例中數(shù)據(jù)采集經(jīng)歷了哪幾個步驟?單元一數(shù)據(jù)采集認知一、數(shù)據(jù)采集的概念

數(shù)據(jù)采集也叫數(shù)據(jù)獲取，是指通過在平臺源程序中預設(shè)工具或程序代碼，獲取商品狀態(tài)變化、資金狀態(tài)變化、流量狀態(tài)變化、用戶行為和信息等數(shù)據(jù)內(nèi)容的過程，為后續(xù)進行數(shù)據(jù)分析提供數(shù)據(jù)準備。單元一數(shù)據(jù)采集認知二、數(shù)據(jù)采集的原則合法性及時性準確性有效性單元一數(shù)據(jù)采集認知及時性進行數(shù)據(jù)采集需要盡可能地獲取到電子商務平臺最新數(shù)據(jù)，只有最新的數(shù)據(jù)與往期數(shù)據(jù)進行比，對才能更好地發(fā)現(xiàn)當前的問題并預測變化趨勢。有效性在進行數(shù)據(jù)采集過程中，需要注意數(shù)值期限的有效性。單元一數(shù)據(jù)采集認知準確性在數(shù)據(jù)分析過程中，每個指標的數(shù)據(jù)可能需要參與各種計算，有些數(shù)據(jù)的數(shù)值本身比較大，一旦出錯，參與計算之后就可能出現(xiàn)較大的偏差。在進行數(shù)據(jù)采集時，需要確保所摘錄的數(shù)據(jù)準確無誤，避免數(shù)據(jù)分析時出現(xiàn)較大偏差。合法性數(shù)據(jù)采集還需要注意合法性。比如在進行競爭對手數(shù)據(jù)采集過程中，只能采集相關(guān)機構(gòu)已經(jīng)公布的公開數(shù)據(jù)，或是在對方同意的情況下獲取的數(shù)據(jù)，而不能采用商業(yè)間諜或不正當竊取等非法手段獲取的數(shù)據(jù)。單元一數(shù)據(jù)采集認知某電子商務企業(yè)為了能夠讓更多的客戶了解并瀏覽自己的網(wǎng)店，通過第三方渠道購買客戶資料獲取客戶聯(lián)系信息，并通過短信、郵件等方式向客戶進行營銷。請問，這種數(shù)據(jù)采集方式會不會受到法律保護？請說明原因。單元一數(shù)據(jù)采集認知三、數(shù)據(jù)采集的方法網(wǎng)頁數(shù)據(jù)采集系統(tǒng)日志數(shù)據(jù)采集數(shù)據(jù)庫采集報表采集調(diào)查問卷采集單元一數(shù)據(jù)采集認知網(wǎng)頁數(shù)據(jù)采集在采集行業(yè)及競爭對手數(shù)據(jù)時，在電商平臺上的一些數(shù)據(jù)，諸如商品屬性數(shù)據(jù)（商品結(jié)構(gòu)和標題、品牌、價格、銷量、評價），可以直接進行摘錄或使用火車采集器、八爪魚采集器等爬蟲采集工具進行采集。單元一數(shù)據(jù)采集認知系統(tǒng)日志數(shù)據(jù)采集在網(wǎng)站日志中記錄了訪客IP地址、訪問時間、訪問次數(shù)、停留時間、訪客來源等數(shù)據(jù)。通過對這些日志信息進行采集、分析，可以挖掘電子商務企業(yè)業(yè)務平臺日志數(shù)據(jù)中的潛在價值。數(shù)據(jù)庫采集通過數(shù)據(jù)庫采集系統(tǒng)直接與企業(yè)業(yè)務后臺服務器結(jié)合，將企業(yè)業(yè)務后臺每時每刻產(chǎn)生的大量業(yè)務記錄到數(shù)據(jù)庫中，最后由特定的處理系統(tǒng)進行數(shù)據(jù)分析。單元一數(shù)據(jù)采集認知報表采集一些獨立站點可能沒有如每天咨詢客戶數(shù)、訂單數(shù)等數(shù)據(jù)指標統(tǒng)計功能，在進行數(shù)據(jù)采集時可以通過每日、每周的工作報表進行相應的數(shù)據(jù)采集。單元一數(shù)據(jù)采集認知調(diào)查問卷采集在對用戶需求、習慣、喜好、產(chǎn)品使用反饋等數(shù)據(jù)進行采集時，常常會用到調(diào)查問卷，數(shù)據(jù)采集人員通過設(shè)計具有針對性的問卷，采用實地走訪、電話溝通、網(wǎng)絡填表等方式進行信息采集。單元一數(shù)據(jù)采集認知四、數(shù)據(jù)采集的步驟確定采集范圍及人員分工1進行數(shù)據(jù)采集前首先需要根據(jù)數(shù)據(jù)采集目標進行分析，明確數(shù)據(jù)采集的指標范圍和時間范圍。接著明確這些數(shù)據(jù)需要從哪些途徑及部門采集，最后確定參與部門和人員配備。單元一數(shù)據(jù)采集認知建立必要的數(shù)據(jù)指標規(guī)范，并完成數(shù)據(jù)采集2在進行數(shù)據(jù)采集前，還需要用數(shù)據(jù)指標對數(shù)據(jù)進行唯一性標識，并且貫穿在之后的數(shù)據(jù)查詢、分析和應用過程中。建立數(shù)據(jù)指標規(guī)范是為了使后續(xù)工作有可以遵循的原則，也為龐雜的數(shù)據(jù)分析工作確定了可以識別的唯一標識。單元一數(shù)據(jù)采集認知數(shù)據(jù)檢查3完整性檢查準確性檢查規(guī)范性檢查完成數(shù)據(jù)采集后對數(shù)據(jù)進行復查或計算合計數(shù)據(jù)，將其和歷史數(shù)據(jù)進行比較。同時還要檢查字段的完整性，保證核心指標數(shù)據(jù)完整。在進行數(shù)據(jù)采集錄入的過程中，可能會有個別數(shù)據(jù)出現(xiàn)錄入錯誤，可以通過平均、求和等操作與原始數(shù)據(jù)進行比對，如發(fā)現(xiàn)比對結(jié)果不匹配，則需要檢查出相應的錯誤數(shù)據(jù)。檢查采集的數(shù)據(jù)中是否存在有多個商品標識編碼相同或同一數(shù)據(jù)出現(xiàn)多個數(shù)據(jù)指標等。1+X考證提要單元一數(shù)據(jù)采集認知本單元需重點理解與掌握的內(nèi)容（1）數(shù)據(jù)采集的原則:及時性、有效性、準確性、合法性。（2）數(shù)據(jù)采集的方法:網(wǎng)頁數(shù)據(jù)采集；系統(tǒng)日志數(shù)據(jù)采集；數(shù)據(jù)庫采集;報表采集；調(diào)查問卷采集。（3）數(shù)據(jù)采集的步驟:確定采集范圍及人員分工；建立必要的數(shù)據(jù)指標規(guī)范，并完成數(shù)據(jù)采集；數(shù)據(jù)檢查（完整性檢查、準確性檢查、規(guī)范性檢查)。版權(quán)聲明本課件版權(quán)歸屬北京博