（模塊二）單元一 數據采集認知

電子商務數據分析基礎模塊二基礎數據采集CONTENT目錄單元一數據采集認知單元二數據采集的渠道及工具單元三市場數據采集單元四運營數據采集單元五產品數據采集學習目標知識目標技能目標素養(yǎng)目標了解數據采集的概念熟悉數據采集的原則掌握數據采集的方法和步驟能夠熟練使用數據采集工具能夠獨立完成電子商務市場、運營、產品數據采集在數據采集的過程中能夠嚴格遵守《中華人民共和國個人信息保護法》和《中華人民共和國數據安全法》等相關法律法規(guī)通過學習、積累自身的信息安全知識，遵守職業(yè)道德，尊重公民穩(wěn)私，具備數據保密意識知識導圖單元一數據采集認知引導案例某品牌是一家專注于健康飲食電器的研發(fā)、生產和銷售的現代化企業(yè)，多年來一直保持著健康、穩(wěn)定、快速的增長，現已成為小家電行業(yè)的著名企業(yè)，規(guī)模位居行業(yè)前列。隨著電子商務的快速發(fā)展，該品牌在各大電商平臺（如天貓、京東等）均開設了旗艦店，并且有多家授權店鋪。近期，該品牌發(fā)現授權店鋪向非授權店鋪竄貨、低價出售的現象時有發(fā)生，導致銷售價格不統一、市場混亂，嚴重影響該品牌新品的市場銷售。為此，該品牌決定采集各大電商平臺的相關數據，通過采集的數據甄別非授權店鋪，篩選低價店鋪，懲治電商平臺的價格混亂現象。引導案例在采集數據前，需要結合數據分析的需求確定采集范圍和采集指標，該品牌計劃采集淘寶、天貓、京東、蘇寧易購等主流電商平臺賣家及銷售價格。因要采集的數據量大，該品牌與提供數據采集服務的第三方公司合作，合法采集有效數據，并對采集的數據按照平臺進行歸類、檢查和分析，第一時間篩選低價、禁售店鋪和電子商務網站，通過通知調整、知識產權維權、行政千預等手段整治渠道亂價。結合案例，思考并回答以下問題:(1）該案例中進行數據采集的原因是什么?(2）該案例中數據采集經歷了哪幾個步驟?單元一數據采集認知一、數據采集的概念

數據采集也叫數據獲取，是指通過在平臺源程序中預設工具或程序代碼，獲取商品狀態(tài)變化、資金狀態(tài)變化、流量狀態(tài)變化、用戶行為和信息等數據內容的過程，為后續(xù)進行數據分析提供數據準備。單元一數據采集認知二、數據采集的原則合法性及時性準確性有效性單元一數據采集認知及時性進行數據采集需要盡可能地獲取到電子商務平臺最新數據，只有最新的數據與往期數據進行比，對才能更好地發(fā)現當前的問題并預測變化趨勢。有效性在進行數據采集過程中，需要注意數值期限的有效性。單元一數據采集認知準確性在數據分析過程中，每個指標的數據可能需要參與各種計算，有些數據的數值本身比較大，一旦出錯，參與計算之后就可能出現較大的偏差。在進行數據采集時，需要確保所摘錄的數據準確無誤，避免數據分析時出現較大偏差。合法性數據采集還需要注意合法性。比如在進行競爭對手數據采集過程中，只能采集相關機構已經公布的公開數據，或是在對方同意的情況下獲取的數據，而不能采用商業(yè)間諜或不正當竊取等非法手段獲取的數據。單元一數據采集認知某電子商務企業(yè)為了能夠讓更多的客戶了解并瀏覽自己的網店，通過第三方渠道購買客戶資料獲取客戶聯系信息，并通過短信、郵件等方式向客戶進行營銷。請問，這種數據采集方式會不會受到法律保護？請說明原因。單元一數據采集認知三、數據采集的方法網頁數據采集系統日志數據采集數據庫采集報表采集調查問卷采集單元一數據采集認知網頁數據采集在采集行業(yè)及競爭對手數據時，在電商平臺上的一些數據，諸如商品屬性數據（商品結構和標題、品牌、價格、銷量、評價），可以直接進行摘錄或使用火車采集器、八爪魚采集器等爬蟲采集工具進行采集。單元一數據采集認知系統日志數據采集在網站日志中記錄了訪客IP地址、訪問時間、訪問次數、停留時間、訪客來源等數據。通過對這些日志信息進行采集、分析，可以挖掘電子商務企業(yè)業(yè)務平臺日志數據中的潛在價值。數據庫采集通過數據庫采集系統直接與企業(yè)業(yè)務后臺服務器結合，將企業(yè)業(yè)務后臺每時每刻產生的大量業(yè)務記錄到數據庫中，最后由特定的處理系統進行數據分析。單元一數據采集認知報表采集一些獨立站點可能沒有如每天咨詢客戶數、訂單數等數據指標統計功能，在進行數據采集時可以通過每日、每周的工作報表進行相應的數據采集。單元一數據采集認知調查問卷采集在對用戶需求、習慣、喜好、產品使用反饋等數據進行采集時，常常會用到調查問卷，數據采集人員通過設計具有針對性的問卷，采用實地走訪、電話溝通、網絡填表等方式進行信息采集。單元一數據采集認知四、數據采集的步驟確定采集范圍及人員分工1進行數據采集前首先需要根據數據采集目標進行分析，明確數據采集的指標范圍和時間范圍。接著明確這些數據需要從哪些途徑及部門采集，最后確定參與部門和人員配備。單元一數據采集認知建立必要的數據指標規(guī)范，并完成數據采集2在進行數據采集前，還需要用數據指標對數據進行唯一性標識，并且貫穿在之后的數據查詢、分析和應用過程中。建立數據指標規(guī)范是為了使后續(xù)工作有可以遵循的原則，也為龐雜的數據分析工作確定了可以識別的唯一標識。單元一數據采集認知數據檢查3完整性檢查準確性檢查規(guī)范性檢查完成數據采集后對數據進行復查或計算合計數據，將其和歷史數據進行比較。同時還要檢查字段的完整性，保證核心指標數據完整。在進行數據采集錄入的過程中，可能會有個別數據出現錄入錯誤，可以通過平均、求和等操作與原始數據進行比對，如發(fā)現比對結果不匹配，則需要檢查出相應的錯誤數據。檢查采集的數據中是否存在有多個商品標識編碼相同或同一數據出現多個數據指標等。1+X考證提要單元一數據采集認知本單元需重點理解與掌握的內容（1）數據采集的原則:及時性、有效性、準確性、合法性。（2）數據采集的方法:網頁數據采集；系統日志數據采集；數據庫采集;報表采集；調查問卷采集。（3）數據采集的步驟:確定采集范圍及人員分工；建立必要的數據指標規(guī)范，并完成數據采集；數據檢查（完整性檢查、準確性檢查、規(guī)范性檢查)。版權聲明本課件版權歸屬北京博