數(shù)據(jù)新聞與信息可視化 課件 第二章 數(shù)據(jù)來源與生成邏輯

數(shù)據(jù)新聞與信息可視化數(shù)據(jù)來源與生成邏輯第二章目錄CONTENT01.數(shù)據(jù)新聞與可視化的數(shù)據(jù)來源02.數(shù)據(jù)的生成邏輯：研究設(shè)計(jì)與方法數(shù)據(jù)新聞與可視化的數(shù)據(jù)來源1.1獲取數(shù)據(jù)來源的入口1.2主要數(shù)據(jù)來源和獲取方式1.3數(shù)據(jù)來源的質(zhì)量評(píng)估和報(bào)告規(guī)范第一節(jié)使用搜索引擎。了解并熟悉數(shù)據(jù)來源的“地圖”。首先，需要建立在新聞選題與數(shù)據(jù)的關(guān)聯(lián)認(rèn)知上。其次，需要了解不同數(shù)據(jù)來源的特點(diǎn)和潛在價(jià)值。從已經(jīng)發(fā)表的數(shù)據(jù)新聞作品中獲取線索。工作中的日積月累。探索百度、谷歌等通用搜索引擎常常是獲取數(shù)據(jù)的第一步。使用“高級(jí)搜索”功能和一些搜索小技巧可以提高搜索效率?？梢允紫炔樵円幌乱酝l(fā)表的作品所引用的數(shù)據(jù)來源，并進(jìn)一步探索該數(shù)據(jù)如何可以得到新的運(yùn)用。除了“收藏”數(shù)據(jù)源，還應(yīng)當(dāng)多“探索”數(shù)據(jù)源，熟悉其構(gòu)成和特點(diǎn)，最好形成筆記。1.1獲取數(shù)據(jù)來源的入口1.2主要數(shù)據(jù)來源和獲取方式

原則含義1完整（complete）除非涉及國(guó)家安全、商業(yè)機(jī)密、個(gè)人隱私或其他特別限制，所有的政府?dāng)?shù)據(jù)都應(yīng)開放，以開放為原則，不開放為例外2一手（primary）開放從源頭采集到的一手?jǐn)?shù)據(jù)，盡可能保持?jǐn)?shù)據(jù)的高顆粒度，而不是開放被聚合、修改或加工過的數(shù)據(jù)3及時(shí)（timely）數(shù)據(jù)盡可能以最快速度發(fā)布，以保持?jǐn)?shù)據(jù)的價(jià)值4可獲?。╝ccessible）數(shù)據(jù)盡可能地拓寬用戶范圍和利用目的5可機(jī)器處理（machineprocessable）數(shù)據(jù)進(jìn)行合理的結(jié)構(gòu)化，使之可以被計(jì)算機(jī)處理6非歧視（non-discriminatory）數(shù)據(jù)對(duì)所有人都平等開放，無需注冊(cè)登記7非專屬（non-proprietary）數(shù)據(jù)以非專屬格式存在，從而使任何實(shí)體都不能獨(dú)占和排他8免授權(quán)（license-free）除非有合理的隱私、安全和特別限制，數(shù)據(jù)不受版權(quán)、專利、商標(biāo)或貿(mào)易秘密規(guī)則的約束1.政府與國(guó)際組織的公開數(shù)據(jù)1.2主要數(shù)據(jù)來源和獲取方式類型示例國(guó)際組織聯(lián)合國(guó)的數(shù)據(jù)搜索引擎：世界銀行的數(shù)據(jù)銀行：/home.aspx世界衛(wèi)生組織的數(shù)據(jù)平臺(tái)：/data國(guó)際電信聯(lián)盟的數(shù)據(jù)：/en/ITU-D/Statistics/Pages/stat/default.aspx外國(guó)政府美國(guó)政府的開放數(shù)據(jù)：英國(guó)政府的開放數(shù)據(jù)：.uk中國(guó)國(guó)家統(tǒng)計(jì)局收集的國(guó)外官方統(tǒng)計(jì)網(wǎng)站列表：http:///tjgz/wzlj/gwtjw/201311/t20131104_452221.html中國(guó)政府中國(guó)政府網(wǎng)數(shù)據(jù)：/shuju/中國(guó)國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)：中國(guó)國(guó)家統(tǒng)計(jì)局“國(guó)家數(shù)據(jù)”：中國(guó)裁判文書網(wǎng)：中國(guó)生態(tài)環(huán)境部發(fā)布的生態(tài)環(huán)境數(shù)據(jù)：/hjzl/中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布的網(wǎng)絡(luò)發(fā)展數(shù)據(jù)：地方政府上海市公共數(shù)據(jù)開放平臺(tái)：北京市政務(wù)數(shù)據(jù)資源網(wǎng)：/index.htm可以直接通過政府網(wǎng)站下載存儲(chǔ)或抓取采集，也可以通過信息公開申請(qǐng)、采訪等方式聯(lián)系獲取。1.2主要數(shù)據(jù)來源和獲取方式圖運(yùn)用企業(yè)數(shù)據(jù)揭示公司關(guān)系案例（來源：澎湃新聞）2.其他社會(huì)機(jī)構(gòu)、企業(yè)與社會(huì)組織的數(shù)據(jù)類型示例長(zhǎng)期型美國(guó)綜合社會(huì)調(diào)查數(shù)據(jù)（GSS）：中國(guó)綜合社會(huì)調(diào)查數(shù)據(jù)（CGSS）：專題型霍普金斯大學(xué)的新冠疫情數(shù)據(jù)：/map.html聚合型密歇根大學(xué)校際政治和社會(huì)研究聯(lián)盟（ICPSR）：中國(guó)學(xué)術(shù)調(diào)查數(shù)據(jù)資料庫(kù)：/index.php中國(guó)知網(wǎng)學(xué)術(shù)論文數(shù)據(jù)庫(kù)：3.學(xué)術(shù)科研機(jī)構(gòu)的數(shù)據(jù)4.新聞媒體、社會(huì)化媒體與其他網(wǎng)絡(luò)平臺(tái)的數(shù)據(jù)1.2主要數(shù)據(jù)來源和獲取方式圖社會(huì)化媒體數(shù)據(jù)運(yùn)用案例（來源：澎湃新聞）圖

網(wǎng)絡(luò)平臺(tái)用戶行為數(shù)據(jù)的應(yīng)用案例（來源：新一線）5.通過調(diào)查、采訪、實(shí)驗(yàn)等方式自建數(shù)據(jù)庫(kù)1.2主要數(shù)據(jù)來源和獲取方式圖

問卷調(diào)查數(shù)據(jù)應(yīng)用案例（來源：澎湃新聞）圖

現(xiàn)場(chǎng)采集數(shù)據(jù)案例（來源：澎湃新聞）圖仿真模擬應(yīng)用案例（來源：?jiǎn)袅▎袅ǎ?.利用“眾包”方式獲取數(shù)據(jù)1.2主要數(shù)據(jù)來源和獲取方式眾包最大的優(yōu)勢(shì)是充分利用集體智慧，降低了任務(wù)由單一機(jī)構(gòu)完成的成本。在數(shù)據(jù)新聞生產(chǎn)中，采用“眾包”方式獲取數(shù)據(jù)指動(dòng)員網(wǎng)民的力量共同參與數(shù)據(jù)的提供、查驗(yàn)和匯流，從而能夠聚合群體智慧，產(chǎn)生傳統(tǒng)方法無法獲得的效果。眾包是一種協(xié)作的群體生產(chǎn)行為圖

網(wǎng)民“眾包”的歷史記憶書寫（來源：澎湃新聞）關(guān)注數(shù)據(jù)的生成邏輯：質(zhì)量評(píng)估。關(guān)注數(shù)據(jù)的來源背景：公信力。公信力是由數(shù)據(jù)來源長(zhǎng)期建立的品牌與口碑。對(duì)數(shù)據(jù)來源進(jìn)行交叉驗(yàn)證。規(guī)范地報(bào)告數(shù)據(jù)來源和采集過程。（1）數(shù)據(jù)的生產(chǎn)目的是什么，是否公正；（2）數(shù)據(jù)的生成設(shè)計(jì)和方法（樣本、測(cè)量、執(zhí)行）是否符合科學(xué)研究規(guī)范；（3）數(shù)據(jù)的法律和倫理規(guī)范：是否遵守法律、是否遵循知情同意程序、是否侵犯公民個(gè)人隱私等。對(duì)于存在多個(gè)來源的數(shù)據(jù)，應(yīng)比較其數(shù)據(jù)生產(chǎn)的邏輯、過程和結(jié)果；或者通過查詢權(quán)威機(jī)構(gòu)、專家同行、以及人工重新計(jì)算等方式校正數(shù)據(jù)結(jié)果；并在分析、解釋中告知讀者數(shù)據(jù)交叉驗(yàn)證中發(fā)現(xiàn)的問題，給予讀者透明的態(tài)度。透明、開放的重要操作路徑就是真實(shí)、準(zhǔn)確、清晰地報(bào)告數(shù)據(jù)來源和采集過程。1.3數(shù)據(jù)來源的質(zhì)量評(píng)估和報(bào)告規(guī)范數(shù)據(jù)的生成邏輯：研究設(shè)計(jì)與方法2.1研究設(shè)計(jì)的主要內(nèi)容2.2主要的研究方法：質(zhì)化、量化與計(jì)算第二節(jié)預(yù)測(cè)：在對(duì)一個(gè)議題缺乏了解前所進(jìn)行的先期性、摸索性研究描述：“是什么”描述對(duì)象的基本分布、比例等情況，“怎么樣”則細(xì)致描述事物的細(xì)節(jié)。預(yù)測(cè)：根據(jù)已知信息，預(yù)測(cè)未知信息。2.1研究設(shè)計(jì)的主要內(nèi)容1.研究目的例如，在計(jì)劃運(yùn)用問卷調(diào)查方法采集數(shù)據(jù)之前，可以通過小范圍的意見征詢對(duì)調(diào)查問題進(jìn)行探索。例如，報(bào)告新冠肺炎感染人數(shù)的增長(zhǎng)。解釋：主要解釋事物形成的原因（causalexplanation），即“為什么”。例如，了解哪些因素影響疫情發(fā)展的狀況。例如，對(duì)疫情發(fā)展的未來趨勢(shì)做出預(yù)測(cè)。分析單位：數(shù)據(jù)采集和測(cè)量對(duì)象的單位類型。分析層次：研究所聚焦的社會(huì)現(xiàn)實(shí)（socialreality）的層次。2.1研究設(shè)計(jì)的主要內(nèi)容2.分析單位與層次個(gè)體（既可以是個(gè)人、也可以是一篇文章或一條帖子）、群體（如家庭、朋伴團(tuán)體）、組織（如企業(yè)、大學(xué)）、地區(qū)（如某個(gè)省份）、國(guó)家等。從微觀（如分析個(gè)體心理和行為）到宏觀（如分析社會(huì)結(jié)構(gòu)的影響）的連續(xù)性變換體系，是人數(shù)規(guī)模、空間大小、活動(dòng)范圍和時(shí)間長(zhǎng)度等的混合?；诓煌瑔挝粩?shù)據(jù)形成的分析結(jié)論不能簡(jiǎn)單地相互轉(zhuǎn)化：個(gè)體層次的分析結(jié)論不一定適用于集合層次，反之亦然。否則就犯“生態(tài)謬誤”（ecologicalfallacy）的錯(cuò)誤。單一時(shí)間點(diǎn)的橫截面數(shù)據(jù)（cross-sectionaldata）。多個(gè)時(shí)間點(diǎn)的縱貫數(shù)據(jù)（longitudinaldata）。2.1研究設(shè)計(jì)的主要內(nèi)容3.時(shí)間維度只有一個(gè)觀測(cè)和采集數(shù)據(jù)的時(shí)間點(diǎn)，每個(gè)對(duì)象只擁有一次數(shù)據(jù)。主要用于描述和分析一個(gè)時(shí)間點(diǎn)（一般是近期）的狀況。包括多個(gè)不同的時(shí)間點(diǎn)，研究對(duì)象總體或個(gè)體擁有多次數(shù)據(jù)。允許分析研究對(duì)象隨著時(shí)間變化的演變過程。趨勢(shì)（trend）數(shù)據(jù)：對(duì)多時(shí)點(diǎn)的數(shù)據(jù)采集針對(duì)總體進(jìn)行，可以對(duì)總體進(jìn)行歷時(shí)性變化的分析。同期群（cohort）數(shù)據(jù)：對(duì)多時(shí)點(diǎn)的數(shù)據(jù)采集針對(duì)特定的群體進(jìn)行，主要關(guān)注同齡人群體（世代）的歷時(shí)性變化，因此需要保持追蹤這一人群不變（但并不要求該群體內(nèi)部的個(gè)體保持不變）。固定樣組（panel）數(shù)據(jù)：對(duì)多時(shí)點(diǎn)數(shù)據(jù)采集的要求則最高，不但要求總體及人群不變，而且需要保持對(duì)同一批樣本的固定跟蹤。內(nèi)部效度：研究設(shè)計(jì)架構(gòu)能使我們根據(jù)結(jié)果得出清晰結(jié)論的程度。外部效度：則指研究結(jié)果能被推廣至特定研究之外的程度。2.1研究設(shè)計(jì)的主要內(nèi)容4.內(nèi)部與外部效度主要受到分析單位、時(shí)間維度、研究方法、測(cè)量質(zhì)量等的影響。例如，“生態(tài)謬誤”就有損研究效度，單一時(shí)間點(diǎn)的橫截面研究無法有效推論因果關(guān)系（發(fā)現(xiàn)兩個(gè)變量之間的相關(guān)，無法從時(shí)間性上排除雙向影響）、非實(shí)驗(yàn)性研究也無法有效推論因果關(guān)系（無法控制其他變量、排除替代性假設(shè)）、以及測(cè)量缺乏信度或效度對(duì)研究結(jié)論形成威脅等。主要受到研究方法、特別是抽樣的影響。例如，小規(guī)模的實(shí)驗(yàn)室實(shí)驗(yàn)、非隨機(jī)抽樣調(diào)查的外部效度顯著低于基于嚴(yán)格隨機(jī)抽樣的大樣本問卷調(diào)查、或基于全量數(shù)據(jù)的計(jì)算分析。2.1研究設(shè)計(jì)的主要內(nèi)容5.研究方法

質(zhì)化方法量化方法計(jì)算方法目標(biāo)建構(gòu)社會(huì)現(xiàn)實(shí)與文化意義測(cè)量客觀事實(shí)測(cè)量客觀事實(shí)焦點(diǎn)互動(dòng)過程、事件變量變量?jī)r(jià)值明顯中立中立研究者角色置身其中保持中立保持中立數(shù)據(jù)形式文字或圖片形式數(shù)字形式多模態(tài)形式（轉(zhuǎn)化為數(shù)字形式計(jì)算）采集方式人工為主人工為主機(jī)器為主樣本少數(shù)個(gè)案多個(gè)個(gè)案海量（全量）個(gè)案分析方式主題分析統(tǒng)計(jì)分析統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)非隨機(jī)抽樣：總體中的個(gè)案被抽中的概率并不相等2.1研究設(shè)計(jì)的主要內(nèi)容6.抽樣方式含義舉例方便型用任何方便的方式隨意抽取個(gè)案街頭攔截采訪目的型用不同方法獲取符合特定標(biāo)準(zhǔn)的個(gè)案通過詢問、請(qǐng)人介紹等方式聯(lián)系符合要求的訪談對(duì)象志愿者型采用招募方式獲得個(gè)案的主動(dòng)參與在網(wǎng)上發(fā)布報(bào)名通知滾雪球型通過一些初始被選個(gè)案不斷介紹新的個(gè)案先訪問一位農(nóng)民工，再請(qǐng)他（她）介紹幾位老鄉(xiāng)配額型從能反映總體多樣性的各個(gè)子群體中隨意選取預(yù)定數(shù)目的樣本將問卷分配到多個(gè)不同院系，回收足夠數(shù)量的問卷隨機(jī)抽樣：總體或代表總體的“抽樣框”中每個(gè)個(gè)案都有同等的概率被抽中2.1研究設(shè)計(jì)的主要內(nèi)容6.抽樣簡(jiǎn)單隨機(jī)抽樣：通過“抽簽”（針對(duì)少量個(gè)案）或隨機(jī)數(shù)（針對(duì)更多個(gè)案，可通過電腦生成隨機(jī)數(shù)、或根據(jù)隨機(jī)數(shù)表）的方式從總體的抽樣框中直接抽取出符合目標(biāo)樣本量的個(gè)案。系統(tǒng)隨機(jī)抽樣：由抽樣框中的第k個(gè)個(gè)案組成樣本，即將抽樣框中的所有個(gè)案排列編號(hào)（或者依據(jù)地理自然分布），根據(jù)總體與目標(biāo)樣本量的比值計(jì)算抽樣間距（samplinginterval）、并隨機(jī)選擇起點(diǎn)后，基于抽樣間距進(jìn)行抽樣。分層隨機(jī)抽樣：首先根據(jù)事先獲得的信息將總體劃分為若干個(gè)次總體（層），然后再根據(jù)簡(jiǎn)單或系統(tǒng)隨機(jī)抽樣的方法從各個(gè)層中抽取出符合比例的樣本。整群隨機(jī)抽樣：針對(duì)分散的總體等無法編制一個(gè)完整的抽樣框的情況，需要先采取將總體中的某些群（clusters）先整體抽取出來，然后在被抽中的群內(nèi)再進(jìn)行簡(jiǎn)單或系統(tǒng)隨機(jī)抽樣。質(zhì)化研究的非隨機(jī)抽樣：主要的評(píng)估標(biāo)準(zhǔn)是“理論飽和”或“信息飽和”。隨機(jī)抽樣：主要取決于研究精度、總體內(nèi)部差異、以及研究成本之間的平衡。2.1研究設(shè)計(jì)的主要內(nèi)容“理論飽和”指所抽取的樣本對(duì)于理解研究問題已經(jīng)達(dá)到的飽和程度，當(dāng)再增加新的樣本卻不能為研究問題增加新的理解時(shí)，就可以認(rèn)為達(dá)到了“理論飽和”；“信息飽和”與之類似，指引入新的樣本不再能增加新的信息供給。研究精度是主要因素，它意味著：在95%的置信度下，如果設(shè)定允許的最大抽樣誤差為5%，則最低樣本要求為384；如果允許的最大抽樣誤差為4%，則最低樣本要求為600；如果允許的最大抽樣誤差為3%，則最低樣本要求為1067。在置信度水平固定的情況下，抽樣誤差的下降與樣本量的增長(zhǎng)是非線性的負(fù)相關(guān)關(guān)系。6.抽樣概念化與操作化2.1研究設(shè)計(jì)的主要內(nèi)容操作化（operationalization）：將需要表達(dá)、但又無法直接觀測(cè)的概念轉(zhuǎn)化為可觀察、可測(cè)量的東西。7.操作化與測(cè)量“信度：測(cè)量的可靠性和穩(wěn)定性在相同或類似條件下（意味著沒有實(shí)際變化），運(yùn)用某個(gè)測(cè)量工具能夠得出相同的結(jié)果。再測(cè)法、次總體分析、多重指標(biāo)法等。“效度”：測(cè)量指標(biāo)與希望測(cè)量的概念之間的吻合程度對(duì)概念的操作化和測(cè)量多大程度上“真實(shí)”地反映了概念。表面效度、內(nèi)容效度、效標(biāo)效度、建構(gòu)效度（包括趨同效度及區(qū)別效度）訪談法（interview）觀察法（fieldobservation）通過（通常是在自然情境下的）觀看、傾聽和感受來認(rèn)識(shí)周圍世界（包括物理空間、環(huán)境和人的活動(dòng)）。實(shí)驗(yàn)室觀察vs.自然環(huán)境下的觀察；線下觀察vs.在線觀察；參與觀察vs.非參與觀察；結(jié)構(gòu)型觀察vs.無結(jié)構(gòu)型觀察；靜態(tài)觀察vs.動(dòng)態(tài)觀察；直接觀察vs.間接觀察等。（1）準(zhǔn)備階段：主要是確定觀察問題、制訂觀察計(jì)劃（提綱）；（2）實(shí)施階段：進(jìn)入現(xiàn)場(chǎng)、觀察的順序、方位、與被觀察者的互動(dòng)；（3）記錄：主要圍繞觀察目的和觀察提綱。通過有目的的訪問與談話去收集資料。結(jié)構(gòu)型訪談vs.無結(jié)構(gòu)型、半結(jié)構(gòu)型；正規(guī)型訪談vs.非正規(guī)型訪談；直接訪談vs.間接訪談；個(gè)別訪談vs.集體訪談。（1）準(zhǔn)備階段：確定研究問題、設(shè)計(jì)訪談提綱；抽樣并聯(lián)系訪談對(duì)象；（2）實(shí)施階段：提問（或追問）、傾聽（或回應(yīng)）、記錄。2.2主要的研究方法：質(zhì)化、量化與計(jì)算1.主要的質(zhì)化方法內(nèi)容分析法（contentanalysis）問卷調(diào)查法（survey）隨機(jī)抽樣，根據(jù)調(diào)查目的（概念）設(shè)計(jì)問卷，并由被訪者自我報(bào)告產(chǎn)生回答，對(duì)回答結(jié)果進(jìn)行統(tǒng)計(jì)分析。控制實(shí)驗(yàn)法（experiment）對(duì)檔案資料或其他統(tǒng)計(jì)資料的二手分析（existingfilesorstatistics）對(duì)文本內(nèi)容或圖片、影音作品隨機(jī)抽樣，