開題報告-跨社交媒體數(shù)據(jù)演化分析.docx

本科生畢業(yè)論文開題報告論文題目：跨社交媒體信息演化分析專 業(yè)：計算機科學(xué)與技術(shù)姓 名：學(xué) 號：指導(dǎo)教師：北京航空航天大學(xué)計算機學(xué)院2015年3月12日- 8 -北京航空航天大學(xué)計算機學(xué)院本科生畢業(yè)設(shè)計論文開題報告目 錄1選題背景與意義- 1 -2國內(nèi)外研究現(xiàn)狀及發(fā)展動態(tài)- 2 -2.1基于共同用戶的跨網(wǎng)絡(luò)分析和多源數(shù)據(jù)知識關(guān)聯(lián)挖掘- 2 -2.2基于共詞網(wǎng)絡(luò)社群的子話題識別與關(guān)聯(lián)分析- 2 -2.2.1中文分詞- 3 -2.2.2話題特征詞識別- 3 -2.2.3基于社群發(fā)現(xiàn)的子話題識別與關(guān)聯(lián)分析- 3 -3論文的研究內(nèi)容及擬采取的技術(shù)方案- 4 -3.1問題描述及研究目的- 4 -3.2主要研究內(nèi)容- 5 -3.3擬采取的技術(shù)方案- 5 -4關(guān)鍵技術(shù)與難點- 6 -5論文研究計劃- 7 -6主要參考文獻- 7 -跨社交媒體信息演化與關(guān)聯(lián)分析1 選題背景與意義隨著計算機網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，尤其Web2.0的壯大，互聯(lián)網(wǎng)上出現(xiàn)了大量由用戶主導(dǎo)生成內(nèi)容的互聯(lián)網(wǎng)產(chǎn)品、以用戶為中心的互動型社區(qū)，這類網(wǎng)站或者服務(wù)同時具有社交性以及媒體傳播性，其中為我們熟知的包括新浪微博、天涯論壇以及網(wǎng)易新聞騰訊新聞等。在這一類社交媒體中，每個人都可以是信息的制作者、發(fā)布者、傳播者和分享者，產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)不僅包含與每個人日常生活相關(guān)的信息，還有如針對社會熱點、區(qū)域事件的大量觀點和討論，使我們的生活由“信息時代”向“大數(shù)據(jù)時代”躍進。然而正如大數(shù)據(jù)的多源多樣性（Variety）和高速增長性（Velocity）所反映的，信息在不同社交媒體平臺下會體現(xiàn)出不同形態(tài)及演化規(guī)律，在不同時間段也會有不同反映，即使針對同一事件，不同平臺下所聚合的數(shù)據(jù)信息所表現(xiàn)的都會不同，例如，兩會期間微博上討論的主要熱點在各類提案討論分析等，而天涯論壇上反饋出來的熱點在于對“兩會精神”報道的官方通稿；但是在不同社交媒體平臺下的信息又并非孤立存在發(fā)展得，而是相互聯(lián)通傳播演化的，然而在傳統(tǒng)研究中，往往只針對單一信息源的數(shù)據(jù)進行分析，沒有能夠整合多源數(shù)據(jù)進行對比研究，也就不能夠更好的揭示信息演變過程，更好的利用信息價值；而如果我們將這些跨媒體的數(shù)據(jù)綜合起來進行分析，將能夠跟完整的表現(xiàn)這個世界，更好的貼近我們的生活；比如對微博網(wǎng)站的信息流、社交網(wǎng)站的評論、媒體分享網(wǎng)站的圖片和視頻進行分析，可以從不同角度跟蹤一個事件的進展和演變；所以對社交媒體多源現(xiàn)象進行研究，理解社交媒體下的多源數(shù)據(jù)，是挖掘社交媒體大數(shù)據(jù)價值的重要步驟；研究跨媒體下的信息演化和關(guān)聯(lián)情況對于發(fā)現(xiàn)新規(guī)律、更全面地利用社交媒體數(shù)據(jù)、設(shè)計復(fù)雜社交媒體分析和應(yīng)用等具有重要意義。論壇微博新聞時間對于同一事件，不同時間有a/b/c子話題aaaa、ba、bb、c、da、b、c跨媒體信息演化分析本文的工作在上述基礎(chǔ)上展開，基于多源信息對比演化分析的需求，主要對新浪微博、天涯論壇以及各類門戶新聞?wù)军c間的數(shù)據(jù)信息進行動態(tài)演化和關(guān)聯(lián)分析，設(shè)計并實現(xiàn)一個基于共詞系統(tǒng)的跨社交媒體話題演化分析。2 國內(nèi)外研究現(xiàn)狀及發(fā)展動態(tài)2.1 基于共同用戶的跨網(wǎng)絡(luò)分析和多源數(shù)據(jù)知識關(guān)聯(lián)挖掘在現(xiàn)有技術(shù)中，我們可以利用一些已知用戶來分析多源數(shù)據(jù)。稱同一個人在不同社交媒體網(wǎng)絡(luò)的用戶賬號為跨網(wǎng)絡(luò)的共同用戶，同一個人在不同網(wǎng)絡(luò)的行為信息為分析和應(yīng)用社交媒體多源數(shù)據(jù)提供了可能。一方面，用戶是社交媒體數(shù)據(jù)分析和應(yīng)用的主要對象，整合分散在不同社交媒體網(wǎng)絡(luò)的行為信息對于深入理解用戶具有重要意義；另一方面，通過同一個人與社交媒體多源數(shù)據(jù)的行為交互，我們可以挖掘社交媒體多源數(shù)據(jù)知識關(guān)聯(lián)，為協(xié)同分析和應(yīng)用提供了解決方案?；谶@樣一個跨社交媒體共同用戶的模型，我們可以通過對大量共同用戶在不同社交平臺下所產(chǎn)生的信息進行分析，將能夠明確不同社交媒體平臺下信息之間的演化關(guān)聯(lián)情況。例如，用戶A在天涯論壇上發(fā)帖曝光某地強拆信息，同時在微博是上也提起申訴，那么我們可以知道在這一件事情在兩個社交媒體平臺下各自的演化過程，同時了解事件的更多細節(jié)，最終反映出一個完整的輿情演化過程；再例如用戶B在天涯論壇上主要參與時政和體育類帖子的討論，那么在微博平臺下我們可以更好的個性化服務(wù)，推薦相關(guān)用戶給用戶。然而在對跨網(wǎng)絡(luò)用戶建模時，前提是已知目標用戶在不同社交媒體網(wǎng)絡(luò)的賬號對應(yīng)關(guān)系，在實際應(yīng)用時，同一用戶的多網(wǎng)絡(luò)賬號對應(yīng)已知是個非?？量痰臈l件。而且，不同社交媒體網(wǎng)絡(luò)的用戶不是一一對應(yīng)的，很多時候一個用戶并不會參與到所有的社交網(wǎng)絡(luò)中。出于這種考慮，人們提出通過采集的共同用戶對應(yīng)關(guān)系及其在各網(wǎng)絡(luò)的異質(zhì)行為，挖掘多源數(shù)據(jù)之間的知識層關(guān)聯(lián)，從而在應(yīng)用時擺脫對顯性賬號對應(yīng)的限制。傳統(tǒng)多模態(tài)數(shù)據(jù)一般假設(shè)存在公共的語義子空間，如某張照片、某段語音和某段文本描述同一個語義概念。因此多模態(tài)的關(guān)聯(lián)可以從底層進行，通過語義特征提取或子空間映射進行跨模態(tài)分析；然而社交媒體多源數(shù)據(jù)的內(nèi)容和關(guān)聯(lián)模式要復(fù)雜得多，單一的關(guān)聯(lián)準則很難普遍適用，因此需要利用采集的共同用戶賬號對應(yīng)關(guān)系及其在各網(wǎng)絡(luò)的交互行為作為高層監(jiān)督信息，來挖掘多源數(shù)據(jù)的知識關(guān)聯(lián)，具體做法是為每個社交媒體平臺做一個知識空間，知識空間中可以分為多個討論話題，通過共同用戶進行知識空間關(guān)聯(lián)挖掘的主要假設(shè)是: 如果有大量的用戶同時關(guān)注知識空間1 的主題A 和知識空間2 的主題B，那么主題A 和主題B 有很大可能是緊密關(guān)聯(lián)的。比如如果發(fā)現(xiàn)有大量的共同用戶在微博上轉(zhuǎn)發(fā)了A事件，同時又在天涯上討論了B事件，那么可以認為A、B這兩事件間一定存在某種關(guān)聯(lián)。2.2 基于共詞網(wǎng)絡(luò)社群的子話題識別與關(guān)聯(lián)分析在針對單源數(shù)據(jù)情形下，分析一個事件的演化時，我們以話題、子話題的形式對其進行研究，這樣事件信息的演化過程就可以通過話題討論的情況來展示；例如就單源社交媒體而言，結(jié)合大量用戶發(fā)表的文本內(nèi)容與時間屬性，挖掘和分析其中同一事件在不同時間段的討論焦點話題，可以了解輿情的發(fā)展趨勢，進行輿情話題的演化分析。而話題演化分析的主要目的是分析在不同時間段內(nèi)話題討論的子話題構(gòu)成以及子話題重要程度、子話題發(fā)展趨勢和話題遷移等，主要方法是結(jié)合社交媒體的文本特征，將共關(guān)鍵詞網(wǎng)絡(luò)泛化為一般共詞網(wǎng)絡(luò)，并以此為基礎(chǔ)利用共詞網(wǎng)絡(luò)社群表示子話題，探測和分析子話題演化過程，實現(xiàn)社交媒體話題演化分析。2.2.1 中文分詞中文分詞指的是將一個漢字序列切分成一個一個單獨的詞。中文分詞是文本挖掘的基礎(chǔ)，對于輸入的一段中文，成功的進行中文分詞，可以達到電腦自動識別語句含義的效果。例如對于詞語“二胎政策”，其包含兩個基本詞匯：“二胎”、“政策”。利用現(xiàn)已有的中文分詞技術(shù)，已經(jīng)能夠較為準確的實現(xiàn)中文分詞、中文姓名識別等效果，這為劃分特征詞提供的基本保障。2.2.2 話題特征詞識別因為社交媒體中的主要信息由普通用戶撰寫得到，用詞較為口語化，也存在表情符號、網(wǎng)絡(luò)用語等不規(guī)范形式，所以社交媒體信息中的話題特征詞是指用戶生成內(nèi)容中能夠反映話題內(nèi)容、具有明確語義的詞匯。并且隨著時間推移，話題的關(guān)注點通常會有所變化，即在不同時間段事件的話題特征詞會發(fā)生變化。在識別話題特征詞時，須從不同時間段的話題文檔集中針對性地選取特征詞，可以利用TF-IDF(term frequencyinverse document frequency, 一種用于信息搜索和信息挖掘的常用加權(quán)技術(shù))方法來計算特征詞的重要性權(quán)重，以此來選取不同話題時間段的話題特征詞。特征詞w的權(quán)重計算公式如下：tfidftsw=dDtstfw,d+0.5*logN+0.5dfw,Dts+0.5其中ts表示話題時間段,Dts表示話題時間段ts內(nèi)的文檔集,tfw,d表示文檔d中詞項w出現(xiàn)頻次,dfw,Dts表示話題文檔集Dts中詞項w出現(xiàn)的文檔數(shù)，N表示整個話題文檔集的文檔數(shù)量。通過該權(quán)重公式，我們可以選擇那些在某一時間段出現(xiàn)次數(shù)較多，但在整個事件跨度內(nèi)出現(xiàn)較少的詞作為某一話題在某一時間段內(nèi)的特征詞。2.2.3 基于社群發(fā)現(xiàn)的子話題識別與關(guān)聯(lián)分析在識別出不同時間段話題特征詞后，根據(jù)特征詞在同一文本窗口中的共現(xiàn)關(guān)系，構(gòu)建共詞網(wǎng)絡(luò)，由于話題文檔集數(shù)據(jù)具有時間屬性，相應(yīng)的話題共詞網(wǎng)絡(luò)則為動態(tài)共詞網(wǎng)絡(luò)，并可按子話題的時間段進行切片。而按照人們的語言表達習(xí)慣，同一話題往往有一些類同的核心詞匯進行表達，例如對于AppleWatch的討論，人們會有“續(xù)航”、“土豪”、以及“健康”等描述詞匯，那么我們可以通過挖掘共詞網(wǎng)絡(luò)，發(fā)現(xiàn)用于表達同一事件或話題的核心詞匯集合我們稱之為社群，目前較為流行的社群發(fā)現(xiàn)算法有許多種，例如Louvain算法，該算法是一種基于模塊度最優(yōu)化思想的啟發(fā)式算法，其特點在于：1.自底向上、層級性劃分社團，較為合乎客觀規(guī)律，所得結(jié)果的解釋性較強；2.計算所支持的節(jié)點數(shù)量規(guī)模較大，蘋果奢侈品手表可穿戴設(shè)備續(xù)航屏幕健康可用于大規(guī)模網(wǎng)絡(luò)的社團劃分且效率較高。通過對一段時間類不同時間段下的信息進行分析，會發(fā)現(xiàn)一些持續(xù)存在的話題特征詞以及一些相近的子話題，在分析話題演化的過程中，首先需要識別出不同時間段子話題的關(guān)聯(lián)關(guān)系，以探索子話題即事件脈絡(luò)的發(fā)展軌跡。利用共詞網(wǎng)絡(luò)社群來表示子話題還有另外一個方便，就是在社群模型中，只有點和邊兩個結(jié)構(gòu)，只需通過節(jié)點和邊的匹配程度就可以計算兩個模型的相似性。在識別出不同時間段兩個不同社群后，可計算兩者之間的相似性大小，并設(shè)置一個具體的閥值，確定兩個社群是否相似，從而判斷子話題之間的相似性，將不同時間段的相同或者相關(guān)子話題識別出來。3 論文的研究內(nèi)容及擬采取的技術(shù)方案3.1 問題描述及研究目的通過對國內(nèi)外研究現(xiàn)狀的分析，針對現(xiàn)實需求，對跨社交媒體的信息演化提出以下問題：1. 不同社交媒體的信息形式，傳播演化形式有何區(qū)別？對于各類新聞網(wǎng)站的數(shù)據(jù)，其格式較為統(tǒng)一：時間，地點，人物，事件，來源等，且其標題具有概括性，可以比較準確的提取出關(guān)鍵信息，可以作為話題的一個劃分標準。對于論壇，大部分為長內(nèi)容的帖子，通常描述較為口語化，信息含量較低，所以對于這一部分數(shù)據(jù)信息，關(guān)鍵詞、話題的提取準確度需要提高；對于微博，由于字數(shù)限制，還有用戶群龐大，所以信息較雜，不過針對某一話題，往往帶有#話題標簽#，所以能給話題分類帶來幫助。另外，對于新聞，具有很強的時效性，往往一段時間之后人們的評論數(shù)就會下降，同樣對于論壇的帖子數(shù)據(jù)，往往一段時間之后就會自動排到熱度新鮮度排名較后的頁面，而對于微博數(shù)據(jù)，由于轉(zhuǎn)發(fā)的影響，所以一個話題信息存在時間會更長。2. 如何區(qū)分事件熱度？對于一個事件，如果僅在一個平臺下討論或者傳播，那么在本項目中認為其信息價值較低，更關(guān)注那些在不同平臺下均有討論的事件。分別針對單一平臺，我們可以保留選取諸如閱讀量，回復(fù)數(shù)，點贊量，轉(zhuǎn)發(fā)量，評論數(shù)等，這樣可以更有效準確的的表現(xiàn)事件的總體受關(guān)注度。3. 如何進行子話題關(guān)聯(lián)？由于采集到的數(shù)據(jù)為文本信息，針對每一個平臺，對文本進行中文分詞，找出某一時間/某一文本段中的“熱詞”，在選取特征詞，進而進行特征詞匹配，如果在相近的時間閾值類，其特征詞匹配度高于某一值，則可認為這是描述同一事件或者衍生話題。4. 如何突出信息演化的跨平臺特性？目前的技術(shù)往往針對單一社交媒體，并且技術(shù)已經(jīng)相當成熟，例如針對微博的話題檢測與跟蹤(TDT, Topic Detection and Tracking)技術(shù)已經(jīng)有了充分運用，但是對于多源數(shù)據(jù)的分析處理方面還有欠缺，例如一個新聞話題，可能最初在天涯上曝光，然后有人轉(zhuǎn)述到微博平臺，然后新聞網(wǎng)站報道了此事，然后此事又在天涯、微博上引發(fā)二次討論和傳播，如果我們要梳理事件發(fā)展，那么必須要將三個平臺的信息集合起來，才能得出準確的脈絡(luò)；并且由于用戶群的差別以及信息傳播的差異，不同平臺下人們對于某一事件的態(tài)度會有區(qū)別，通過分析可以找出這種差異。當我們分析某一事件（話題、子話題）時，需要結(jié)合其來源以及時間信息進行深度對比。3.2 主要研究內(nèi)容針對上述問題和研究目標，有以下三點研究內(nèi)容：1. 不同平臺信息性質(zhì)及演化機制差異采取爬蟲方式，首先使獲取的數(shù)據(jù)格式統(tǒng)一（時間，事件，關(guān)注度，以及人們的討論等文本信息），同時分析其文本特性差異，方便提高特征詞（話題）識別時的準確度和效率；同時針對不同社交媒體，其信息演化機制會存在差異，例如微博上某個子話題“上頭條”可能來自“大V效應(yīng)”，而天涯論壇可能需要貼合百姓生活，引發(fā)廣泛談?wù)摬⒈话嬷髦庙?，對于新聞評論，則沒有明顯的可能導(dǎo)致廣泛關(guān)注的原因。2. 事件特征詞識別與子話題關(guān)聯(lián)分析針對同一事件，需要選取一定量的特征詞用于描述，并且在事件演化過程中隨時間推移，特征詞往往是動態(tài)變化的，人們討論的子話題也是轉(zhuǎn)移和變換的，基于跨媒體的文本數(shù)據(jù)，準確的識別特征詞，關(guān)聯(lián)時間子話題，是分析研究時間演化的基礎(chǔ)。同時，由于社交平臺差異，如何實現(xiàn)跨媒體的子話題關(guān)聯(lián)分析，不僅需要關(guān)鍵詞匹配，還要結(jié)合更多的信息，才能保證準確度。3. 跨媒體的話題信息演化分析針對單一媒體的話題演化追蹤，我們只需要對其數(shù)據(jù)按時間切片即可，然后進行特征詞選取，子話題關(guān)聯(lián)分析，然后進行更深的信息演化分析，然而結(jié)合跨媒體信息，那么還要加入不同平臺數(shù)據(jù)的比對和關(guān)聯(lián)分析，所以在數(shù)據(jù)融合的同時又要考慮各平臺的獨立性和差異性。3.3 擬采取的技術(shù)方案根據(jù)研究的總體目標并結(jié)合當前的研究現(xiàn)狀，下面給出初步的設(shè)計思路和系統(tǒng)方案。上圖展示的是初步的系統(tǒng)設(shè)計結(jié)構(gòu)圖。主要分為三個層次；其作用分別如下：數(shù)據(jù)采集層：這一層主要是用于數(shù)據(jù)采集，在本項目中，我們不必采用實時系統(tǒng)方案，而只是采集一定時間段內(nèi)的跨平臺數(shù)據(jù)，同時保證數(shù)據(jù)格式上的統(tǒng)一，并且人工分析各平臺的文本信息特點，結(jié)合特點方便查找特征詞。話題關(guān)聯(lián)分析層：這一層主要工作是對于跨媒體文本信息的特征詞提取以及跨媒體間的子話題匹配關(guān)聯(lián)分析，對于不同社交媒體平臺，可能需要不同的算法，以提高準確度，在已有的技術(shù)基礎(chǔ)上，結(jié)合研究目的、平臺差異，思考事件的準確表達形式。跨媒體的信息演化分析層：在分析完同一事件在不同社交媒體平臺下的話題關(guān)聯(lián)之后，以關(guān)聯(lián)話題為基準，融合跨平臺數(shù)據(jù)，展示信息的演化過程，同時又要將各平臺特性區(qū)分開，使整個演化過程清晰、準確。4 關(guān)鍵技術(shù)與難點根據(jù)論文第三章闡述得研究內(nèi)容及擬采用技術(shù)方案，跨社交媒體信息演化分析中可能運用的關(guān)鍵技術(shù)及難點包括以下幾點：1. 數(shù)據(jù)采集及存儲由于網(wǎng)頁差異，以及文本內(nèi)容、格式差異，每個平臺的數(shù)據(jù)采集需要針對每一個平臺做出相應(yīng)調(diào)整。例如，針對新聞?wù)军c，標題比正文重要，而對于論壇內(nèi)容，需要對一些重復(fù)的樓層進行剔除。2. 跨媒體的特征詞提取考慮平臺差異性，需要研究每個平臺下的文本特性，提高關(guān)鍵特征詞的準確率。3. 跨媒體的話題關(guān)聯(lián)對于單源數(shù)據(jù)的話題關(guān)聯(lián)識別已經(jīng)有較為成功的方法，但跨媒體間數(shù)據(jù)存在本身的差異性，需要保證準確度的情況下將不同平臺的數(shù)據(jù)融合，事件進行關(guān)聯(lián)。4. 跨媒體信息對比由于各社交媒體的自身特性，及用戶群的差異，每個平臺下用戶所關(guān)注的時間存在差異，對同一事物的關(guān)心程度、關(guān)心方面以及個人意見和評價都不一樣，如何分析跨媒體的特點需要足夠的文本信息。5. 跨媒體的話題演化在演化過程中，需要結(jié)合事件或者話題的時間屬性，對于跨媒體的事件，需要融合數(shù)據(jù)，統(tǒng)一展現(xiàn)，需要分別表示其在各單源社交媒體下的特點。5 論文研究計劃周主題目標2、3數(shù)據(jù)采集聯(lián)合組內(nèi)同學(xué)，完善爬蟲4整合數(shù)據(jù)數(shù)據(jù)融合5、6關(guān)鍵詞分析，子話題分析能較準確找出關(guān)鍵詞并做到子話題的識別7、8話題演化分析結(jié)合平臺特征、時間特征，能分析事件跨平臺演化過程9、10、11設(shè)計展示論文撰寫文章翻譯做基本優(yōu)化，并且能達到展示效果，完成論文6 主要參考文獻1. 王巍;基于關(guān)鍵詞和時