社交媒體大數(shù)據(jù)

UCAScholarVS當(dāng)你進行學(xué)術(shù)調(diào)研或者相關(guān)的信息搜索時…當(dāng)你老板面帶微笑和你商量開題的事情時…當(dāng)師兄師姐們把下次周會的任務(wù)交給你時…課題背景2.在信息的呈現(xiàn)方式上，不夠人性化…1.國內(nèi)的學(xué)術(shù)搜索引擎，效果普遍不好…3.在信息的利用方式上，還可以做得更好…課題摘要2.使用可視分析的手段提升檢索體驗1.結(jié)合文本和學(xué)術(shù)網(wǎng)絡(luò)的綜合信息來輔助檢索3.首次基于圖數(shù)據(jù)庫與RDF打造學(xué)術(shù)搜索引擎人員分工楊龍飛：文獻(xiàn)數(shù)據(jù)的收集，特征提取祖婷婷：數(shù)據(jù)清洗，數(shù)據(jù)庫建立與維護陳新蕾：可視化分析，UI/UE設(shè)計周可人：架構(gòu)設(shè)計與開發(fā)，數(shù)據(jù)查詢張瀟：Centrality相關(guān)算法實現(xiàn)曾鋼：Community相關(guān)算法實現(xiàn)盛柯愷：文本信息提取，算法調(diào)研，文檔整理階段進展文獻(xiàn)數(shù)據(jù)的收集和數(shù)據(jù)庫方面…數(shù)據(jù)的屬性描述具體的數(shù)字url：10012，數(shù)據(jù)節(jié)點：6302關(guān)系：14322階段進展ACM數(shù)據(jù)庫網(wǎng)站數(shù)據(jù)爬取框架設(shè)計，實現(xiàn)多線程深度爬取數(shù)據(jù)。避免被封IP等五種實體標(biāo)簽抽取，實體的每個標(biāo)簽需要進行一個單獨網(wǎng)頁的抽取。此過程中共進行了10個頁面和17種不同標(biāo)簽的抽取。數(shù)據(jù)庫與文件的寫入：將數(shù)據(jù)轉(zhuǎn)化為對應(yīng)的實體，寫入neo4j數(shù)據(jù)庫和txt文檔（避免后期重復(fù)爬?。╇A段進展數(shù)據(jù)庫設(shè)計與更新維護查詢數(shù)據(jù)庫中的邊緣節(jié)點和部分屬性為空的節(jié)點，將查詢到的節(jié)點保存到對應(yīng)的txt文檔中。將需要更新的節(jié)點，逐一檢查頁面標(biāo)簽，進行特殊程序爬取和人工數(shù)據(jù)錄入。因為邊緣節(jié)點太大，程序?qū)崿F(xiàn)多人，多機同步爬取。將需要更新的實體及關(guān)系寫txt文檔。將上一步的得到文檔合并，并寫程序更新數(shù)據(jù)庫，防止數(shù)據(jù)庫實體屬性和邊的關(guān)系插入重復(fù)。階段進展插入數(shù)據(jù)格式結(jié)果階段進展架構(gòu)設(shè)計與功能交互…AuthorConferenceDomainYearPaperPaperAttendingAuthorhasCiteConferencehasPublishinFeatureSimilarCommunityBelongtoWebServiceRESTAPIJSONUCASScholarSearchVisualizationRoutetoentityAuthorCypherJDBCDBWebCrawlerConferencePaperQueryProcesserDataProcesserACMDigitalLibraryDBLPIndexBuilderContentFilterCypherPageRankBetweenessCommunitySimilarityShortestPathContextMiningGRAPHDATA解決方案TEXTDATABasicSearchDynamicCitationNetworksAuthorSimilarityResearchInterestsAuthorCommunityDomainInteractionDomainEvolution階段進展學(xué)術(shù)數(shù)據(jù)的處理和算法模型的構(gòu)建方面…CentralityCalculationCommunityDetectionTextDataMining后續(xù)計劃2.完善界面和功能流程，展示更多的信息…1.擴充數(shù)據(jù)，捕獲更多信