第一屆自然語言處理與中文計算會議課件

微博情感分析評測總結(jié)第一屆自然語言處理與中文計算會議2019年4月21日1北京大學計算機科學技術(shù)研究所2蘇州大學計算機科學與技術(shù)學院3哈工大深圳研究生院計算機科學與技術(shù)學科部xxxxxx1關(guān)注我唄2019年4月21微博情感分析評測總結(jié)第一屆自然語言處理與中文計算會議2019任務設(shè)置觀點句識別情感傾向性判斷針對觀點句情感要素抽取針對觀點句2關(guān)注我唄2019年4月21任務設(shè)置觀點句識別2關(guān)注我唄2019年4月21數(shù)據(jù)集來自騰訊微博數(shù)據(jù)原始數(shù)據(jù)集20話題主要是熱門事件，如“三亞春節(jié)宰客”約17500條微博約32000個句子3關(guān)注我唄2019年4月21數(shù)據(jù)集來自騰訊微博數(shù)據(jù)3關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標注三標注者對同一數(shù)據(jù)標注數(shù)據(jù)集大小2023條微博3416個句子1209個非觀點句2207個觀點句407正面、1766負面、34其他2361個對象441正面、1910負面、10其他4關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標注4關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準關(guān)于觀點句個人意愿、心情不是觀點句，如“我感到很高興”表達了明顯觀點的反問句屬于觀點句，如“體育競技有不殘酷的嗎？”關(guān)于觀點句傾向性正面、負面，其他(Other)三類，“其他”表示中性或無法確定正負的情況不進行5關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準5關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準關(guān)于觀點句情感對象情感對象優(yōu)先從當前句子抽取，但可以跨越當前句子從前面的句子或后面的句子中抽取（前面的鄰近句子優(yōu)先）情感對象盡可能完整和明確，事件按細粒度標注：

“ipad的屏幕很棒！”->“ipad的屏幕”

“官二代陶汝坤:作案動機極其卑劣”->“作案動機”對象本身不是情感表達：”#官二代求愛不成將少女毀容#這種畜生是怎么被教育出來的?。。。?！”->“官二代”人稱代詞需要盡可能在當前微博內(nèi)進行指代消解：

“小明就讀于北京大學，他是名優(yōu)秀的學生?！?>”小明“抽取出句子中每個情感片段所對應的情感對象：

“你根本已經(jīng)不是個人了，你比蛇還冷血，你比畜生還畜生?！?>“你”“你”“你”6關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準6關(guān)注我唄2019年4月21參評單位34支隊伍包括全國重點高校與科研機構(gòu)觀點句識別：53組情感傾向判斷：48組情感對象抽取：22組7關(guān)注我唄2019年4月21參評單位34支隊伍7關(guān)注我唄2019年4月21觀點句識別任務要求識別每條微博中各個句子是觀點句還是非觀點句評價標準準確率、召回率、F值微平均宏平均8關(guān)注我唄2019年4月21觀點句識別任務要求8關(guān)注我唄2019年4月21觀點句識別微平均9關(guān)注我唄2019年4月21觀點句識別微平均9關(guān)注我唄2019年4月21觀點句識別微平均10關(guān)注我唄2019年4月21觀點句識別微平均10關(guān)注我唄2019年4月21觀點句識別宏平均11關(guān)注我唄2019年4月21觀點句識別宏平均11關(guān)注我唄2019年4月21觀點句識別宏平均12關(guān)注我唄2019年4月21觀點句識別宏平均12關(guān)注我唄2019年4月21情感傾向性判斷任務要求判斷微博中每條觀點句的情感傾向正面、負面、其他評價標準準確率、召回率、F值微平均宏平均13關(guān)注我唄2019年4月21情感傾向性判斷任務要求13關(guān)注我唄2019年4月21情感傾向性判斷微平均14關(guān)注我唄2019年4月21情感傾向性判斷微平均14關(guān)注我唄2019年4月21情感傾向性判斷微平均15關(guān)注我唄2019年4月21情感傾向性判斷微平均15關(guān)注我唄2019年4月21情感傾向性判斷宏平均16關(guān)注我唄2019年4月21情感傾向性判斷宏平均16關(guān)注我唄2019年4月21情感傾向性判斷宏平均17關(guān)注我唄2019年4月21情感傾向性判斷宏平均17關(guān)注我唄2019年4月21情感要素抽取任務要求找出微博中每條觀點句作者的評價對象判斷針對情感對象的觀點極性評價標準精確評價寬松評價準確率、召回率、F值18關(guān)注我唄2019年4月21情感要素抽取任務要求18關(guān)注我唄2019年4月21情感要素抽取嚴格評價微平均19關(guān)注我唄2019年4月21情感要素抽取嚴格評價19關(guān)注我唄2019年4月21情感要素抽取嚴格評價微平均20關(guān)注我唄2019年4月21情感要素抽取嚴格評價20關(guān)注我唄2019年4月21情感要素抽取嚴格評價宏平均21關(guān)注我唄2019年4月21情感要素抽取嚴格評價21關(guān)注我唄2019年4月21情感要素抽取嚴格評價宏平均22關(guān)注我唄2019年4月21情感要素抽取嚴格評價22關(guān)注我唄2019年4月21情感要素抽取寬松評價微平均23關(guān)注我唄2019年4月21情感要素抽取寬松評價23關(guān)注我唄2019年4月21情感要素抽取寬松評價微平均24關(guān)注我唄2019年4月21情感要素抽取寬松評價24關(guān)注我唄2019年4月21情感要素抽取寬松評價宏平均25關(guān)注我唄2019年4月21情感要素抽取寬松評價25關(guān)注我唄2019年4月21情感要素抽取寬松評價宏平均26關(guān)注我唄2019年4月21情感要素抽取寬松評價26關(guān)注我唄2019年4月21小結(jié)微博情感分析相當具有挑戰(zhàn)性不同于產(chǎn)品評論數(shù)據(jù)，微博數(shù)據(jù)領(lǐng)域多樣，話題廣泛，表達自由本次評測中微博觀點句識別、傾向性分析的最好結(jié)果F值接近于80%，情感要素抽取的最好結(jié)果精確評價F值接近于30%，比預想的結(jié)果要好，但仍有較大的提升空間本次評測的標注數(shù)據(jù)可作為相關(guān)研究的科研數(shù)據(jù)，已免費公開發(fā)布標注規(guī)范和任務設(shè)置有待進一步的改進27關(guān)注我唄2019年4月21小結(jié)微博情感分析相當具有挑戰(zhàn)性27關(guān)注我唄2019年4月2128關(guān)注我唄2019年4月2128關(guān)注我唄2019年4月21致謝感謝騰訊微博提供數(shù)據(jù)！感謝北京大學、蘇州大學、哈工大深圳研究生院的老師和同學進行數(shù)據(jù)標注與測評！感謝評測參與單位的支持和意見反饋！29關(guān)注我唄2019年4月21致謝感謝騰訊微博提供數(shù)據(jù)！29關(guān)注我唄2019年4月2130關(guān)注我唄2019年4月2130關(guān)注我唄2019年4月21微博情感分析評測總結(jié)第一屆自然語言處理與中文計算會議2019年4月21日1北京大學計算機科學技術(shù)研究所2蘇州大學計算機科學與技術(shù)學院3哈工大深圳研究生院計算機科學與技術(shù)學科部xxxxxx31關(guān)注我唄2019年4月21微博情感分析評測總結(jié)第一屆自然語言處理與中文計算會議2019任務設(shè)置觀點句識別情感傾向性判斷針對觀點句情感要素抽取針對觀點句32關(guān)注我唄2019年4月21任務設(shè)置觀點句識別2關(guān)注我唄2019年4月21數(shù)據(jù)集來自騰訊微博數(shù)據(jù)原始數(shù)據(jù)集20話題主要是熱門事件，如“三亞春節(jié)宰客”約17500條微博約32000個句子33關(guān)注我唄2019年4月21數(shù)據(jù)集來自騰訊微博數(shù)據(jù)3關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標注三標注者對同一數(shù)據(jù)標注數(shù)據(jù)集大小2023條微博3416個句子1209個非觀點句2207個觀點句407正面、1766負面、34其他2361個對象441正面、1910負面、10其他34關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標注4關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準關(guān)于觀點句個人意愿、心情不是觀點句，如“我感到很高興”表達了明顯觀點的反問句屬于觀點句，如“體育競技有不殘酷的嗎？”關(guān)于觀點句傾向性正面、負面，其他(Other)三類，“其他”表示中性或無法確定正負的情況不進行35關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準5關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準關(guān)于觀點句情感對象情感對象優(yōu)先從當前句子抽取，但可以跨越當前句子從前面的句子或后面的句子中抽?。ㄇ懊娴泥徑渥觾?yōu)先）情感對象盡可能完整和明確，事件按細粒度標注：

“ipad的屏幕很棒！”->“ipad的屏幕”

“官二代陶汝坤:作案動機極其卑劣”->“作案動機”對象本身不是情感表達：”#官二代求愛不成將少女毀容#這種畜生是怎么被教育出來的?。。。?！”->“官二代”人稱代詞需要盡可能在當前微博內(nèi)進行指代消解：

“小明就讀于北京大學，他是名優(yōu)秀的學生?！?>”小明“抽取出句子中每個情感片段所對應的情感對象：

“你根本已經(jīng)不是個人了，你比蛇還冷血，你比畜生還畜生?！?>“你”“你”“你”36關(guān)注我唄2019年4月21數(shù)據(jù)集標注標準6關(guān)注我唄2019年4月21參評單位34支隊伍包括全國重點高校與科研機構(gòu)觀點句識別：53組情感傾向判斷：48組情感對象抽?。?2組37關(guān)注我唄2019年4月21參評單位34支隊伍7關(guān)注我唄2019年4月21觀點句識別任務要求識別每條微博中各個句子是觀點句還是非觀點句評價標準準確率、召回率、F值微平均宏平均38關(guān)注我唄2019年4月21觀點句識別任務要求8關(guān)注我唄2019年4月21觀點句識別微平均39關(guān)注我唄2019年4月21觀點句識別微平均9關(guān)注我唄2019年4月21觀點句識別微平均40關(guān)注我唄2019年4月21觀點句識別微平均10關(guān)注我唄2019年4月21觀點句識別宏平均41關(guān)注我唄2019年4月21觀點句識別宏平均11關(guān)注我唄2019年4月21觀點句識別宏平均42關(guān)注我唄2019年4月21觀點句識別宏平均12關(guān)注我唄2019年4月21情感傾向性判斷任務要求判斷微博中每條觀點句的情感傾向正面、負面、其他評價標準準確率、召回率、F值微平均宏平均43關(guān)注我唄2019年4月21情感傾向性判斷任務要求13關(guān)注我唄2019年4月21情感傾向性判斷微平均44關(guān)注我唄2019年4月21情感傾向性判斷微平均14關(guān)注我唄2019年4月21情感傾向性判斷微平均45關(guān)注我唄2019年4月21情感傾向性判斷微平均15關(guān)注我唄2019年4月21情感傾向性判斷宏平均46關(guān)注我唄2019年4月21情感傾向性判斷宏平均16關(guān)注我唄2019年4月21情感傾向性判斷宏平均47關(guān)注我唄2019年4月21情感傾向性判斷宏平均17關(guān)注我唄2019年4月21情感要素抽取任務要求找出微博中每條觀點句作者的評價對象判斷針對情感對象的觀點極性評價標準精確評價寬松評價準確率、召回率、F值48關(guān)注我唄2019年4月21情感要素抽取任務要求18關(guān)注我唄2019年4月21情感要素抽取嚴格評價微平均49關(guān)注我唄2019年4月21情感要素抽取嚴格評價19關(guān)注我唄2019年4月21情感要素抽取嚴格評價微平均50關(guān)注我唄2019年4月21情感要素抽取嚴格評價20關(guān)注我唄2019年4月21情感要素抽取嚴格評價宏平均51關(guān)注我唄2019年4月21情感要素抽取嚴格評價21關(guān)注我唄2019年4月21情感要素抽取嚴格評價宏平均52關(guān)注我唄2019年4月21情感要素抽取嚴格評價22關(guān)注我唄2019年4月21情感要素抽取寬松評價微平均53關(guān)注我唄2019年4月21情感要素抽取寬松評價23關(guān)注我唄2019年4月21情感要素抽取寬松評價微平均54關(guān)注我唄2019年4月21情感要素抽取寬松評價24關(guān)注我唄2019年4月21情感要素抽取寬松評價宏平均55關(guān)注我唄2019年4月21情感要素抽取寬松評價25關(guān)注我唄2019年4月21情感要素抽取寬松評價宏平均56關(guān)注我唄2019年4月21情感要素抽取寬松評價26關(guān)注我唄2019年4月21小結(jié)微博情感分析相當具有挑戰(zhàn)性不同于產(chǎn)品評論數(shù)據(jù)，微博數(shù)據(jù)領(lǐng)域多樣，話題廣泛，表達自由本次評測中微博觀點句識別、傾向性分析的最好結(jié)果F值接近于80%，情感要素抽取的最好結(jié)果精確評價F值接近于30%，比預想的結(jié)果要好，但仍有較