案例沙龍年貨datafun

1、machine learning/nlp for extraction使用機(jī)器學(xué)習(xí)/NLP來(lái)提取(感興趣的)數(shù)據(jù)點(diǎn)Overall challenge大數(shù)據(jù)的興起大部分?jǐn)?shù)據(jù)都是非結(jié)構(gòu)化的, 如何理解這些數(shù)據(jù)? 如何利用這些數(shù)據(jù)?對(duì)于圖像數(shù)據(jù)(對(duì)圖像數(shù)據(jù)進(jìn)行標(biāo)注, 對(duì)圖像進(jìn)行分類)對(duì)于文本數(shù)據(jù)Several kinds of data(requirements)幾種常見(jiàn)的數(shù)據(jù)(需求)1.用戶點(diǎn)擊網(wǎng)頁(yè),產(chǎn)生click log(結(jié)構(gòu)化數(shù)據(jù))2.一個(gè)網(wǎng)頁(yè)txt,想得到它的主題(運(yùn)行LDA)3.一個(gè)網(wǎng)頁(yè),很多內(nèi)容,但只有一部有用(?)Case study1(news)盡管里面有很多信息但我們只對(duì)某些信息感

2、興趣Regex(不能應(yīng)付表達(dá)的變種)因?yàn)檫@個(gè)例子很簡(jiǎn)單,如果我們能找到這句話,再使用Regex但這是下一步相似文檔與感興趣的點(diǎn)(廠家文案中成本部分所有的型號(hào))Case study1(news) ML, step1: get training data得到全集,利用rule確定大致位置Dump大致數(shù)據(jù)手工/半手工挑選過(guò)濾數(shù)據(jù)Case study1(news) ML, step2: Train model(benchmark)選擇幾個(gè)模型訓(xùn)練/對(duì)比/調(diào)整保存模型Case study1(news) machine learning, step3: Run it!運(yùn)行模型得到-語(yǔ)句Yes/No在簡(jiǎn)單的

3、語(yǔ)句上, 運(yùn)行Regex可以得到一個(gè)或多個(gè)數(shù)(number)Case study1wrap up(總結(jié))機(jī)器學(xué)習(xí)是一種從源/結(jié)果得到rule的方法步驟:整理原始數(shù)據(jù),(訓(xùn)練,對(duì)比模型),使用模型目前經(jīng)典的ML和DeepLearning有為數(shù)眾多的選擇也就是沒(méi)有一個(gè)one size fits for all的選擇感知類數(shù)據(jù)(圖像和語(yǔ)音)已經(jīng)是DL占統(tǒng)治地位DL對(duì)固定領(lǐng)域文本處理/分類有顯著優(yōu)勢(shì),開(kāi)放領(lǐng)域優(yōu)勢(shì)不太顯著(一詞多意的問(wèn)題etc)翻譯是一個(gè)例子開(kāi)放域的問(wèn)題Entity/phraseCoref的重要性“半路殺出個(gè)程咬金，在那里說(shuō)三道四，弄得我一頭霧水”百度half way to kill

4、a gold medal, where I gossip and make me confused.谷歌Halfway through the process to bite gold and say a few rallies there, making me confused.bingSchen, Im confused.騰訊Half way out of the Cheng Yaojin, where the gossip, I was confused訊飛Halfway through the road, Cheng jengjin was making gossip and made

5、 me confusedCase study2classical nlp NER(Noun entity recognition)有些時(shí)候,我們需要的信息剛好是NLP NER功能所覆蓋的(人名,地名,機(jī)構(gòu)名,數(shù)量詞,貨幣,日期). on the shift工具英文StanfordNLP/NLTK/CoreNLP, 中文StanfordNLP/LTP/Jieba,相比 x86 架構(gòu)服務(wù)器，LinuxONE Rockhopper 可助您節(jié)省 65% 的成本，加快獲得投資回報(bào)Case study2classical nlp NER(Noun entity recognition)使用case1方法縮

6、小處理范圍運(yùn)行NLP NER得到結(jié)果人工reviewCase study2if not good(enough) /如果效果不好研究現(xiàn)有NLP包c(diǎn)ode補(bǔ)充訓(xùn)練各種open sourceGoogle SyntaxnetSpacy等等Home brew自己做一個(gè)LSTM+CRFCase study2wrap up(總結(jié))NLP包是ML一種應(yīng)用.前人總結(jié)的一些東西是有用的由于訓(xùn)練用語(yǔ)料的版權(quán)問(wèn)題,無(wú)法跟上快速增長(zhǎng)的entity很可能導(dǎo)致無(wú)法識(shí)別的entity(特別是地址/電視節(jié)目/疾病名稱等)如果on the shift工具的效果不好,(很)可能還要回到ML/DL可能需要自己標(biāo)注的語(yǔ)料/模型,是一

7、筆投資例如spacy有prodigy(交互式)界面專門用于標(biāo)注Case study3NLP dependency parser for relationship linkedA contested story relates that, when he was eight, he figured out how toadd up all the numbers from 1 to 100.Case study3NLP dependency parser for relationship linkedCase study3NLP dep parser for relationship linke

8、d得到兩個(gè)VERB第一部分Intel| 250 million第二部分/另一個(gè)子句self-driving cars | a realityCase study3comprehension另外一種解決思路機(jī)器閱讀理解拋開(kāi)精密的dep關(guān)系解析End-to-endoverall自然語(yǔ)言的理解是AI技術(shù)的皇冠對(duì)于很多信息 (金融/醫(yī)療)的類似文檔,往往(想)得到精確信息景點(diǎn)介紹文章,往往是有主題的.對(duì)于搜索任務(wù), (粗粒度)足夠而我們需要的是景點(diǎn)票價(jià).這個(gè)問(wèn)題往往難以解決(細(xì)粒度)機(jī)器學(xué)習(xí),特別是深度學(xué)習(xí),為解決文本問(wèn)題提供了新的武器可能需要大量的(特殊標(biāo)注) 信息End-to-end的機(jī)器學(xué)習(xí),直接得到結(jié)果如果出錯(cuò)比較難以解釋,可以考慮使用rule來(lái)攔截錯(cuò)誤