案例沙龍年貨datafun

1、machine learning/nlp for extraction使用機器學(xué)習(xí)/NLP來提取(感興趣的)數(shù)據(jù)點Overall challenge大數(shù)據(jù)的興起大部分數(shù)據(jù)都是非結(jié)構(gòu)化的, 如何理解這些數(shù)據(jù)? 如何利用這些數(shù)據(jù)?對于圖像數(shù)據(jù)(對圖像數(shù)據(jù)進行標(biāo)注, 對圖像進行分類)對于文本數(shù)據(jù)Several kinds of data(requirements)幾種常見的數(shù)據(jù)(需求)1.用戶點擊網(wǎng)頁,產(chǎn)生click log(結(jié)構(gòu)化數(shù)據(jù))2.一個網(wǎng)頁txt,想得到它的主題(運行LDA)3.一個網(wǎng)頁,很多內(nèi)容,但只有一部有用(?)Case study1(news)盡管里面有很多信息但我們只對某些信息感

2、興趣Regex(不能應(yīng)付表達的變種)因為這個例子很簡單,如果我們能找到這句話,再使用Regex但這是下一步相似文檔與感興趣的點(廠家文案中成本部分所有的型號)Case study1(news) ML, step1: get training data得到全集,利用rule確定大致位置Dump大致數(shù)據(jù)手工/半手工挑選過濾數(shù)據(jù)Case study1(news) ML, step2: Train model(benchmark)選擇幾個模型訓(xùn)練/對比/調(diào)整保存模型Case study1(news) machine learning, step3: Run it!運行模型得到-語句Yes/No在簡單的

3、語句上, 運行Regex可以得到一個或多個數(shù)(number)Case study1wrap up(總結(jié))機器學(xué)習(xí)是一種從源/結(jié)果得到rule的方法步驟:整理原始數(shù)據(jù),(訓(xùn)練,對比模型),使用模型目前經(jīng)典的ML和DeepLearning有為數(shù)眾多的選擇也就是沒有一個one size fits for all的選擇感知類數(shù)據(jù)(圖像和語音)已經(jīng)是DL占統(tǒng)治地位DL對固定領(lǐng)域文本處理/分類有顯著優(yōu)勢,開放領(lǐng)域優(yōu)勢不太顯著(一詞多意的問題etc)翻譯是一個例子開放域的問題Entity/phraseCoref的重要性“半路殺出個程咬金，在那里說三道四，弄得我一頭霧水”百度half way to kill

4、a gold medal, where I gossip and make me confused.谷歌Halfway through the process to bite gold and say a few rallies there, making me confused.bingSchen, Im confused.騰訊Half way out of the Cheng Yaojin, where the gossip, I was confused訊飛Halfway through the road, Cheng jengjin was making gossip and made

5、 me confusedCase study2classical nlp NER(Noun entity recognition)有些時候,我們需要的信息剛好是NLP NER功能所覆蓋的(人名,地名,機構(gòu)名,數(shù)量詞,貨幣,日期). on the shift工具英文StanfordNLP/NLTK/CoreNLP, 中文StanfordNLP/LTP/Jieba,相比 x86 架構(gòu)服務(wù)器，LinuxONE Rockhopper 可助您節(jié)省 65% 的成本，加快獲得投資回報Case study2classical nlp NER(Noun entity recognition)使用case1方法縮

6、小處理范圍運行NLP NER得到結(jié)果人工reviewCase study2if not good(enough) /如果效果不好研究現(xiàn)有NLP包code補充訓(xùn)練各種open sourceGoogle SyntaxnetSpacy等等Home brew自己做一個LSTM+CRFCase study2wrap up(總結(jié))NLP包是ML一種應(yīng)用.前人總結(jié)的一些東西是有用的由于訓(xùn)練用語料的版權(quán)問題,無法跟上快速增長的entity很可能導(dǎo)致無法識別的entity(特別是地址/電視節(jié)目/疾病名稱等)如果on the shift工具的效果不好,(很)可能還要回到ML/DL可能需要自己標(biāo)注的語料/模型,是一

7、筆投資例如spacy有prodigy(交互式)界面專門用于標(biāo)注Case study3NLP dependency parser for relationship linkedA contested story relates that, when he was eight, he figured out how toadd up all the numbers from 1 to 100.Case study3NLP dependency parser for relationship linkedCase study3NLP dep parser for relationship linke

8、d得到兩個VERB第一部分Intel| 250 million第二部分/另一個子句self-driving cars | a realityCase study3comprehension另外一種解決思路機器閱讀理解拋開精密的dep關(guān)系解析End-to-endoverall自然語言的理解是AI技術(shù)的皇冠對于很多信息 (金融/醫(yī)療)的類似文檔,往往(想)得到精確信息景點介紹文章,往往是有主題的.對于搜索任務(wù), (粗粒度)足夠而我們需要的是景點票價.這個問題往往難以解決(細粒度)機器學(xué)習(xí),特別是深度學(xué)習(xí),為解決文本問題提供了新的武器可能需要大量的(特殊標(biāo)注) 信息End-to-end的機器學(xué)習(xí),直接得到結(jié)果如果出錯比較難以解釋,可以考慮使用rule來攔截錯誤