《機(jī)器學(xué)習(xí)實(shí)踐應(yīng)用》讀書筆記

《機(jī)器學(xué)習(xí)實(shí)踐應(yīng)用》讀書筆記這次的讀書筆記主要介紹機(jī)器學(xué)習(xí)背景和基礎(chǔ)概念1機(jī)器學(xué)習(xí)背景數(shù)據(jù)現(xiàn)狀20世紀(jì)70年代曾遇巨大瓶頸， 原因有計算能力+數(shù)據(jù)量的不足。隨著互聯(lián)網(wǎng)的普及和對用戶數(shù)據(jù)的大量采集，數(shù)據(jù)量不足的問題已逐漸彌補(bǔ)，機(jī)器學(xué)習(xí)算法的價值越來越大。但在傳統(tǒng)領(lǐng)域，如建筑行業(yè)，數(shù)據(jù)產(chǎn)生于工地的一磚一瓦，采集起來會更困難和麻煩，隨著圖像識別技術(shù)的進(jìn)步和普及，這樣的問題能夠慢慢解決，但不得不說，傳統(tǒng)領(lǐng)域的數(shù)據(jù)智能化仍然是比較慢的進(jìn)程。 （這里可以自行了解下百度在傳統(tǒng)領(lǐng)域的 AI技術(shù)落地情況）。目前主流的機(jī)器學(xué)習(xí)算法是監(jiān)督學(xué)習(xí)算法，該算法需要的是打標(biāo)過的數(shù)據(jù)，而數(shù)據(jù)的打標(biāo)十分依賴人工標(biāo)記，之前在實(shí)習(xí)的時候，給短視頻的標(biāo)簽做標(biāo)記都能把我搞得頭昏腦漲。人工打標(biāo)有幾個問題：成本高+量級小機(jī)器學(xué)習(xí)算法現(xiàn)狀

機(jī)器學(xué)習(xí)已滲透到生活的各個方面，特別是在互聯(lián)網(wǎng)領(lǐng)域。用網(wǎng)購場景來舉例。1）你在路上看到陌生人的一件T1）你在路上看到陌生人的一件T恤你很喜歡口使用淘寶的【拍立淘】 （圖像識別技術(shù) ）2）在淘寶搜索框語音輸入商品名稱2）在淘寶搜索框語音輸入商品名稱（語音轉(zhuǎn)文字技術(shù)）3）商品的個性化推薦 （推薦算法 ）4）商品下單口若錢不夠用術(shù)）3）商品的個性化推薦 （推薦算法 ）4）商品下單口若錢不夠用顯示（由機(jī)器學(xué)習(xí)算法計算 ）口借錢口貸款額度5）下單后口短時間完成商品包裝、庫存發(fā)貨到中轉(zhuǎn)庫存、從低級倉庫到高級倉庫配送、向下分發(fā)（機(jī)器學(xué)習(xí)算庫存、從低級倉庫到高級倉庫配送、向下分發(fā)（機(jī)器學(xué)習(xí)算法）6）快遞員配送口系統(tǒng)設(shè)計最優(yōu)路線 （機(jī)器學(xué)習(xí)算法規(guī)劃）7）商品投訴口智能客服立即回復(fù) （文本的語義分析算法，精準(zhǔn)確定問題 ）以上的過程涉及了模型的訓(xùn)練和預(yù)測、語義分析、文本情感分析、圖像識別以及語音識別技術(shù)機(jī)器學(xué)習(xí)高頻場景1）聚類場景人群劃分和產(chǎn)品種類劃分等2）分類場景廣告投放預(yù)測和網(wǎng)站用戶點(diǎn)擊預(yù)測等3）回歸場景降雨量預(yù)測、商品購買量預(yù)測和股票成交額預(yù)測等4）文本分析場景新聞標(biāo)簽提取、文本自動分類和文本關(guān)鍵信息抽取5）關(guān)系圖算法

社交網(wǎng)絡(luò)關(guān)系網(wǎng)絡(luò)關(guān)系挖掘和金融風(fēng)險控制等6）模式識別語音識別、圖像識別和手寫字識別總評機(jī)器學(xué)習(xí)+是大趨勢機(jī)器學(xué)習(xí)+是大趨勢2基本概念機(jī)器學(xué)習(xí)流程1）場景解析把業(yè)務(wù)邏輯和算法進(jìn)行匹配2基本概念機(jī)器學(xué)習(xí)流程1）場景解析把業(yè)務(wù)邏輯和算法進(jìn)行匹配2）數(shù)據(jù)預(yù)處理清洗數(shù)據(jù)，將數(shù)據(jù)進(jìn)行歸一化或標(biāo)準(zhǔn)化，減少量綱和噪音。3）特征工程噪音。3）特征工程機(jī)器學(xué)習(xí)最重要步驟。在算法固定的情況下，特征的選擇決定了模型的效果4）模型訓(xùn)練訓(xùn)練數(shù)據(jù)經(jīng)過了預(yù)處理+特征工程后進(jìn)入訓(xùn)練階段。5）模型評估對各模型的預(yù)測結(jié)果評估6）離線/在線服務(wù)數(shù)據(jù)源結(jié)構(gòu)1）結(jié)構(gòu)化數(shù)據(jù)矩陣結(jié)構(gòu)存儲，通常包含特征列 +目標(biāo)列。機(jī)器學(xué)習(xí)算法通常只支持結(jié)構(gòu)化數(shù)據(jù)2）非結(jié)構(gòu)化數(shù)據(jù)圖像、文本或語音文件，不以矩陣機(jī)構(gòu)存儲，是目前技術(shù)熱點(diǎn)，通常將其轉(zhuǎn)化為二進(jìn)制存儲格式3）半結(jié)構(gòu)化數(shù)據(jù)典型的半結(jié)構(gòu)化數(shù)據(jù)是 XML拓展名的存儲數(shù)據(jù)算法分類1）監(jiān)督學(xué)習(xí)有特征值 +目標(biāo)隊列，依賴打標(biāo)，常用于回歸和分類算法2）無監(jiān)督學(xué)習(xí)無目標(biāo)值，不依賴數(shù)據(jù)的打標(biāo)，通常用于聚類算法3）半監(jiān)督學(xué)習(xí)對樣本的部分進(jìn)行打標(biāo)，一種半監(jiān)督算法 ——標(biāo)簽傳播算法4）強(qiáng)化學(xué)習(xí)人工智能領(lǐng)域熱點(diǎn)。系統(tǒng)與外界不斷交互，從而決定自身的行為，如無人汽車駕駛和阿法狗下圍棋使用機(jī)器學(xué)習(xí)算法常見問題過擬