人工智能論文-機(jī)器學(xué)習(xí)與大數(shù)據(jù)

《人工智能》課程結(jié)課論文課題：機(jī)器學(xué)習(xí)與大數(shù)據(jù)姓名：學(xué)號(hào)：班級(jí)：指導(dǎo)老師：2015年11月13日機(jī)器學(xué)習(xí)與大數(shù)據(jù)摘要大數(shù)據(jù)并不僅僅是指海量數(shù)據(jù)，而更多的是指這些數(shù)據(jù)都是非結(jié)構(gòu)化的、殘缺的、無(wú)法用傳統(tǒng)的方法進(jìn)行處理的數(shù)據(jù)。大數(shù)據(jù)時(shí)代的來(lái)臨，隨著產(chǎn)業(yè)界數(shù)據(jù)量的爆炸式增長(zhǎng),大數(shù)據(jù)概念受到越來(lái)越多的關(guān)注。然而隨著大數(shù)據(jù)“越來(lái)越大”的發(fā)展趨勢(shì)，我們?cè)诜治龊吞幚淼倪^(guò)程中感覺(jué)到的困難也愈加的多了。這個(gè)時(shí)候我們想到了機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)幾乎無(wú)處不在，即便我們沒(méi)有專(zhuān)程調(diào)用它們，它們也經(jīng)常出現(xiàn)在大數(shù)據(jù)應(yīng)用之中，大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)的創(chuàng)新和發(fā)展也倍加受到了關(guān)注。關(guān)鍵詞：大數(shù)據(jù)；機(jī)器學(xué)習(xí)；大數(shù)據(jù)時(shí)代MachinelearningandbigdataAbstractBigdataisnotonlyreferstothehugeamountsofdata,andtotalkaboutthesedataarestructured,broken,can'tusethetraditionalmethodofprocessingdataingoftheeraofbigdata,withtheindustrytotheexplosionofdatavolumes,largedataconceptismoreandmoreattention.However,asthedata,thedevelopmenttrendof"growing"intheprocessofanalysisandprocessingwefeelismoredifficult.Thistimewethoughtaboutthemachinelearning.Machinelearningisalmosteverywhere,evenifwedon'thavetocallthemspecially,theyarealsooftenappearinthebigdataapplications,largedatamachinelearningundertheenvironmentofinnovationandthedevelopmentalsohasreceivedtheattention.Keywords:BigData;Machinelearning;AgeofBigDataTOC\o"1-5"\h\z\o"CurrentDocument"第1章引言 2\o"CurrentDocument"第2章機(jī)器學(xué)習(xí)與大數(shù)據(jù) 3\o"CurrentDocument"2.1機(jī)器學(xué)習(xí) 3\o"CurrentDocument"2.2大數(shù)據(jù) 3\o"CurrentDocument"第3章大數(shù)據(jù)時(shí)代下的機(jī)器學(xué)習(xí) 3\o"CurrentDocument"3.1大數(shù)據(jù)時(shí)代 3\o"CurrentDocument"3.2機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)的基石 3\o"CurrentDocument"3.3機(jī)器學(xué)習(xí)幫助數(shù)據(jù)日志的分析解決 4\o"CurrentDocument"第4章大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生的機(jī)器學(xué)習(xí)新趨勢(shì) 4\o"CurrentDocument"4.1機(jī)器學(xué)習(xí)的研究方向 4\o"CurrentDocument"4.2機(jī)器學(xué)習(xí)適應(yīng)大數(shù)據(jù)時(shí)代發(fā)展 4\o"CurrentDocument"第5章結(jié)束語(yǔ) 5\o"CurrentDocument"參考文獻(xiàn) 5第1章引言機(jī)器學(xué)習(xí)幾乎無(wú)處不在，即便我們沒(méi)有專(zhuān)程調(diào)用它們，它們也經(jīng)常出現(xiàn)在大數(shù)據(jù)應(yīng)用之中。隨著產(chǎn)業(yè)界數(shù)據(jù)量的爆炸式增長(zhǎng)，大數(shù)據(jù)概念受到越來(lái)越多的關(guān)注。研究大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)算法成為學(xué)術(shù)界和產(chǎn)業(yè)界共同關(guān)注的話題。機(jī)器學(xué)習(xí)是繼專(zhuān)家系統(tǒng)后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一。隨著產(chǎn)業(yè)界數(shù)據(jù)量的爆炸式增長(zhǎng)，數(shù)據(jù)以前所未有的速度積累，大數(shù)據(jù)(Bigdata)概念受到越來(lái)越多的關(guān)注。大數(shù)據(jù)正在給數(shù)據(jù)密集型企業(yè)帶來(lái)豐厚的利潤(rùn)，大數(shù)據(jù)是現(xiàn)有產(chǎn)業(yè)升級(jí)與新產(chǎn)業(yè)誕生的保障。第2章機(jī)器學(xué)習(xí)與大數(shù)據(jù)2.1機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成一門(mén)課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以與數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。例如學(xué)習(xí)與問(wèn)題求解結(jié)合進(jìn)行、知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類(lèi)比學(xué)習(xí)與問(wèn)題求解結(jié)合的基于案例方法已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動(dòng)，學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為4種一一機(jī)械學(xué)習(xí)、通過(guò)傳授學(xué)習(xí)、類(lèi)比學(xué)習(xí)和通過(guò)事例學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。⑴2.2大數(shù)據(jù)隨著大數(shù)據(jù)時(shí)代的到來(lái)，大數(shù)據(jù)逐漸成為學(xué)術(shù)界和產(chǎn)業(yè)界的熱點(diǎn)、國(guó)際數(shù)據(jù)公司定義了大數(shù)據(jù)的四大特征：海量的數(shù)據(jù)規(guī)模（vast）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類(lèi)型（variety）和巨大的數(shù)據(jù)價(jià)值（value）。⑵“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。⑶在很多領(lǐng)域，如互聯(lián)網(wǎng)和金融領(lǐng)域，訓(xùn)練實(shí)例的數(shù)量是非常大的，每天匯合幾十億事件的數(shù)據(jù)集是很常見(jiàn)的。另外，越來(lái)越多的設(shè)備包括傳感器，持續(xù)記錄觀察的數(shù)據(jù)可以作為訓(xùn)練數(shù)據(jù)，這樣的數(shù)據(jù)集可以輕易地達(dá)到幾百TB。當(dāng)前全球和我國(guó)大數(shù)據(jù)都呈現(xiàn)了井噴式爆發(fā)性增長(zhǎng)，大數(shù)據(jù)已經(jīng)滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，大數(shù)據(jù)的演進(jìn)與生產(chǎn)力的提高有著直接的關(guān)系。第3章大數(shù)據(jù)時(shí)代下的機(jī)器學(xué)習(xí)3.1大數(shù)據(jù)時(shí)代大數(shù)據(jù)將成為各類(lèi)機(jī)構(gòu)和組織，乃至國(guó)家層面重要的戰(zhàn)略資源。重視數(shù)據(jù)資源的搜集、挖掘、分享與利用，成為當(dāng)務(wù)之急。大數(shù)據(jù)的公開(kāi)與分享成為大勢(shì)所趨，政府部門(mén)必須身先士卒，機(jī)構(gòu)組織的變革與全球治理成為必然的選擇。⑷3.2機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)的基石機(jī)器學(xué)習(xí)對(duì)大數(shù)據(jù)應(yīng)用投資回報(bào)的貢獻(xiàn)主要體現(xiàn)在兩個(gè)方面：一是促進(jìn)數(shù)據(jù)科學(xué)家們的多產(chǎn)性；二是發(fā)現(xiàn)一些被忽視的方案，有些方案甚至遭到了最好的數(shù)據(jù)科學(xué)家們的忽視。這些價(jià)值來(lái)自于機(jī)器學(xué)習(xí)的核心功能：即讓分析算法無(wú)需人類(lèi)干預(yù)和顯式程序即可對(duì)最新數(shù)據(jù)進(jìn)行學(xué)習(xí)。許多情況下，機(jī)器學(xué)習(xí)是大數(shù)據(jù)創(chuàng)新的最佳投資回報(bào)。對(duì)機(jī)器學(xué)習(xí)的投資能夠深化任何對(duì)企業(yè)定制的大數(shù)據(jù)案例。"深入學(xué)習(xí)”(deeplearning)成為了大數(shù)據(jù)科學(xué)家的機(jī)器學(xué)習(xí)指令系統(tǒng)中的一個(gè)重要工具。利用神經(jīng)網(wǎng)絡(luò)開(kāi)展的深入學(xué)習(xí)有助于從這些數(shù)據(jù)流中提取感知能力，因?yàn)檫@些數(shù)據(jù)流可能涉與組成對(duì)象之間語(yǔ)義關(guān)系的層次結(jié)構(gòu)安排。⑸3.3機(jī)器學(xué)習(xí)幫助數(shù)據(jù)日志的分析解決自動(dòng)化是深入了解日志數(shù)據(jù)的關(guān)鍵，因?yàn)槿罩緮?shù)據(jù)在大數(shù)據(jù)領(lǐng)域里成規(guī)模分布。自動(dòng)化可以確保數(shù)據(jù)的采集，分析處理，同時(shí)，它對(duì)數(shù)據(jù)的顯示結(jié)果規(guī)制和事件驅(qū)動(dòng)的履行和數(shù)據(jù)流一樣高速。日志分析自動(dòng)化主要引擎包括機(jī)器數(shù)據(jù)集成中間件，業(yè)務(wù)規(guī)則管理系統(tǒng)，語(yǔ)義分析，數(shù)據(jù)流計(jì)算平臺(tái)和機(jī)器學(xué)習(xí)算法。不同的機(jī)器學(xué)習(xí)技術(shù)適合不同類(lèi)型的日志數(shù)據(jù)以與不同的分析挑戰(zhàn)。利用相關(guān)性與其它現(xiàn)有模式為機(jī)器學(xué)習(xí)機(jī)制構(gòu)建先驗(yàn)性監(jiān)督方案才是正確的處理方式。如果日志數(shù)據(jù)模式無(wú)法以預(yù)告方式作出精確定義，那么非監(jiān)督性強(qiáng)化學(xué)習(xí)機(jī)制可能更為適合。這些由機(jī)器學(xué)習(xí)技術(shù)支持的日志數(shù)據(jù)分析方案可謂自動(dòng)化處理的最理想場(chǎng)景，因?yàn)榇祟?lèi)方案會(huì)自主選擇匹配程度較高的處理模式并進(jìn)行優(yōu)先級(jí)排序，從而在無(wú)法人為提供培訓(xùn)數(shù)據(jù)集的前提下完成既定任務(wù)。6/10第4章大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生的機(jī)器學(xué)習(xí)新趨勢(shì)4.1機(jī)器學(xué)習(xí)的研究方向在整個(gè)機(jī)器學(xué)習(xí)的發(fā)展歷程中，一直有兩大研究方向。一是研究學(xué)習(xí)機(jī)制，注重探索、模擬人的學(xué)習(xí)機(jī)制；二是研究如何有效利用信息，注重從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識(shí)。隨著大數(shù)據(jù)時(shí)代各行業(yè)對(duì)數(shù)據(jù)分析需求的持續(xù)增加，通過(guò)機(jī)器學(xué)習(xí)高效地獲取知識(shí)，已逐漸成為當(dāng)今機(jī)器學(xué)習(xí)技術(shù)發(fā)展的主要推動(dòng)力。4.2機(jī)器學(xué)習(xí)適應(yīng)大數(shù)據(jù)時(shí)代發(fā)展大數(shù)據(jù)時(shí)代的機(jī)器學(xué)習(xí)更強(qiáng)調(diào)“學(xué)習(xí)本身是手段”，機(jī)器學(xué)習(xí)成為一種支持技術(shù)和服務(wù)技術(shù)，如何基于機(jī)器學(xué)習(xí)對(duì)復(fù)雜多樣的數(shù)據(jù)進(jìn)行深層次的分析，更高效地利用信息成為當(dāng)前機(jī)器學(xué)習(xí)研究的主要方向。機(jī)器學(xué)習(xí)越來(lái)越朝著智能數(shù)據(jù)分析的方向發(fā)展，并已成為智能數(shù)據(jù)分析技術(shù)的一個(gè)重要源泉。另外，在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)產(chǎn)生速度的持續(xù)加快，數(shù)據(jù)的體量有了前所未有的增長(zhǎng)，而需要分析的新的數(shù)據(jù)種類(lèi)也在不斷涌現(xiàn)，如文本的理解、文本情感的分析、圖像的檢索和理解、圖形和網(wǎng)絡(luò)數(shù)據(jù)的分析等，機(jī)器學(xué)習(xí)研究領(lǐng)域涌現(xiàn)了很多新的研究方向，很多新的機(jī)器學(xué)習(xí)方法被提出并得到了廣泛應(yīng)用。第5章結(jié)束語(yǔ)大數(shù)據(jù)具有屬性稀疏、超高維、高噪聲、數(shù)據(jù)漂移、關(guān)系復(fù)雜等特點(diǎn)，導(dǎo)致傳統(tǒng)機(jī)器學(xué)習(xí)算法難以有效處理和分析。新的大數(shù)據(jù)時(shí)代的到來(lái)意味著處理大數(shù)據(jù)的工作將有一套新的方式，也就是機(jī)器學(xué)習(xí)與大數(shù)據(jù)分析的緊密關(guān)系，在人工智能領(lǐng)域嶄露頭角的機(jī)器學(xué)習(xí)將聯(lián)合大數(shù)據(jù)在更多領(lǐng)域?qū)崿F(xiàn)更強(qiáng)大的功能，人工智能技術(shù)也會(huì)有新的突破。研究機(jī)器學(xué)習(xí)理論和方法，以實(shí)現(xiàn)超高維、高