機器學習與人工智能學習資源導引概要

機器學習與人工智能學習資源導引TopLanguage(https://groups.谷歌.com/group/pongba/我常常在TopLanguage討論組上介紹一些書本,也常常問里面的牛人們收羅一些有關的資料,人工智能、機器學習、自然語言辦理、知識發(fā)現(xiàn)(特別地,數(shù)據(jù)發(fā)掘、信息檢索這些無疑是CS領域最好玩的分支了(也是相互親近聯(lián)系的,這里快要來有關機器學習和人工智能有關的一些學習資源歸一個類:第一是兩個特別棒的Wikipedia條目,我也算是wikipedia的重度用戶了,學習一門東西的時候常常發(fā)現(xiàn)是始于wikipedia中間經(jīng)過若干次谷歌,此后止于某一本或幾本著作。第一個是“人工智能的歷史”(HistoryofArtificialIntelligence,我在討論組上寫道:現(xiàn)在天看到的這篇文章是我在wikipedia閱讀到現(xiàn)在感覺最好的。文章名為《人工智能的歷史》,順著AI發(fā)展時間線娓娓道來,中間穿插無數(shù)牛人故事,且一波三折大氣洶涌,堪稱"事實比想象更令人吃驚"。人工智能始于哲學思辯,中間經(jīng)歷了一個沒存心理學(特別是認知神經(jīng)科學的的幫助的階段,僅經(jīng)過牛人對人類思想的外在表現(xiàn)的概括、自察,以及數(shù)學工具進行研究,此間最令人激動的是HerbertSimon(決議理論之父,諾獎,跨領域牛人寫的一個自動證明機,證了然羅素的數(shù)學原理中的二十幾個定理,此中有一個定理比原書中的還要優(yōu)雅,Simon的程序用的是啟迪式搜尋,因為公義系統(tǒng)中的證明可以簡化為從條件到結(jié)論的樹狀搜尋(但因為組合爆炸,因此必然使用啟迪式剪枝。今后Simon又寫了GPS(GeneralProblemSolver,聽聞能解決一些能優(yōu)秀形式化的問題,如漢諾塔。但說終歸Simon的研究畢竟只涉及了人類思想的一個很小很小的方面——FormalLogic,甚至更狹義一點DeductiveReasoning即(不包括InductiveReasoning,TransductiveReasoning俗(稱analogicthinking。還有諸多比方CommonSense、Vision、特別是最為復雜的Language、Consciousness都還謎團未解。還有一個比較風趣的就是有人以為AI問題必然要以一個物理的Body為支撐,一個可以感覺這個世界的物理規(guī)則的身體自己就是一個興盛的信息根源,鑒于這個信息根源,人類可以自己與時俱進地總結(jié)所謂的Common-SenseKnowledge這(個就是所謂的EmboddiedMind理論。,不然像一些老兄直接手動建立Common-SenseKnowledgeBase就,很傻很天真了,須知人依據(jù)感知系統(tǒng)從自然界獲取悉識是一個動向的自動更新的系統(tǒng),而手動建立知識庫則無異于古老的ExpertSystem的做法。自然,以上只總結(jié)了很小一部分我個人感覺比較風趣或奇異的,每個人看到的風趣的地方不同樣樣,比方里面相當詳盡地介紹了神經(jīng)網(wǎng)絡理論的興衰。因此我激烈建議你看自己一遍,別忘了里面鏈接到其余地方的鏈接。趁便一說,徐宥同學打算找時間把這個條目翻譯出來,這是一個相當長的條目,看不動E文的等著看翻譯吧:第二個則是“人工智能”(ArtificialIntelligence。自然,還有機器學習等等。從這些條目出發(fā)可以找到好多特別合用和可靠的深入?yún)⒄召Y料。此后是一些書本書本:《ProgrammingCollectiveIntelligence》,近來幾年出的入門好書,培育興趣是最重要的一環(huán),一上來看大部頭很簡單被嚇走的:PPeterNorvig的《AI,ModernApproach2nd》(無爭議的領域經(jīng)典?！禩heElementsofStatisticalLearning》,數(shù)學性比較強,可以做參照了?！禙oundationsofStatisticalNaturalLanguageProcessing》,自然語言辦理領域公認經(jīng)典?！禗ataMining,ConceptsandTechniques》,華僑科學家寫的書,相當深入淺出。6.《ManagingGigabytes》,信息檢索好書。《InformationTheory:InferenceandLearningAlgorithms》,參照書吧,比較深。有關數(shù)學基礎(參照書,不合適拿來通讀:線性代數(shù):這個參照書就不列了,好多。矩陣數(shù)學:《矩陣分析》,RogerHorn。矩陣分析領域無爭議的經(jīng)典。概率論與統(tǒng)計:《概率論及其應用》,威廉·費勒。也是極牛的書,可數(shù)學滋味太重,不合適做機器學習的。于是討論組里的DuLei同學介紹了《AllOfStatistics》并說到機器學習這個方向,統(tǒng)計學也同樣特別重要。介紹Allofstatistics,這是CMU的一本很簡短的教科書,重視見解,簡化計算,簡化與MachineLearning沒關的見解和統(tǒng)計內(nèi)容,可以說是很好的迅速入門資料。4.最優(yōu)化方法:《NonlinearProgramming,2nd》非線性規(guī)劃的參照書?！禖onvexOptimization》凸優(yōu)化的參照書。其余還有一些書可以參照wikipedia上的最優(yōu)化方法條目。要深入理解機器學習方法的技術細節(jié)好多時候(如SVM需要最優(yōu)化方法作為鋪墊。王寧同學介紹了好幾本書:MachineLearning,TomMichell》,1997.老書,牛人?，F(xiàn)在看來內(nèi)容其實不算深,好多章節(jié)有點到為止的感覺,可是很合適新手(自然,不可以"新"到連算法和概率都不知道入門。比方?jīng)Q議樹部分就很優(yōu)秀,并且這幾年沒有特別大的進展,因此并可是時。其余,這本書算是對97年前數(shù)十年機器學習工作的大綜述,參照文件列表極有價值。國內(nèi)有翻譯和影印版,不知道絕版否?！禡odernInformationRetrieval,RicardoBaeza-Yatesetal》.1999老書,牛人。貌似第一本圓滿表達IR的書。惋惜IR這些年進展迅猛,這本書略有些過時了。翻翻做參照仍是不錯的。其余,Ricardo同學現(xiàn)在是YahooResearchforEuropeandLatinAmeria的頭頭。PatternClassification(2ed》,RichardO.Duda,PeterE.Hart,DavidG.Stork大概也是01年左右的大塊頭,有影印版,彩色。沒讀完,但假如想深入學習ML和IR,前三章(介紹,貝葉斯學習,線性分類器必修。還有些經(jīng)典與我只有一面之交,沒有資格討論。其余還有兩本小冊子,論文集性質(zhì)的,倒是講到了了好多前沿和細節(jié),諸如索引怎樣壓縮之類。惋惜忘了名字,又被我壓在箱底,下次喬遷前怕是難見天日了。(呵呵,想起來一本:《MiningtheWeb-DiscoveringKnowledgefromHypertextData》說一本名氣很大的書:《DataMining:PracticalMachineLearningToolsandTechniques》。Weka的作者寫的。惋惜內(nèi)容一般。理論部分太單薄,而實踐部分也很走開實質(zhì)。DM的入門書已經(jīng)好多,這一本應當可以不看了。假如要學習認識Weka,看文檔就好。第二版已經(jīng)出了,沒讀過,不清楚。信息檢索方面,DuLei同學再次介紹:信息檢索方面的書現(xiàn)在建議看Stanford的那本《IntroductiontoInformationRetrieval》,這書剛剛直式第一版,內(nèi)容自然uptodate。其余信息檢索第一大牛Croft老爺也正在寫教科書,應當很快就要面世了。聽聞是特別pratical的一本書。對信息檢索有興趣的同學,激烈介紹翟成祥博士在北大的暑期學校課程,這里有全slides和閱讀資料:/~course/cs410/schedule.htmlmaximzhao同學介紹了一本機器學習:加一本書:Bishop,《PatternRecognitionandMachineLearning》.沒有影印的,但是網(wǎng)上能下到。經(jīng)典中的經(jīng)典。PatternClassification和這本書是兩本必讀之書。PatternRecognitionandMachineLearning》是很新(07年,深入淺出,手不釋書。最后,對于人工智能方面(特別地,決議與判斷,再介紹兩本存心思的書,一本是《SimpleHeuristicsthatMakesUsSmart》另一本是《BoundedRationality:TheAdaptiveToolbox》不同樣于計算機學界所采納的統(tǒng)計機器學習方法,這兩本書更多地著眼于人類實質(zhì)上所采納的認知方式,以下是我在討論組上寫的簡介:這兩本都是德國ABC研究小組(一個由計算機科學家、認知科學家、神經(jīng)科學家、經(jīng)濟學家、數(shù)學家、統(tǒng)計學家等構成的跨學科研究集體集體寫的,都是惹起領域內(nèi)寬泛關注的書,特別是前一本,後一本則是對HerbertSimon(決議科學之父,諾獎獲取者提出的人類理性模型的擴大研究,可以說是把什么是真實的人類智能這個問題提上了臺面。核心思想是,我們的大腦根本不可以做大批的統(tǒng)計計算,使用fancy的數(shù)學手法去解說和展望這個世界,而是經(jīng)過簡單而魯棒的啟迪法來面對不確立的世界(比方第一本書中提到的兩個今后特別有名的啟迪法:再認啟迪法(cognitionheuristics和選擇最正確(TaketheBest。自然,這兩本書并無排擠統(tǒng)計方法就是了,數(shù)據(jù)量大的時候統(tǒng)計優(yōu)勢就出來了,而數(shù)據(jù)量小的時候統(tǒng)計方法就變得特別糟糕;人類簡單的啟迪法例充分利用生態(tài)環(huán)境中的規(guī)律性(regularities,都做到計算復雜性小且魯棒。對于第二本書的簡介:誰是HerbertSimon什么是BoundedRationality這本書講啥的:我向來感覺人類的決議與判斷是一個特別迷人的問題。這本書函單地說可以看作是《決議與判斷》的更全面更理論的版本。系統(tǒng)且理論化地介紹人類決議與判斷過程中的各樣啟迪式方法(heuristics及其利害(為何他們是最優(yōu)化方法在信息不足狀況下的快捷且魯棒的迫近,以及為何在一些狀況下會帶來糟糕的結(jié)果等,比方學過機器學習的都知道樸實貝葉斯方法在好多狀況下常常其實不比貝葉斯網(wǎng)絡見效差,并且還速度快;比方多項式插值的維數(shù)越高越簡單overfit,而鑒于低階多項式的分段樣條插值卻被證明是一個特別魯棒的方案。在此提一個書中提到的例子,特別存心思:兩個團隊被派去設計一個可以在場上接住拋過來的棒球的機器人。第一組做了詳盡的數(shù)學分析,建立了一個相當復雜的拋物線近似模型(因為還要考慮空氣阻力之類的原由,因此其實不是嚴格拋物線,用于計算球的落點,以便正確地接到球。明顯這個方案耗費巨大,并且實質(zhì)運算也需要時間,大家都知道生物的神經(jīng)網(wǎng)絡中生物電流傳輸只有百米每秒以內(nèi),因此computationalcomplexity對于生物來說是個難得資源,因此這個方案固然可行,但不夠好。第二組則采訪了真實的運動員,聽取他們總結(jié)自己終歸是怎樣接球的感覺,此后他們做了這樣一個機器人:這個機器人在球拋出的一開始一半行程啥也不做,等到比較近了才開始跑動,并在跑動中向來保持眼睛于球之間的視角不變,后者就保證了機器人的跑動路線必然會和球的軌跡有交點;整個過程中這個機器人只做特別粗拙的軌跡預計。意會一下你接球的時候是否是眼睛向來都盯著球,此后依據(jù)視野角度來調(diào)整跑動方向?實質(zhì)上人類就是這么干的,這就是heuristics的力量。相對于傾向于心理學以及科普的《決議與判斷》來說,這本書的理論性更強,引用文件也好多而經(jīng)典,并且與人工智能和機器學習都有交叉,里面也有好多量學內(nèi)容,全書由十幾個章節(jié)構成,每個章節(jié)都是由不同樣的作者寫的,近似于pape