分布式機器學習平臺分析

1、n覘學吧 i分布式機器學習平臺分析 tsi：鵠學吧摘要：機器學習，特別是深度學習（DL），最近已經(jīng)在語音識別、圖像識別、自然語言處理、推薦/搜索引擎等領域獲得了成功。這些技術在自主駕駛汽車、數(shù)字衛(wèi)生系統(tǒng)、CRM、廣告、物聯(lián)網(wǎng)等方面都存在著非常有前景的應用。當然，資金驅(qū)動著這些技術以極快的速度向前發(fā)展，而且，最近我們已經(jīng)看到了 有很多機器學習平臺正在建立起來。本文調(diào)查分析了多個分布式機器學習平臺所使用的設計方法，并提出了未來的研究方向。這是我與我的學生KuoZhang、Salem Alqahtani 通力合作的成果。我們在 2016年的秋天寫了這篇論文，并且 將在 ICCCN17 （ Inter

2、nationalConference on Computer Communications and Networks，計算機通信與網(wǎng)絡國際會議）上介紹這篇文章。機器學習，特別是深度學習（DL），最近已經(jīng)在語音識別、圖像識別、自然語言處理、推薦/搜索引擎等領域獲得了成功。這些技術在自主駕駛汽車、數(shù)字衛(wèi)生系統(tǒng)、CRM、廣告、物聯(lián)網(wǎng)等方面都存在著非常有前景的應用。當然，資金驅(qū)動著這些技術以極快的速度向前發(fā)展，而且，最近我們已經(jīng)看到 了有很多機器學習平臺正在建立起來。由于在訓練過程中要涉及到龐大的數(shù)據(jù)集和模型的大小，因此機器學習平臺通常是分布式平臺，而且 并行運行了 10到100作業(yè)來訓練模型。據(jù)估計

3、，在不久的將來，數(shù)據(jù)中心的絕大多數(shù)任務將是機器 學習任務。我們決定從分布式系統(tǒng)的角度來研究這些機器學習平臺，分析這些平臺的通信和控制瓶頸。我們還研 究了這些平臺的容錯性和編程的難易性。根據(jù)三種基本的設計方法對分布式機器學習平臺進行了分類，分別是：m鉤學 基本數(shù)據(jù)流參數(shù)服務器模型高級數(shù)據(jù)流本文將對每一種方法進行簡單的介紹，我們使用Apache Spark作為基本數(shù)據(jù)流方法的示例，使用PMLS( Petuum)作為參數(shù)服務器模型的示例，使用TensorFlow 和MXNet作為高級數(shù)據(jù)流模型的示例。我們將提供它們之間的性能比較評估結(jié)果。有關更多的評估結(jié)果，請參閱本文最開始提到的那篇論文。不幸的是，

4、我們無法作為一個來自學術界的小團隊進行規(guī)模上的評估。在這篇文章的末尾，我對分布式機器學習平臺的未來工作提出了總結(jié)性意見和建議。如果你已經(jīng)有這些分布式機器學習平臺的使用經(jīng)驗，可以直接跳到文章的末尾。Spark在Spark中，計算被建模為有向無環(huán)圖( DAG， directed acyclic graph )，其中的每個頂點表示彈性分布式數(shù)據(jù)集(RDD，Resilient Distributed Dataset )，每個邊表示 RDD上的操作。RDD是以邏輯分塊進行劃分的對象集合，它緩存在內(nèi)存中，當內(nèi)存不夠時，會保存到磁盤上。 在DAG上，從頂點A到頂點B的邊E表示RDD B是在RDD A上執(zhí)行操

5、作E的結(jié)果。有兩種類型 的操作：轉(zhuǎn)換和動作。轉(zhuǎn)換（例如，映射、過濾、連接）就是對 RDD執(zhí)行操作并產(chǎn)生新的 RDD。Spark用戶將計算作為 DAG進行建模，該DAG會轉(zhuǎn)換并運行RDD上的動作。DAG會分階段進行編譯。每個階段將作為一系列的任務并行執(zhí)行（每個分區(qū)一個任務）。窄的依賴關系有利于高效的執(zhí)行，而廣泛的依賴關系會帶來瓶頸，因為它們會破壞流水線，而且需要通信密集的隨機操作。Spark中的分布式執(zhí)行是通過對機器上的DAG階段進行分塊來實現(xiàn)的。這個圖清晰地展示了master-worker 架構(gòu)。Driver包含了兩個調(diào)度組件，DAG調(diào)度器和任務調(diào)度器，用于給 workers分 配任務，以及協(xié)

6、調(diào) workers。Spark是為一般數(shù)據(jù)處理而不是為機器學習設計的。然而，利用專用于Spark的MLlib，使得在Spark上進行機器學習成為可能。在基本的設置中，Spark將模型參數(shù)存儲在driver節(jié)點中，而workers與driver進行通信，以便在每次迭代后更新參數(shù)。對于大規(guī)模的部署來說，模型參數(shù)可能不適合保存 在driver中，而應該將其作為 RDD進行維護。這引入了很大的開銷，因為需要在每次迭代中創(chuàng)建新 的RDD以保存更新過的模型參數(shù)。更新模型包括在機器/磁盤之間混洗數(shù)據(jù)，這限制了 Spark的可擴 展性。這是Spark中基本數(shù)據(jù)流模型（DAG ）不足的地方。Spark不支持機器

7、學習所需的迭代。m鴿學巴 PMLSPMLS從誕生的那一天起就是專門為機器學習設計的。它引入了參數(shù)服務器 （parameter-server ,簡寫為PS）抽象用于迭代密集型機器學習訓練過程。PS （在圖中用綠色的框表示）用于分布式內(nèi)存鍵值的存儲。它復制和分片的方式是這樣的：每個節(jié)點既是模型中某個分片的主節(jié)點，又是其他分片的輔節(jié)點（或副本）。因此，PS可以通過增加節(jié)點數(shù)量的方法很容易地進行擴展。 （Si1鶴學吧PS節(jié)點用于存儲和更新模型參數(shù)，并響應 workers的請求。workers從本地PS副本中請求最新的 模型參數(shù)，并對分配給自己的數(shù)據(jù)集分區(qū)進行計算。PMLS 還采用了 SSP（Stale

8、 Synchronous Parallelism，變味的同步并行）模型，它放寬了 BSP （BulkSynchronousParellelism ，批量同步并行）模型中workers在每次迭代最后要進行同步操作的要求。SSP減少了 workers同步的難度，確保最快的 worker不能在最慢的worker之前迭代。由于對過程 中產(chǎn)生的噪聲具有一定的容錯能力，這個寬松的一致性模型仍可適用于機器學習訓練。我已經(jīng)在2016年4月的一篇博客文章里介紹了這一點。Ten sorFlowGoogle有一個基于分布式機器學習平臺的參數(shù)服務器模型，名為DistBelief。這是我對DistBelief論文的評論

9、。我在這篇文章中指出，人們對 DistBelief主要的抱怨是編寫機器學習應用程序的時候會 弄亂底層代碼。Google希望公司內(nèi)的任何員工無需精通分布式執(zhí)行就能編寫機器學習代碼，這也是 Google為大數(shù)據(jù)處理編寫 MapReduce 框架的原因。所以，TensorFlow 正是為了實現(xiàn)這一目標而設計的。TensorFlow 采用了數(shù)據(jù)流范例，但在它的高級版本中，計算圖不需要是DAG ,但可以包括循環(huán)和支持可變狀態(tài)。我想，可能是Naiad的設計對Ten sorFlow 產(chǎn)生了一些影響吧。Ten sorFlow 中的計算可以表示為一個帶有節(jié)點和邊的有向圖。節(jié)點表示具有可變狀態(tài)的計算。邊表 示在節(jié)

10、點之間傳遞的多維數(shù)據(jù)矩陣（張量）。Ten sorFlow 要求用戶靜態(tài)地聲明這個符號計算圖，并且使用圖形的重寫和分區(qū)來讓機器進行分布式的執(zhí)行。如上圖所示，這個 Te nsorFlow 中的分布式機器學習訓練使用了參數(shù)服務器的方法。在Ten sorFlow中使用PS抽象的時候，可以使用參數(shù)服務器和數(shù)據(jù)并行機制。對于TensorFlow 來說，你可以做更為復雜的事情，但這需要編寫自定義代碼并走入未知的領域。一些評估結(jié)果鴿專巴為了對這些平臺進行評估，我們使用了 Amazon EC2 m4.xlarge 實例。每個實例包含由In tel Xeon E5-2676 v3 處理器和16GBRAM 組成的4

11、個vCPU。EBS帶寬為750Mbps。我們使用兩種常見的 機器學習任務進行評估：使用多層神經(jīng)網(wǎng)絡的二級邏輯回歸和圖像分類。我只是在這里提供幾張圖，請查看我們的論文以進行更多的實驗。我們的實驗有幾個限制：我們使用的機器比較少，不能進行規(guī) 模上的測試。我們的測試僅限于CPU計算，并沒有進行 GPU計算測試。System of Logtelte RegressionMH該圖顯示了邏輯回歸平臺的速度。Spark比PMLS和MXNet慢，但表現(xiàn)得還算可以該圖顯示了 DNN平臺的速度。與單層邏輯回歸相比， Spark的性能損失比兩層 NN更大，這是因為 需要更多的迭代計算。這里，我們將 driver的參

12、數(shù)保存在Spark中。如果我們將參數(shù)保存在 RDD中 并且在每次迭代之后進行更新，情況會更糟。該圖顯示了平臺的CPU利用率。Spark應用程序的CPU利用率明顯比較高，主要是因為存在序列 化的開銷。以前的工作已經(jīng)指出了這個問題。tsi：鵠學吧結(jié)語，以及未來的方向機器學習/深度學習應用程序有著令人尷尬的并行機制，而且從并發(fā)算法角度來看也并不是很有趣?？梢钥隙ǖ氖?，參數(shù)服務器方法贏得了分布式機器學習平臺訓練的青睞。至于瓶頸問題，網(wǎng)絡仍然是分布式機器學習應用程序的瓶頸。更好的數(shù)據(jù)或模型分級比更先進的通用數(shù)據(jù)流平臺更有用，請重視數(shù)據(jù)和模型。然而，也存在著一些令人驚訝和微妙的地方。在Spark中，CPU開銷正在成為比網(wǎng)絡限制更為重要的瓶頸。Spark中使用的編程語言（例如 Scala/JVM ）會顯著影響它的性能。因此，特別需要一個 更好的工具來進行分布式機器學習平臺的監(jiān)控和性能預測。近來，已經(jīng)出現(xiàn)了一些能夠解決 Spark數(shù)據(jù)處理程序問題的工具，例如Ernest