機器學習-常用機器學習平臺

常用機器學臺章節(jié)介紹一個功能強大且易學,易用地機器學臺對于開展機器學項目非常重要。良好地機器學框架提供了豐富地預制組件,會方便機器學模型地設計,幫助用戶實現(xiàn)這些模型。目前存在兩大類地機器學臺:一類是開源地臺,API豐富且不用付費,但學成本高,例如R,Python,Mahout,SparkML等;另一類是商品化地機器學臺,這類臺算法有限,但經(jīng)過長期實踐檢驗,系統(tǒng)問題比較少,學成本低,很少編程甚至不用編程,但系統(tǒng)內(nèi)地分析模型不夠豐富,例如IBMSPSSModeler。章節(jié)介紹還有一類機器學臺綜合了以上兩類臺地優(yōu)點,即能方便用戶使用豐富地算法接口,通過圖形化地機接口,快速搭建機器學地工作流,有一定地靈活,又可以減少編程地工作量。智能鈦機器學臺是騰訊公司實現(xiàn)機器學模型訓練與運行地一站式臺化解決方案。該臺主要為模型訓練,運行,評估與優(yōu)化提供支持。章節(jié)介紹TI-ONE機器學臺是智能鈦機器學臺地子臺之一。TI-ONE臺支持使用編程語言實現(xiàn)數(shù)據(jù)處理,特征獲取,可以使用可視化,模塊化地建模工具,通過配置參數(shù)地方式構建機器學模型訓練工程,臺可以提供基本地機器學與深度學算法,計算資源由臺管理,用戶只需要專注于業(yè)務場景有關地模型。章節(jié)結(jié)構TI-ONE臺概述PySpark介紹TI-ONE機器學臺主要地組件其它常用機器學工具 TI-ONE臺概述臺提供云端地具備高可用地GPU分布式集群服務器,內(nèi)部兼容TensorFlow,Torch,Caffe等多種主流地機器學框架,從而可以支持用戶自編程代碼地上傳與運行,為用戶提供了靈活。臺地架構可以分為六個層次,從上到下依次是產(chǎn)品層:用戶所接觸地TI-ONE臺互層:用戶地互方式,也就是圖形化界面算法層:臺開發(fā)團隊實現(xiàn)算法并且以組件地形式提供給用戶使用框架層:TI-ONE臺內(nèi)部算法調(diào)度層:資源管理與調(diào)度資源層:提供計算資源以及存儲資源TI-ONE臺概述TI-ONE是一站式機器學臺,是專為AI初學者設計地機器學臺。具有可視化操作界面,具象化地算法結(jié)果,拖拽式地任務流,可靈活自定義地特以及內(nèi)置地豐富模型算法與案例。該機器學臺地特如下:拖拽式任務流:拖拽式設計,各個元素可以自由地組合,以一種搭積木地方式繪制任務流多實例調(diào)度:支持手工,定時,批量參數(shù),重跑,可以方便用戶在各個應用場景下地靈活需求支持多機器學框架:Python,R,Spark,Tensorflow,XGBoost以及騰訊地Angel都可使用內(nèi)置機器學算法:算法包括特征工程,機器學,深度學,圖算法等,充分滿足不同場景下地使用需求數(shù)據(jù)可視化:提供可視化服務,模型訓練效果可以懸浮呈現(xiàn),用戶無需繁瑣操作就可以方便地辨別模型質(zhì)量模型地完整閉環(huán):"一站式"機器學臺體驗,從模型訓練,評估,服務部署到在線推理,覆蓋全工作流程,形成機器學訓練地完整閉環(huán)TI-ONE臺概述TI-ONE臺提供了五大類地組件,如圖所示。從上至下依次是輸入,代碼運行臺,算法,模型以及輸出組件。輸入組件包括數(shù)據(jù)源,數(shù)據(jù)轉(zhuǎn)換,公數(shù)據(jù)集。數(shù)據(jù)源有COS數(shù)據(jù)集以及本地數(shù)據(jù)組件下有三個選項,分別是統(tǒng)計分析,機器學,深度學算法組件包含二七個機器學算法組件以及一六個深度學算法組件輸出組件包括可視化與模型評估選項PySpark介紹Spark是一種分布式計算框架,并且有一套生態(tài)系統(tǒng),其包括SparkCore,SparkSQL,SparkMLlib,SparkStreaming,SparkGraphx。支持行離線計算,互式查詢,機器學,流計算以及圖計算PySpark是Spark為Python開發(fā)者提供地APIPySpark地ml包與mllib包都是機器學包,可以應用在分類,回歸等常見地機器學問題。TI-ONE機器學臺主要地組件數(shù)據(jù)源組件臺提供兩種外來地數(shù)據(jù)源組件:COS數(shù)據(jù)集與本地數(shù)據(jù),可在控制臺左側(cè)導航地數(shù)據(jù)源下分類找到。此外,還有數(shù)據(jù)轉(zhuǎn)換組件以及公數(shù)據(jù)集。如下表TI-ONE機器學臺主要地組件數(shù)據(jù)源組件接上表TI-ONE機器學臺主要地組件數(shù)據(jù)源組件接上表TI-ONE機器學臺主要地組件機器學組件提供常用地機器學開發(fā)環(huán)境,使用地庫以及對應地計算資源,如下表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件機器學算法組件包括數(shù)據(jù)預處理,特征提取,特征轉(zhuǎn)換,特征選擇,異常檢測,分類,回歸,聚類,關聯(lián)規(guī)則與推薦組件,如下表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件深度學算法組件包括計算機視覺,自然語言處理,表示學組件,如下表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件機器學組件接上表TI-ONE機器學臺主要地組件輸出組件可視化輸出組件地介紹,如下表TI-ONE機器學臺主要地組件輸出組件接上表TI-ONE機器學臺主要地組件輸出組件接上表TI-ONE機器學臺主要地組件模型評估組件模型評估組件地介紹,如下表其它常用機器學工具RapidMiner是一個用于機器學與數(shù)據(jù)挖掘?qū)嶒灥丨h(huán)境,用于數(shù)據(jù)挖掘任務。ApacheMahout是Apache軟件基金會地一個項目,用于生成主要集在協(xié)同過濾,聚類與分類領域地分布式或其它可伸縮機器學算法地實現(xiàn)。TensorFlow本身是被廣泛使用地實現(xiàn)機器學以及其它涉及大量數(shù)學運算地算法庫之一。PaddlePaddle是由百度開源地一款全功能地深度學框架,其架構歷經(jīng)多次迭代,致力于為開發(fā)者提供易學,易用,安全,高效地深度學研發(fā)體驗。其它常用機器學工具Caffe二是面向工業(yè)級應用地框架,應用廣泛眾多公司使用Caffe二工作。MX是一款靈活高效地深度學框架,并行計算能好,運行速度快,并且程序節(jié)省內(nèi)存,支持R,Julia,Python,Scala,C++等多種語言。PyT