MindSpore數(shù)據(jù)框架主要技術(shù)架構(gòu)及關(guān)鍵特性(華為陳雷)

MindSpore數(shù)據(jù)框架主要技術(shù)架構(gòu)及關(guān)鍵特性華為2012實(shí)驗(yàn)室陳雷AI開(kāi)發(fā)者面臨著各種各樣的數(shù)據(jù)問(wèn)題和挑戰(zhàn)?Garbage

In?Gold

Out數(shù)周~數(shù)月70%1.訓(xùn)練數(shù)據(jù)準(zhǔn)備開(kāi)銷(xiāo)，在整個(gè)訓(xùn)練過(guò)程占比超過(guò)70%2.訓(xùn)練數(shù)據(jù)多樣性不足，精度提升慢；3.訓(xùn)練數(shù)據(jù)量大，迭代時(shí)間長(zhǎng)；4.模型訓(xùn)練過(guò)程黑盒，模型結(jié)果可解釋性差，模型調(diào)優(yōu)效率低2MindSpore數(shù)據(jù)框架，直面AI數(shù)據(jù)問(wèn)題與挑戰(zhàn)，構(gòu)建端到端AI數(shù)據(jù)處理與可視化能力MindSpore

端邊云獨(dú)立的和協(xié)同的統(tǒng)一訓(xùn)練和推理框架提供端到端AI數(shù)據(jù)處理，有效降低數(shù)據(jù)準(zhǔn)備成本，縮短模型訓(xùn)練周期數(shù)據(jù)框架計(jì)算框架人機(jī)協(xié)同的半自動(dòng)標(biāo)注框架：快速搭建數(shù)據(jù)標(biāo)注系統(tǒng)，加速訓(xùn)練數(shù)據(jù)準(zhǔn)備AI數(shù)據(jù)可視MindExpression模型精度調(diào)優(yōu)模型性能調(diào)優(yōu)統(tǒng)一高效的自研數(shù)據(jù)格式：自描述可檢索的AI數(shù)據(jù)格式，讓訓(xùn)練數(shù)據(jù)處理更高效自定義可視化插件框架數(shù)據(jù)精煉：訓(xùn)練時(shí)間縮短10%，精度不下降A(chǔ)I數(shù)據(jù)處理GraphEngine半自動(dòng)化標(biāo)注

數(shù)據(jù)精煉訓(xùn)練數(shù)據(jù)高效處理訓(xùn)練過(guò)程可視、軟硬件全棧信息可視能力，顯著提升模型調(diào)優(yōu)效率和開(kāi)發(fā)者體驗(yàn)。高效AI數(shù)據(jù)格式模型精度調(diào)優(yōu)：錯(cuò)例可視化解釋、模型溯源與比對(duì)模型性能調(diào)優(yōu)：數(shù)據(jù)集可視、鞍點(diǎn)可視、學(xué)習(xí)率曲線端-邊-云協(xié)同分布式可信架構(gòu)31.訓(xùn)練數(shù)據(jù)準(zhǔn)備成本高的主要原因：數(shù)據(jù)標(biāo)注成本高自動(dòng)駕駛場(chǎng)景2D車(chē)輛/行人檢測(cè)模型為例百萬(wàn)級(jí)訓(xùn)練數(shù)據(jù)人工標(biāo)注需要數(shù)百人天4人機(jī)協(xié)同的半自動(dòng)標(biāo)注，顯著提高標(biāo)注效率，加速訓(xùn)練數(shù)據(jù)準(zhǔn)備人工標(biāo)注99%半自動(dòng)標(biāo)注數(shù)據(jù)半自動(dòng)標(biāo)注，典型場(chǎng)景下實(shí)現(xiàn)標(biāo)注準(zhǔn)確率99+%，標(biāo)注效率提升4倍52.解決訓(xùn)練數(shù)據(jù)讀取性能和多樣性不足問(wèn)題，需要高效數(shù)據(jù)處理能力模型調(diào)優(yōu)時(shí)，現(xiàn)有開(kāi)源框架不支持組合檢索，獲取特定訓(xùn)練數(shù)據(jù)困難。（如：自動(dòng)駕駛場(chǎng)景，需要補(bǔ)充

雪天有交通燈的圖片）6自描述、可檢索的AI數(shù)據(jù)格式，讓訓(xùn)練數(shù)據(jù)處理更高效訓(xùn)練數(shù)據(jù)集的問(wèn)題與挑戰(zhàn)關(guān)鍵特性1.

無(wú)統(tǒng)計(jì)，數(shù)據(jù)集理解難2.

無(wú)索引，數(shù)據(jù)查詢分析慢提供數(shù)據(jù)統(tǒng)計(jì)支持?jǐn)?shù)據(jù)集可視化，數(shù)據(jù)分布和統(tǒng)計(jì)直觀可見(jiàn)，分析快3.

海量小文件，讀取性能差0102解決方案:AI數(shù)據(jù)格式提供索引信息支持高效檢索，快速獲取和分析指定類型或組合條件數(shù)據(jù)StatisticsIndex自描述可檢索原始數(shù)據(jù)+標(biāo)注信息數(shù)據(jù)聚合提供數(shù)據(jù)聚合03支持高效訓(xùn)練數(shù)據(jù)讀取?

以ImageNet數(shù)據(jù)集為例，基于AI數(shù)據(jù)格式，訓(xùn)練數(shù)據(jù)訪問(wèn)性能顯著提升Schema元數(shù)據(jù)定義73.訓(xùn)練數(shù)據(jù)量大，包含大量低價(jià)值數(shù)據(jù)，嚴(yán)重影響訓(xùn)練效率迭代訓(xùn)練迭代訓(xùn)練網(wǎng)絡(luò)模型1模型訓(xùn)練訓(xùn)練數(shù)據(jù)D網(wǎng)絡(luò)模型2訓(xùn)練數(shù)據(jù)DXXX模型模型訓(xùn)練模型擇優(yōu)….迭代訓(xùn)練網(wǎng)絡(luò)模型n訓(xùn)練數(shù)據(jù)D模型訓(xùn)練同一訓(xùn)練數(shù)據(jù)多種網(wǎng)絡(luò)模型構(gòu)建不同模型，好中選優(yōu)訓(xùn)練數(shù)據(jù)量越來(lái)越大，訓(xùn)練時(shí)間越來(lái)越長(zhǎng)，有時(shí)需嘗試多種網(wǎng)絡(luò)模型，導(dǎo)致訓(xùn)練時(shí)間成倍增長(zhǎng)。如何剔除對(duì)訓(xùn)練精度影響很小的低價(jià)值數(shù)據(jù)，加速模型訓(xùn)練成為挑戰(zhàn)。8數(shù)據(jù)精煉，精準(zhǔn)識(shí)別并剔除低價(jià)值數(shù)據(jù)，讓訓(xùn)練更快速模型訓(xùn)練靜態(tài)數(shù)據(jù)精煉訓(xùn)練數(shù)據(jù)集動(dòng)態(tài)數(shù)據(jù)精煉精簡(jiǎn)后訓(xùn)練數(shù)據(jù)集高影響數(shù)據(jù)低影響數(shù)據(jù)中等影響數(shù)據(jù)模型精度不下降，訓(xùn)練時(shí)間減少超過(guò)10%（ResNet/Bert）94.為什么需要數(shù)據(jù)集可視？“亡羊補(bǔ)牢”成本高，嚴(yán)重影響訓(xùn)練性能以前：事后補(bǔ)救，“亡羊補(bǔ)牢”目標(biāo)：提前優(yōu)化，“未雨綢繆”模型結(jié)果差數(shù)據(jù)集可視訓(xùn)練時(shí)間↓30+%手工編寫(xiě)腳本分析訓(xùn)練數(shù)據(jù)集問(wèn)題訓(xùn)練數(shù)據(jù)集問(wèn)題調(diào)整數(shù)據(jù)分布或補(bǔ)充某些類型數(shù)據(jù)調(diào)整數(shù)據(jù)分布或補(bǔ)充某些類型數(shù)據(jù)模型結(jié)果滿足要求模型結(jié)果滿足要求10數(shù)據(jù)集可視例子：訓(xùn)練集不同數(shù)據(jù)類型分布可視11模型結(jié)果可解釋性差，無(wú)法得到圖片和文本分類錯(cuò)誤的原因，模型調(diào)優(yōu)難耗時(shí)長(zhǎng)？預(yù)測(cè)類別:實(shí)際類型：橙子圖片分類結(jié)果錯(cuò)誤，但是不知道為什么錯(cuò)？

無(wú)法得知分類依據(jù)的特征面包圈地產(chǎn)交易活躍家裝市場(chǎng)淡季不淡【本報(bào)訊】（記者徐強(qiáng)）進(jìn)入暑期，由于高溫和濕度的影響，裝修界通常會(huì)將這一時(shí)期視為“休眠期”，由此出現(xiàn)家裝市場(chǎng)所謂的“淡季”。但記者在近日采訪中發(fā)現(xiàn)，深圳家裝市場(chǎng)近段時(shí)間并沒(méi)出現(xiàn)預(yù)期中的淡季，相反舊房翻新改造、新房裝修布置等各種各樣的裝修工程反而多了起來(lái)。很多家裝公司接單的數(shù)量也較前幾個(gè)月增長(zhǎng)兩成左右。專家分析，這與近期深圳房地產(chǎn)交易活躍，以及新學(xué)期將至，很多家長(zhǎng)為方便孩子讀書(shū)換房有關(guān)。兩股力量帶旺暑期裝修。記者在百安居泰然店采訪時(shí)了解到，進(jìn)入6月份以來(lái)，家具和地板等裝修材料預(yù)測(cè)類別:房地產(chǎn)實(shí)際類型：家居？文本分類結(jié)果錯(cuò)誤，也不知道為什么錯(cuò)？因?yàn)橐粯硬恢婪诸愐罁?jù)。12圖片和文本分類錯(cuò)例可視化解釋，實(shí)現(xiàn)模型推理結(jié)果可解釋，有效加速模型調(diào)優(yōu)預(yù)測(cè)類別:面包圈實(shí)際類型：橙子通過(guò)熱力圖方式，展示決定圖片分類結(jié)果的關(guān)鍵特征區(qū)域，從而知道為何錯(cuò)了。預(yù)測(cè)類別:房地產(chǎn)實(shí)際類型：家居通過(guò)不同背景顏色深度，體現(xiàn)不同關(guān)鍵詞對(duì)分類結(jié)果的影響度，明確分類結(jié)果的決策依據(jù)。13MindSpore數(shù)據(jù)框架，聚焦AI端到端處理，從數(shù)據(jù)維度持續(xù)構(gòu)建關(guān)鍵能力，加速模型訓(xùn)練數(shù)據(jù)框架提供端到端AI數(shù)據(jù)處理，有效降低數(shù)據(jù)準(zhǔn)備成本，縮短模型訓(xùn)練周期AI數(shù)據(jù)可視人機(jī)協(xié)同的半自動(dòng)標(biāo)注框架：快速搭建數(shù)據(jù)標(biāo)注系統(tǒng)，加速訓(xùn)練數(shù)據(jù)準(zhǔn)備模型精度調(diào)優(yōu)模型性能調(diào)優(yōu)統(tǒng)一高效的自研數(shù)據(jù)格式：自描述可檢索的AI數(shù)據(jù)格式，讓訓(xùn)練數(shù)據(jù)處理更高效自定義可視化插件框架數(shù)據(jù)精煉：訓(xùn)練時(shí)間縮短10%，精度不下降A(chǔ)I數(shù)據(jù)處理訓(xùn)練過(guò)程可視、軟硬件全棧信息可視能力，顯著提升模型調(diào)優(yōu)效率和開(kāi)發(fā)者體驗(yàn)。半自動(dòng)化標(biāo)注數(shù)據(jù)精煉訓(xùn)練數(shù)據(jù)高效處理模型精度調(diào)優(yōu)：錯(cuò)例可視化解釋、模型溯源與比對(duì)模型性能調(diào)優(yōu)：數(shù)據(jù)集可視、鞍點(diǎn)可視、學(xué)習(xí)率曲線高效AI