人工智能深度學(xué)習(xí)綜合實(shí)踐 課件 9.自然語(yǔ)言處理模型部署-服務(wù)端部署應(yīng)用案例

自然語(yǔ)言處理模型部署自然語(yǔ)言處理模型應(yīng)用課堂導(dǎo)入你知道自然語(yǔ)言處理模型部署的方式有什么嗎？客戶端部署服務(wù)端部署課堂導(dǎo)入

在人工智能快速發(fā)展的時(shí)代，越來(lái)越多的自然語(yǔ)言處理模型被應(yīng)用于不同的場(chǎng)景。模型部署為自然語(yǔ)言處理模型應(yīng)用的主要步驟，包括客戶端部署和服務(wù)端部署等方式。應(yīng)根據(jù)不同的場(chǎng)景、模型的請(qǐng)求返回速度等方面的情況選擇不同的部署方式，以便將模型以最方便、快捷的方式應(yīng)用到實(shí)際的服務(wù)場(chǎng)景中。使用服務(wù)端部署的自然語(yǔ)言處理應(yīng)用在日常生活中比較常見，如電商平臺(tái)的口碑分析、消費(fèi)者輔助決策等，都是通過客戶端獲取相應(yīng)數(shù)據(jù)并將數(shù)據(jù)發(fā)送至服務(wù)端進(jìn)行自然語(yǔ)言處理，以降低客戶端的算力資源要求。項(xiàng)目目標(biāo)（1）了解服務(wù)端部署應(yīng)用案例。（2）掌握PaddleHub自然語(yǔ)言處理模型的本地部署方式。（3）了解PaddleHub自然語(yǔ)言處理模型的服務(wù)端部署方式。（4）能夠使用PaddleHub部署自然語(yǔ)言處理模型并進(jìn)行應(yīng)用。項(xiàng)目描述深度學(xué)習(xí)模型應(yīng)用的主要步驟就是模型部署，其中模型部署包括本地部署、服務(wù)端部署以及軟硬一體化部署等方式。根據(jù)不同的場(chǎng)景選擇不同的部署方式，需要考慮模型的請(qǐng)求返回速度等方面的情況，將模型以最方便快捷的方式應(yīng)用到實(shí)際的服務(wù)場(chǎng)景中來(lái)。本地部署軟硬一體化部署服務(wù)端部署項(xiàng)目描述使用服務(wù)端部署的深度學(xué)習(xí)應(yīng)用案例,都通過應(yīng)用端獲取相應(yīng)數(shù)據(jù)并將數(shù)據(jù)發(fā)送至服務(wù)端進(jìn)行情感分析，以降低應(yīng)用端的算力資源要求。了解服務(wù)端部署應(yīng)用案例掌握PaddleHub深度學(xué)習(xí)模型的部署方式將訓(xùn)練好的模型進(jìn)行本地部署以及服務(wù)端部署調(diào)用相關(guān)接口實(shí)現(xiàn)模型部署預(yù)測(cè)在互聯(lián)網(wǎng)時(shí)代，更多的人工智能都是依靠服務(wù)端進(jìn)行應(yīng)用部署的，例如智能語(yǔ)音助手，智能語(yǔ)音助手的背后是通過自然語(yǔ)言處理和自然語(yǔ)言生成這兩項(xiàng)基礎(chǔ)技術(shù)合成的。服務(wù)端部署應(yīng)用案例智能語(yǔ)音助手的實(shí)現(xiàn)流程在百度AI人工智能開放平臺(tái)上，已經(jīng)開放了很多人工智能的API接口，實(shí)質(zhì)上都是通過向服務(wù)端發(fā)送數(shù)據(jù)請(qǐng)求，服務(wù)端在接收到數(shù)據(jù)之后通過模型接口進(jìn)行處理并返回相應(yīng)的數(shù)據(jù)，最后將處理之后的結(jié)果再重新返回到發(fā)送端。服務(wù)端部署應(yīng)用案例PaddleHub本地部署

PaddleHub提供hublist用于存放下載的預(yù)訓(xùn)練模型，通過調(diào)用相關(guān)接口即可快速實(shí)現(xiàn)模型的本地部署及預(yù)測(cè)。通過PaddleHub實(shí)現(xiàn)本地部署及預(yù)測(cè)的具體步驟為使用Module()函數(shù)加載指定模型，并準(zhǔn)備好待預(yù)測(cè)數(shù)據(jù)，通過調(diào)用predict()接口向模型發(fā)送預(yù)測(cè)數(shù)據(jù)，即可實(shí)現(xiàn)模型的本地部署及預(yù)測(cè)。PaddleHub服務(wù)端部署

PaddleHub提供一鍵式服務(wù)端部署工具PaddleHubServing，用戶使用PaddleHubServing能夠通過簡(jiǎn)單的PaddleHub命令行工具輕松、快速部署預(yù)訓(xùn)練模型，并啟動(dòng)在線預(yù)測(cè)服務(wù)。

使用PaddleHub下載至本地hublist的模型?？赏ㄟ^兩種方式啟動(dòng)PaddleHubServing服務(wù)將模型部署到服務(wù)端，一種是通過命令行啟動(dòng)，另一種是通過配置文件啟動(dòng)。PaddleHub服務(wù)端部署兩種PaddleHub服務(wù)端部署方式的流程PaddleHub服務(wù)端部署

hubservingstart--modules[Module1==Version1,

Module2==Version2,...]\

--portXXXX\

--use_gpu\

--use_multiprocess\

--workers\命令行啟動(dòng)

在命令行終端執(zhí)行PaddleHub命令即可實(shí)現(xiàn)在服務(wù)端部署模型，并啟動(dòng)在線預(yù)測(cè)服務(wù)，命令如下。PaddleHub服務(wù)端部署命令參數(shù)說明PaddleHub服務(wù)端部署配置文件啟動(dòng)

使用配置文件啟動(dòng)服務(wù)，首先需要?jiǎng)?chuàng)建配置文件，文件格式為JSON格式，文件示例內(nèi)容如下。{“modules_info”:{“yolov3_darknet53_coco2017”:{“init_args”:{“version”:“1.0.0”},“predict_args”:{“batch_size”:1,“use_gpu”:false

PaddleHub服務(wù)端部署}},“l(fā)ac”:{“init_args”:{“version”:“1.1.0”},“predict_args”:{“batch_size”:1,“use_gpu”:false}}},“port”:8866,“use_multiprocess”:false,“workers”:2}PaddleHub服務(wù)端部署配置文件參數(shù)說明PaddleHub服務(wù)端部署

在配置文件中根據(jù)實(shí)際情況修改完參數(shù)值后，在命令行終端中使用以下命令在服務(wù)端部署模型，并啟動(dòng)在線預(yù)測(cè)服務(wù)。

執(zhí)行完上述命令后即表示使用PaddleHubServing部署服務(wù)端的模型預(yù)測(cè)服務(wù)。

在啟動(dòng)PaddleHubServing部署服務(wù)端的模型預(yù)測(cè)服務(wù)后，就可以在客戶端訪問預(yù)測(cè)接口以獲取結(jié)果，接口URL的格式為“:8866/

predict/<MODULE>”。其中，8866為服務(wù)端口號(hào)，若啟動(dòng)服務(wù)時(shí)指定了端口號(hào)則需對(duì)應(yīng)修改；<MODULE>為模型名，通過發(fā)送POST請(qǐng)求即可獲取預(yù)測(cè)結(jié)果。hubservingstart--configconfig.json部署情感分類模型實(shí)施思路

基于對(duì)項(xiàng)目描述和知識(shí)準(zhǔn)備內(nèi)容的學(xué)習(xí)，讀者應(yīng)該已經(jīng)了解了關(guān)于PaddleHub的兩種部署方式。接下來(lái)將通過本地部署和服務(wù)端部署兩種不同的部署方式，實(shí)現(xiàn)項(xiàng)目8“自然語(yǔ)言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用”中的情感分類模型的部署。PaddleHub本地部署實(shí)施步驟步驟1：準(zhǔn)備模型

在進(jìn)行模型部署前，需要先準(zhǔn)備模型所需的參數(shù)文件。讀者若想使用自己的模型參數(shù)文件，可以先將項(xiàng)目8“自然語(yǔ)言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用”中訓(xùn)練好的模型參數(shù)文件下載至本地，也可以使用平臺(tái)中best_model目錄下已提供的模型參數(shù)文件，模型參數(shù)文件將于后續(xù)加載模型時(shí)使用。將自己的模型參數(shù)文件下載至本地并上傳至平臺(tái)的具體步驟如下。PaddleHub本地部署實(shí)施步驟（1）進(jìn)入項(xiàng)目8“自然語(yǔ)言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用”中介紹的人工智能交互式在線實(shí)訓(xùn)及算法校驗(yàn)系統(tǒng)，首先進(jìn)入“ckpt”文件夾，然后進(jìn)入best_model目錄。（2）勾選“model.pdparams”文件對(duì)應(yīng)的復(fù)選框后，單擊“download”按鈕，將模型參數(shù)文件下載至本地。（3）下載完成后，回到人工智能交互式在線實(shí)訓(xùn)及算法校驗(yàn)系統(tǒng)中單擊“upload”按鈕將下載的模型參數(shù)文件上傳至data目錄下即可。PaddleHub本地部署實(shí)施步驟步驟2：準(zhǔn)備數(shù)據(jù)

模型準(zhǔn)備完成后，將需要預(yù)測(cè)的數(shù)據(jù)按指定格式設(shè)置好，并定義標(biāo)簽列表，以便后續(xù)進(jìn)行模型加載和預(yù)測(cè)。步驟3：加載模型

接下來(lái)使用PaddleHub對(duì)已經(jīng)訓(xùn)練完成的ernie_tiny模型進(jìn)行加載，需要配置Module()函數(shù)中的相關(guān)參數(shù)才能正確加載模型。PaddleHub本地部署實(shí)施步驟

對(duì)函數(shù)中的參數(shù)進(jìn)行如下說明。name：模型名稱，即需要加載的模型的名稱，這里使用的是ernie_tiny模型。task：任務(wù)類型，可選項(xiàng)有seq-cls（文本分類）或token-cls（序列標(biāo)注任務(wù)）。這里的主要任務(wù)為文本分類，因此設(shè)置為seq-cls。load_checkpoint：模型參數(shù)文件路徑，即步驟1中參數(shù)文件的下載路徑。label_map：用于匹配模型標(biāo)簽的標(biāo)簽字典。步驟4：預(yù)測(cè)結(jié)果

等待模型加載完成后，使用以下代碼即可實(shí)現(xiàn)對(duì)模型的部署預(yù)測(cè)。PaddleHub服務(wù)端部署實(shí)施步驟修改模型文件的參數(shù)，通過命令行啟動(dòng)服務(wù)創(chuàng)建配置文件啟動(dòng)服務(wù)0102PaddleHub服務(wù)端部署實(shí)施步驟運(yùn)行所需環(huán)境包括：PaddlePaddle2.0.2paddlepaddle-gpu2.0.2.post100（使用GPU部署時(shí)使用）PaddleHub2.1.0PaddleHub服務(wù)端部署實(shí)施步驟命令行啟動(dòng)加載模型預(yù)測(cè)模型服務(wù)0102修改文件03使用命令行啟動(dòng)模型服務(wù)04PaddleHub服務(wù)端部署實(shí)施步驟配置文件啟動(dòng)01加載模型02創(chuàng)建配置文件03使用配置文件啟動(dòng)模型服務(wù)04預(yù)測(cè)模型服務(wù)知識(shí)拓展

PaddleHub中集成了很多預(yù)訓(xùn)練模型，可以通過調(diào)用Module()加載指定版本的模型，加載后的模型會(huì)默認(rèn)儲(chǔ)存在hublist中，可用于遷移學(xué)習(xí)和模型預(yù)測(cè)。具體使用PaddleHub的Module()加載預(yù)訓(xùn)練模型的示例代碼如下。#導(dǎo)入PaddleHubimportpaddlehubashub#加載ernie_tiny模型model=hub.Module(name=‘ernie_tiny’,version=‘2.0.2’)知識(shí)拓展

上述代碼為加載2.0.2版本的ernie_tiny模型，其中name參數(shù)表示模型的名稱，用于指定加載的模型，version參數(shù)表示模型的版本號(hào)，用于指定加載模型的版本號(hào)，如不添加該參數(shù)則默認(rèn)加載最新版本的模型。加載完成后可以

在命令行終端使用“hublist”命令查看模型的下載位置。

如果想加載Pad