從零開始玩轉(zhuǎn)AIGC-云+AI大模型的十大玩法搞定文生圖、專屬知識庫、數(shù)字分身等場景

5 48 56 82 90 98 113 125 132 第一章打造文生圖小應(yīng)用函數(shù)計算FC部署AI大模型實(shí)現(xiàn)文生圖本次實(shí)驗(yàn)將帶大家自己更換大模型，實(shí)現(xiàn)更高質(zhì)量的圖像生成。函數(shù)計算部署66內(nèi)的任何圖像，因?yàn)橛虚_源的預(yù)訓(xùn)練模型，所以我們也可以在自己的機(jī)器上運(yùn)行它。StableDiffusion能夠根據(jù)我們提供的一些提示詞以及可以調(diào)整的部分參數(shù)，通過模型計 數(shù)計算9.9老客戶專享套餐。無套餐直接使用會產(chǎn)生函數(shù)計算后付費(fèi)訂單，具體計費(fèi)元99公網(wǎng)出流量和磁盤使用量的費(fèi)用。如您未購買相關(guān)資源包，公網(wǎng)出流量使用量和超出再次提醒本實(shí)驗(yàn)可領(lǐng)用下方卡片中的函數(shù)計算免費(fèi)額度；首次開通函數(shù)計算的新客戶，可以購買新客首購套餐；如您是函數(shù)計算老客.如果您需要上傳自己的模型，可以在控制臺點(diǎn)擊“初始化模型管理” .模型下載完畢，文件管理/mnt/auto/sd/models/Stable-diffusion已經(jīng)保存的文件/mnt/auto/sd/models/Lora/目錄。.前往/#/，進(jìn)行基礎(chǔ)模型的篩選。.下載完畢后可以更改一下名稱，然后上傳至mnt/auto/sd/models/lora。ControlNet包含插件和模型兩部分。為了降低費(fèi)用消耗，建議先下載到本地后，通過/Mikubill/sd-webui-controlnet.確保擴(kuò)展插件目錄已存在sd-webui-controlnet，應(yīng)用并 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/mainhttps://huggingface.co/lllyasviel/Annotators/resolve/main/body_/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/body_pose_model.pthhttps://huggingface.co/lllyasviel/Annotators/resolve/main/hand_/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/hand_pose_model.pthhttps://huggingface.co/lllyasviel/Annotators/resolve/main/facen/mnt/auto/sd/extensions/sd-webui-controlnet-main/annotator/downloads/openpose/fa插件的地址為/huchenlei/sd-webui-openpose-editor“openpose_full”和“模型”為“control_v 使用阿里云NAS+PAI-EAS部署StableDiffusion文生圖模型在阿里云免費(fèi)試用的官網(wǎng)頁面中（/m/1000374869/可以找 建議工作空間按照工程來進(jìn)行命名（比如myn/code/stable-diffusion-webui/data，相當(dāng)于“/”這個子目錄就是我們所要指定的數(shù)據(jù)在默認(rèn)情況下，StableDiffusion只支持使用英文+有限的emoji顏文字來作為提示詞 AIGCStableDiffusion文生圖Lora模型微調(diào)實(shí)現(xiàn)虛擬上裝說明：試用云產(chǎn)品開通在您的個人賬號下，并占用您的試用權(quán)益。如試用超出免費(fèi)試用額ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge、ecs.gn7i-c8g1.2xlarge。.申請試用的免費(fèi)資源包與使用地域及可ecs.gn7i-c8g1.2xlarge（僅此規(guī)格可運(yùn)行本教程內(nèi)容）ecs.g6.xlargeecs.gn6v-c8g1.2xlargestable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu實(shí)例名稱資源類型選擇鏡像stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu2 如：Networkisunreachable、unabletoaccess'/......'，您可以重/aigc-/root/.cache/huggingface/acce說明：為了提升下載速度，本示例使用了gitcode開源庫鏡像，并在OSS上緩存了.stable-diffusion-webui.stablediffusion.taming-transformers.blipdefaria2(url,filename,d):"cn-shanghai":"http://pai-vision-data-sh.oss-cn-sh"cn-hangzhou":"http://pai-vision-data-hz2.oss-cn-ha"cn-shenzhen":"http://pai-vision-data-sz.oss-cn-sh"cn-beijing":"http://pai-vision-data-bj.oss-cn-b}dsw_region=os.environ.get("dsw_region")"http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.co/mirrors/AUTOMATIC1111/stable-diffusiorepositories_url=f"{prefix}/aigc-data/code/repositories.tar.gz"aria2(repositories_url,repositories_url.split("/")[-1],"./")/mirrors/DominikDoom/a1111-sd-webui-tagc/ranting8323/stable-diffusion-webui-local/aigc-config/config_tryon/Ea/Eats/try_on/train_textdisplay(Image.open("cloth_train_example/train/202304往huggingface官網(wǎng)下載。f"{prefix}/aigc-data/hug_model/models--CompVis-checker.tar.gz"aria2(safety_checker_url,safety_checker_url.split("/")[-1],"./")f"{prefix}/aigc-data/hug_model/models--openai--clip-vit-large-ar.gz"aria2(clip_url,clip_url.split("/")[-1],"./")==f"{prefix}/aigc-data/sd_models/chilloutmix_NiPrunedFp32Faria2(model_url,model_url.split("/")[-1],"stable-diffusion-webui/models/Stable-diffusion/")diffusers/scripts/convert_original_stable_diffusion_to_diffusers.py\--checkpoint_path=stable-diffusion-webui/models/Stutmix_NiPrunedFp32Fix.safeten--dump_path=chilloutmix=exportDATASET_NAME="cloth_tr--pretrained_model_name_or_path=$MODEL_NAME\--dataset_name=$DATASET_NAME--caption_column="text"\--train_batch_size=1\--num_train_epochs=200--num_train_epochs=200--checkpointing_steps=5000\--learning_rate=1e-04--lr_scheduler="constant"--lr_warmup_steps=0\--output_dir="cloth-model-lora"\--validation_prompt="cloth1"-/Ea--file='cloth-model-lora/pytorch_lora_weights.bin'stable-diffusion-webui/models/Lora/cloth_f"{prefix}/aigc-data/codeformer/detection_Resnet50_Final.pth"aria2(detection_url,detection_url.split("/")[-1],"stable-diffusion-webui/repositories/CodeFormer/weights/facelib/")parse_url=f"{prefix}/aigc-data/codeformer/parsing_parsenet.pth"aria2(parse_url,parse_url.split("/")[-1],"stable-diffusion-webui/repositories/CodeFormer/weights/facelib/")codeformer_url=f"{prefix}/aigc-data/codeformer/codeformer-v0.1.0.pth"aria2(codeformer_url,codeformer_url.split("/")[-1],"stable-diffusion-webui/models/Codeformer/")f"{prefix}/aigc-data/embedding/ng_deepnegative_v1_75t.pt"aria2(embedding_url,embedding_url.split("/")[-1],"stable-diffusion-webui/embeddings/")f"{prefix}/aigc-data/lora/koreanDollLikeness_v10.safetensors"aria2(model_lora_url,model_lora_url.split("/")[-1],"stable-diffusion-webui/models/Lora/")因，例如：Networkisunreachable、unabletoaccess'https://githubhair,softlighting,highquality,<lora:cloth_lorafingers,(watermark:1.2),(lette打造專屬知識庫請參見LangChain-Hologres。通過開源框架LangChain.Hologres：Hologres是一站式實(shí)時數(shù)倉引擎，與達(dá)摩院自研高性能向量計算軟件庫/aliyun/alibabacloud-hologres-con使用PAI-EAS模型在線服務(wù)即可快速部署LLaMA-2，詳情請參見L說明：您也可以按照本文步驟，使用其他大模型進(jìn)行專屬問答知識庫的搭建。其他大部署方式請參見LLM。cdcdalibabacloud-hologreseas_config大模型服務(wù)的調(diào)用信息（步驟1記錄的調(diào)用信息包括：damo/nlp_corom_sentence-embedding_english-base。real-timewriting,real-timeupdating,real-processingandreal-timeanalysisofmassivedata...Hologres...您可以在Hologres實(shí)例對應(yīng)數(shù)據(jù)庫下的langchain_embedding表中查詢embeddingid|embedding|metadata|document2419815e-1407-11ee-95261,0.123794,0.761932,0.413286,...}|{"source": 您可以繼續(xù)將問答知識庫接入實(shí)際業(yè)務(wù)場景進(jìn)行使用，如接入釘釘聊天群聊（參見使用基于Hologres向量計算與大模型免費(fèi)定制專屬聊天機(jī)器人簡介：本文為您介紹如何基于Hologres向量計算能力，可以將Hologres作為向量實(shí)時存儲和檢索引擎，把定制語料作為向量存儲并輸出給大模.使用Anaconda環(huán)境運(yùn)行如下命令安裝相關(guān)依賴：.單擊代碼與樣例數(shù)據(jù)或運(yùn)行如下命令克隆gitclone/al=<chat_model_name>(<temperature=0.1)bot=Chatbot(chat_model,args.cl行如下命令打開設(shè)置向?qū)?，各個設(shè)置項按回車跳過即可pythongenerate_config.py#-n供。它可以處理PB級別的數(shù)據(jù)，并提供了高性能的查詢和分析能力。Hologres支持SQL和為“GinIndex”的方法來加速jsonb類型的查詢。GinIn序中。jsonb是一種二進(jìn)制格式的JSON，它可以提供更快的查詢速度和更小的存儲空間。在運(yùn)行如下命令打開設(shè)置向?qū)?，并填寫連接信息。后續(xù)您也可以手動修改config/config.yaml文件來更新連接信息。pythonpythongenerate_con 準(zhǔn)備語料庫。本文以下載的代碼與樣例數(shù)據(jù)中data目錄下的example_data.csv文件為你是如何實(shí)現(xiàn)我采用Langchain框架進(jìn)行開發(fā)，Langchain是一個簡單易用的端采用Hologres進(jìn)行向量數(shù)據(jù)存儲，可以什么是實(shí)時數(shù)Hologres是阿里巴巴自主研發(fā)的一站式實(shí)時數(shù)倉引擎（Real-Time您可以在Hologres的langchain_pg_embedid|embedding|metadata|document2419815e-1407-11ee-95261,0.123794,0.761932,0.413286,...}|{"source":其中集成封裝了很多實(shí)用工具。我的后端采用Hologres進(jìn)行向量數(shù)據(jù)存儲，可以存儲大量文本大模型和語料庫效果驗(yàn)證。將上文語料庫對應(yīng)的向量數(shù)據(jù)輸入給大模型進(jìn)行提示詞微調(diào)，問題一：相較于原生大模型，經(jīng)語料庫優(yōu)化后的回答可以總結(jié)出HologresHuman:什么是HologresChatbot:Hologres是阿里巴巴自主研發(fā)的一站式實(shí)時數(shù)倉引擎 開始支持對于JSONB類型開啟列式存儲優(yōu)化，能夠降低JSONB數(shù)據(jù)的存儲大小并加速查詢。開啟JSONB列式存儲優(yōu)化后，系統(tǒng)會在底層自動將JSONB的列轉(zhuǎn)換為強(qiáng)Schema的列式存儲，查詢Human:Hologres中的列存jsonb是什么？Chatbot:Hologres中的列存JSONB是指將（可選）聊天機(jī)器人接入釘釘群聊。聊天機(jī)器人可以接入釘釘群聊，您也可以仿照http://localhost:8889/chatpythondingding_server.py>l了解Hologres：/product/bigdata/hologram使用PAI-DSW基于LangChain的檢索知識庫問答 稱型ecs.gn6v-c8g1.2xlarge。像選擇官方鏡像中的pytorch:1.12-gpu-p在打開的教程文件langchain_retrieval_question_answering.ipynb文件中，您可以直 —OpenSearchLLM智能問答版搭建對話式搜索服務(wù)就是只用來處理語言文字（或者符號體系）的AI模型，發(fā)現(xiàn)其中的規(guī)律，可以O(shè)penSearch基于阿里巴巴自主研發(fā)的大規(guī)模分布式搜索引擎搭建的一站式智能搜.開通阿里云賬號并登錄控制臺時，會提示先創(chuàng)建accesskey才能繼續(xù)使用。 問答測試支持通過API和SDK調(diào)用；打造你的數(shù)字分身用1張圖像生成數(shù)字人，快來制作你的AI視頻吧/v/318703/v/318704/v/318707/v/318710/v/318709/v/318708/v/318711/v/318727LivePortraitpipeline示意圖.描述：如果用戶上傳的是一段文字，我們會首先使用Text-to-Speech（TTS）技術(shù)將.描述：首先，我們將用戶上傳的照片輸入Encoder得到中間層特征；隨后，我們用/studios/DAMOXR/LivePortrait/summary獲取/保存視頻結(jié)果玩轉(zhuǎn)ControlNet：StableDiffusion制作藝術(shù)二維碼Diffusion做一個藝術(shù)二維碼，藝術(shù)化的二維碼不是單純的藝術(shù)作品，具備可識.注冊并登錄阿里云賬號.開通函數(shù)計算并領(lǐng)取試用額度/applications/create4）確認(rèn)知曉使用SD過程中產(chǎn)生的函數(shù)計算費(fèi)用及重要提醒，等待StableDiffusion您可以選擇喜歡的模型用以生成二維碼的風(fēng)格，本教程推薦模型庫中下載majicMixhttps://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/m下載地址：https://huggingface.co/ioclab/control_v1p_sd15_brightness6）上傳下載模型后上傳在文件夾中/mnt/auto/sd/models/ControlNet，重新加載/adc/scenario/b2cc0e1c3a6244e0bd9fc0f37acd5a0e(((1boy))),((masterpiece)),((bestqual