代碼大模型的場(chǎng)景價(jià)值和產(chǎn)品實(shí)戰(zhàn)

代碼大模型的場(chǎng)景價(jià)值和產(chǎn)品實(shí)戰(zhàn)汪晟杰騰訊產(chǎn)品專家目錄AISE的場(chǎng)景與代碼大模型的價(jià)值懂工程的AI代碼助手的實(shí)戰(zhàn)研效+AI+標(biāo)品化建設(shè)Part

01軟件工程+AI助手的挑戰(zhàn)軟件工程3.0里的編碼賽道的價(jià)值企業(yè)內(nèi)編碼+AI的挑戰(zhàn)解決思路300字以內(nèi)進(jìn)行概括性的案例介紹（突出亮點(diǎn)、案例獨(dú)特性等）軟件工程

AISEAISE的基本流程溝通編碼排錯(cuò)評(píng)審調(diào)優(yōu)代碼補(bǔ)全據(jù)當(dāng)前代碼類型、AST樹結(jié)構(gòu)等相關(guān)信息，進(jìn)行代碼補(bǔ)全，生成高質(zhì)量的代碼生成注釋代碼糾錯(cuò)有針對(duì)性地給予對(duì)應(yīng)的代碼，并替換錯(cuò)誤的代碼區(qū)塊代碼查錯(cuò)定位問(wèn)題并輔助生成建議代碼指令不用敲代碼，指令操作頁(yè)面修改代碼溝通通過(guò)

Q&A

進(jìn)行上下文推理給出回復(fù)代碼解釋A輔助指導(dǎo)當(dāng)前文件、類、函數(shù)的作用，幫助加速理解代碼邏輯。輔助MR校對(duì)輔助一鍵自動(dòng)生成提交信息代碼AI評(píng)審可生成評(píng)審建議生成單元測(cè)試AI在編碼中的挑戰(zhàn)01準(zhǔn)度/評(píng)測(cè)02成本/算力03質(zhì)量/安全大模型成本與體驗(yàn)的極限拉扯代碼補(bǔ)全技術(shù)對(duì)話單元測(cè)試代碼診斷訓(xùn)練 推理管理平臺(tái)模型工廠數(shù)據(jù)運(yùn)營(yíng)4+1+1代碼生成率代碼采納率對(duì)話采納率測(cè)試生成率耗時(shí)情況QPS全鏈路遙測(cè)體驗(yàn)成本用相對(duì)較低的推理成本，batch

計(jì)算，小于300ms的延遲預(yù)訓(xùn)練更小的代碼模型SFT

微調(diào)基于混元進(jìn)行大模型指令對(duì)齊和強(qiáng)化學(xué)習(xí)進(jìn)行行業(yè)模型的訓(xùn)練和推理優(yōu)化，提升產(chǎn)品響應(yīng)速度與交互體驗(yàn)反饋真實(shí)場(chǎng)景下的bad

base，挖掘行業(yè)場(chǎng)景價(jià)值補(bǔ)全在工程理解力上的實(shí)踐相關(guān)文件大模型相關(guān)函數(shù)表征Import

頭文件打開過(guò)的文件注釋表征上下文感知模塊質(zhì)量分后置處理截?cái)嗨惴↖DE、LSPToken窗口大小IDE表征Fillinthe

middlePrompt

組裝跨文件相似文件塊前綴后綴重復(fù)內(nèi)容截?cái)郃ST演示+Workshop理解工程的可見(jiàn)價(jià)值01數(shù)據(jù)安全

=

好02IDE+編碼效能

=

快03對(duì)話+工程理解

=

準(zhǔn)倉(cāng)庫(kù)代碼檢索+RAG01Codebase

Indexing02強(qiáng)化搜索03Embedding&速度大模型與項(xiàng)目工程代碼的極限拉扯代碼復(fù)雜度工程復(fù)雜度RAG項(xiàng)目工程結(jié)構(gòu)相關(guān)聯(lián)的跨多文件語(yǔ)法樹語(yǔ)法特征函數(shù)簽名+注釋優(yōu)先代碼大模型+FIM代碼大模型+圈選代碼倉(cāng)庫(kù)代碼檢索代碼大模型RAG大模型+知識(shí)庫(kù)/代碼庫(kù)+檢索增強(qiáng)技術(shù)文檔

/

代碼Chunks

/

知識(shí)片段知識(shí)庫(kù)

/

向量數(shù)據(jù)庫(kù)問(wèn)題IDE

插件向量ContentsPromptLLM

大模型文檔類型：代碼、技術(shù)文檔、規(guī)范文檔代碼要求：需要有文件級(jí)、方法級(jí)注釋格式規(guī)范，語(yǔ)法正確業(yè)務(wù)領(lǐng)域相關(guān)，具有代表性給出配套的MD文檔Agent

擴(kuò)展非特定領(lǐng)域問(wèn)題Embedding人工或自動(dòng)化地從示例代碼、配置和文檔中抽取出知識(shí)片段格式：<功能需求，代碼知識(shí)>1.代碼知識(shí)分為文件級(jí)、函數(shù)級(jí)和片段級(jí)三個(gè)級(jí)別，分別對(duì)應(yīng)不同復(fù)雜度的功能需求文件級(jí)：是代碼文件內(nèi)代碼元素的組合，通常代表一個(gè)功能函數(shù)級(jí)：一個(gè)獨(dú)立的函數(shù)片段級(jí)：Api接口調(diào)用Embedding使用向量化模型對(duì)前面的數(shù)據(jù)向量化后存入向量數(shù)據(jù)庫(kù)檢索topK

召回element：代碼片段內(nèi)容path：代碼文件路徑docstring：功能需求描述Vector

：向量結(jié)果element_with_doc

：代碼經(jīng)過(guò)大模型的解釋結(jié)果granularity

：知識(shí)粒度url

：引用倉(cāng)庫(kù)地址閾值檢查關(guān)鍵字組合過(guò)濾<功能需求，代碼知識(shí)><功能需求，代碼知識(shí)><功能需求，代碼知識(shí)><功能需求，代碼知識(shí)>……固定格式請(qǐng)求LLM模型返回結(jié)果請(qǐng)學(xué)習(xí)以下文檔：<功能需求，代碼知識(shí)>（格式化）<功能需求，代碼知識(shí)>（格式化）<功能需求，代碼知識(shí)>（格式化）根據(jù)以上文檔回答問(wèn)題：?jiǎn)栴}XXXXRAG

的場(chǎng)景，需要將repetition_penalty設(shè)為1，讓模型參考prompt中的知識(shí)需要做好RAG的能力測(cè)評(píng)，根據(jù)測(cè)評(píng)結(jié)果來(lái)調(diào)整中間過(guò)程產(chǎn)品在內(nèi)部落地的架構(gòu)分層應(yīng)用層中間層基礎(chǔ)層預(yù)訓(xùn)練模型模型混合平臺(tái)行業(yè)模型 混元模型企業(yè)自有模型精度調(diào)優(yōu)模型評(píng)測(cè)平臺(tái)模型訓(xùn)練自有數(shù)據(jù)訓(xùn)練集開源代碼微調(diào)自有內(nèi)部代碼、工蜂代碼提示工程文本提示到代碼補(bǔ)全代碼上下文推理文本執(zhí)行指令到運(yùn)行Vector

Store

擴(kuò)大模型的代碼領(lǐng)域的知識(shí)代碼工程領(lǐng)域上下文記憶 會(huì)話騰訊云

VectorDB基于代碼輔助的大模型服務(wù)AI

代碼輔助

模型角色Fill

in

Middle

補(bǔ)全正負(fù)反饋CloudStudioJetBrain全家桶VSCode瀏覽器插件IDE平臺(tái)下應(yīng)用抽象交互編碼輔助實(shí)現(xiàn)技術(shù)溝通 代碼排錯(cuò)代碼補(bǔ)全

文件生成代碼指令工程理解力增強(qiáng)AI

評(píng)審跨文件上下文的開發(fā)輔助向量和對(duì)話的生成式腳手架、終端命令A(yù)ISE下的單元測(cè)試場(chǎng)景走過(guò)的彎路AI

輔助的端到端軟件研發(fā)過(guò)程自動(dòng)/輔助完成項(xiàng)目計(jì)劃制定和排期輔助完成需求細(xì)化、拆分以及分解到用戶故事和任務(wù)自動(dòng)生成驗(yàn)收標(biāo)準(zhǔn)代碼反向工程生成項(xiàng)目文檔基于AI給出代碼評(píng)審意見(jiàn)，輔助完成源代碼評(píng)審，打破技術(shù)鴻溝產(chǎn)品/項(xiàng)目經(jīng)理開發(fā)人員市場(chǎng)人員市場(chǎng)人員用戶行為分析大量用戶反饋數(shù)據(jù)處理提取并生成高質(zhì)量產(chǎn)品需求、改進(jìn)點(diǎn)市場(chǎng)人員設(shè)計(jì)師（UI/UX）自動(dòng)生成UI原型基于原型自動(dòng)生成可用的界面代碼（html/CSS）組件測(cè)試人員技術(shù)支持海量日志分析和關(guān)鍵信息提取自動(dòng)分析運(yùn)維問(wèn)題并定位到代碼根據(jù)內(nèi)部知識(shí)庫(kù)快速檢索和響應(yīng)用戶問(wèn)題，提高用戶滿意度AI輔助結(jié)對(duì)編程代碼補(bǔ)全和生成代碼分析和交互式代碼生成輔助調(diào)試，安全問(wèn)題監(jiān)測(cè)和性能改進(jìn)基于用戶故事生成測(cè)試用例、測(cè)試步驟和預(yù)期結(jié)果從代碼自動(dòng)生成測(cè)試腳本根據(jù)數(shù)據(jù)結(jié)構(gòu)描述自動(dòng)生成大量場(chǎng)景化測(cè)試數(shù)據(jù)自動(dòng)執(zhí)行生成的測(cè)試自動(dòng)化腳本AISE下的單元測(cè)試生成的難點(diǎn)附錄：/mhevery/guide-to-testable-code如何寫可測(cè)試的單元測(cè)試測(cè)試方法種類多， 框架多項(xiàng)目本身不具備可單測(cè)，難以mock生成質(zhì)量難以運(yùn)行，無(wú)標(biāo)準(zhǔn)最佳實(shí)踐大模型的單元測(cè)試可行性增加示例代碼，感知框架語(yǔ)法樹找相關(guān)跨文件、依賴文件的調(diào)用鏈策略感知Mock對(duì)象，生成完整可執(zhí)行的單測(cè)Lifeofa

CompletionPart

02懂工程的最佳AI代碼助手使用范式用好Coding

Copilot的幾個(gè)點(diǎn)學(xué)會(huì)更好的提示詞工程3S原則、3TNB、Agent

FlowIDE的深度集成

–

演示Jetbrain的深度集成

–

演示Agent擴(kuò)展提示詞工程

–

3S原則提示工程的基本原理，可以總結(jié)為3個(gè)S

如下。這些核心規(guī)則是創(chuàng)建有效提示的基礎(chǔ)。單個(gè)

Single：始終將提示集中在單個(gè)、定義明確的任務(wù)或問(wèn)題上。具體

Specific：確保說(shuō)明明確且詳細(xì)，最好能附帶一個(gè)示例或者模擬信息結(jié)構(gòu)。具體且具象帶來(lái)理解會(huì)帶來(lái)更精確的代碼建議。簡(jiǎn)短

Short：在具體的同時(shí)，保持提示簡(jiǎn)明扼要。這種平衡確保了清晰度，而不會(huì)使騰訊云AI代碼助手超載或使交互復(fù)雜化。提示詞工程

–

N

Shot對(duì)話總結(jié)下輪對(duì)話建議一次新會(huì)話一次當(dāng)前上下文補(bǔ)全場(chǎng)景-

單元測(cè)試：1.

ex:多文件示例2.ex:框架示例Part

03懂工程的最佳AI代碼助手使用范式用好Coding

Copilot的幾個(gè)點(diǎn)學(xué)會(huì)更好的提示詞工程3S原則、3TNB、Agent

Flow利用前

25

個(gè)指標(biāo)提高開發(fā)人員的工作效率參考：/@shallabh.dixitt/github-

copilot-unleashed-elevating-developers-productivity-with-top-25-metrics-7edc94e655a6企業(yè)管理-效率看板總用戶數(shù)IDE

插件安裝總量日新增插件安裝總量DAU用戶指標(biāo)代碼補(bǔ)全日次留存技術(shù)對(duì)話

DAUIDE

活躍情況代碼補(bǔ)全

DAU代碼補(bǔ)全周留存代碼補(bǔ)全月留存代碼補(bǔ)全生成率代碼補(bǔ)全接受率對(duì)話次數(shù)代碼補(bǔ)全總行數(shù)代碼補(bǔ)全接受率代碼補(bǔ)全次數(shù)點(diǎn)贊次數(shù)代碼補(bǔ)全后有效率技術(shù)指標(biāo)點(diǎn)踩次數(shù)代碼復(fù)制次數(shù)代碼插入光標(biāo)次數(shù)代碼補(bǔ)全接受率代碼插入新文件次數(shù)接受率曲線代碼插入命令行次數(shù)AI助手帶來(lái)的研效是一個(gè)新話題1、領(lǐng)導(dǎo)怎么看這事兒？（領(lǐng)導(dǎo)是怎么思考的，是否獲得高層站臺(tái)）2、有無(wú)運(yùn)營(yíng)資源配合？（是否有專門人力/物力）3、有沒(méi)有試點(diǎn)或存在推廣阻礙的點(diǎn)？（試點(diǎn)人員配合意愿及工作安排是否領(lǐng)導(dǎo)許可）4、目前運(yùn)營(yíng)目標(biāo)計(jì)劃/策略及后續(xù)運(yùn)營(yíng)策略（運(yùn)營(yíng)怎么思考的？想怎么干）5、需要什么支撐，自己用沒(méi)用，當(dāng)前問(wèn)題怎么推進(jìn)解決的（是否需要資源支持？）6、為什么要用

AI代碼助手（研發(fā)是怎么思考的）Part

04總結(jié)展望未來(lái)騰訊云AI代碼助手小結(jié)1、下一個(gè)AI時(shí)代改變了編碼習(xí)慣和過(guò)程。2、對(duì)代碼大模型的極限拉扯下的產(chǎn)品體驗(yàn)與權(quán)衡。3、深度探索提示工程（N

Shot、3S等）、代碼模型能力和AI應(yīng)用框架是AI產(chǎn)品的重要組成部分，它們可以幫助我們更好地定義新的軟件模式。4、產(chǎn)品開發(fā)指標(biāo)會(huì)作為新的研效指標(biāo)，目前還是強(qiáng)運(yùn)營(yíng)產(chǎn)品。5、新場(chǎng)景是機(jī)遇。對(duì)話+RAG、補(bǔ)全+跨文件，有