OpenAI：GPT+最佳實(shí)踐（大白話編譯解讀版）

寫在前面這是我們策劃的《提示詞工程祛魅》主題大會(huì)的附屬產(chǎn)品。來自O(shè)penAI寫在前面這是我們策劃的《提示詞工程祛魅》主題大會(huì)的附屬產(chǎn)品。來自O(shè)penAI的官方文檔。今年6月份，OpenAI更新了這一篇題目為《GPT最佳實(shí)踐/GPTBestPractice》的文檔；里面介紹了一些與ChatGPT交互的技巧，且附有用例。首先，這部分內(nèi)容本來就是完全免費(fèi)、完全公開的。同時(shí)，它是用通俗的英語寫成，并不是一份晦澀難懂的技術(shù)文檔。人人都可以通過掌握這些簡單的原則，“gettingbetterresultsfromGPTs”讓GPT為你輸出想要的結(jié)果。因?yàn)槲覀儧]有看到特別好的中文版本，所以我們自己對它進(jìn)行了重新編譯，讓語言風(fēng)格盡量直白，并補(bǔ)充了一些在中文互聯(lián)網(wǎng)環(huán)境里更容易理解的用例，形成了這份“大白話編譯解讀版本”的OpenAI：GPT最佳實(shí)踐。歡迎大家閱讀和交流。希望我們編譯這份材料的目標(biāo)能基本達(dá)到，即：為提示詞工程「祛魅」（中譯中：有些付費(fèi)課不必買）。第一部分第二部分六大提示詞策略概覽技巧實(shí)戰(zhàn)更新日期：2023-10-2感謝下列參與者感謝下列參與者《提示詞工程祛魅進(jìn)階》主題大會(huì)的Speakers陳財(cái)貓和Rain。協(xié)助籌辦活動(dòng)的：謝國希謝老師、以及HackHouse的各位童鞋。OpenAI推薦的相關(guān)資源列表以下均在OpenAICookbook里：lib/工具Promptinglibraries&tools提示詞工程指南Promptingguides視頻課Videocourses論文Papersonadvancedpromptingtoimprovereasoning另外，OpenAICommunity里也有很多寶貴的討關(guān)于@AI加一切各行各業(yè)的人們怎么利用生成式AI輔助自己的學(xué)習(xí)和工作？這項(xiàng)技能在未來一定會(huì)成為職業(yè)教育和義務(wù)教育的一個(gè)重要部分。我們希望以「內(nèi)容策展」的方式，通過邀請?jiān)谧晕覀兿Ｍ浴竷?nèi)容策展」的方式，通過邀請?jiān)谧约盒袠I(yè)里有充分經(jīng)驗(yàn)的Speakers做主題分享，來完成這類信息的收集整理和傳遞。Includedetailsinyourquerytogetmorerelevantanswers附錄OpenAIPlayground是什么，怎么用？第一部分六大策略概覽六個(gè)能提高輸出質(zhì)量的核心提示詞策略SixstrategiesforgettingbetterresultsThisguidesharesstrategiesandtacticsforgettingbetterresultsfromGPTs.Themethodsdescribedherecansometimesbedeployedincombinationforgreatere?ect.Weencourageexperimentationto?ndthemethodsthatworkbestforyou.這是一份指南。我們列出了一些策略和技巧，它們或許能幫你從GPT中拿到更好的輸出結(jié)果。我們鼓勵(lì)你多試通過自己反復(fù)實(shí)驗(yàn)，找出最合適的技巧。Someoftheexamplesdemonstratedherecurrentlyworkonlywithourmostcapablemodel,gpt-4.Ifyoudon'tyethaveaccesstogpt-4considerjoiningthewaitlist.Ingeneral,ifyou?ndthataGPTmodelfailsatataskandamorecapablemodelisavailable,it'so?enworthtryingagainwiththemorecapablemodel.有些用例只在目前地表最強(qiáng)模型gpt-4上生效。記住，模型是第一大影響要素。只要你有更強(qiáng)的模型可用，我們一般都會(huì)建議你用更強(qiáng)的模型。WriteclearinstructionsGPTscan’treadyourmind.Ifoutputsaretoolong,askforbriefreplies.Ifoutputsaretoosimple,askforexpert-levelwriting.IfyouAskthemodeltoadoptapersonaAskthemodeltoadoptapersona1.2搞角色扮演，一直很好用Usedelimiterstoclearlyindicatedistinctpartsoftheinput1.3使用分隔符號，明確地把話和話區(qū)分開來Specifythestepsrequiredtocompleteatask1.4解題步驟，你自己最好也負(fù)責(zé)展開Provideexamples1.5多給舉幾個(gè)例子Specifythedesiredlengthoftheoutput1.6說一下你想要多長的答案02-延伸：“發(fā)閱讀材料”的技巧Instructthemodeltoanswerusingareferencetext2.1要求按閱讀材料作答，不開放答Instructthemodeltoanswerwithcitationsfromareferencetext2.2增加要求：要求GPT直接把閱讀材料里的原文引用出來disliketheformat,demonstratetheformatyou’dliketosee.ThelessGPTshavetoguessatwhatyouwant,themorelikelyyou’llgetit.清晰地告訴GPT，你想要什么。GPT不會(huì)讀心術(shù)。你不說，它就猜。所以有時(shí)不是能力不行，就是你沒說清，它沒猜準(zhǔn)?！は虞敵鎏L？那就直說，要短的?！は虞敵鎏唵?？要求提高，說要專家級·嫌格式不好？給它看個(gè)樣。你讓它猜你的心思猜得越少，結(jié)果就越好。0202Γ給GPT發(fā)閱讀材料」ProvidereferencetextGPTscancon?dentlyinventfakeanswers,especiallywhenaskedaboutesoterictopicsorforcitationsandURLs.Inthesamewaythatasheetofnotescanhelpastudentdobetteronatest,providingreferencetexttoGPTscanhelpinansweringwithfewerfabrications.GPT經(jīng)常自編答案。瞎編重災(zāi)區(qū)：比較冷門的問題、需要引用，需要讀取鏈接的問題。我們都知道，最常見的考試題型，是給—大篇閱讀材料，要求閱讀并回答問題。純開放式問答對于人和機(jī)器來說都比較難。03-延伸：“任務(wù)拆解03-延伸：“任務(wù)拆解”的技巧Useintentclassi?cationtoidentifythemostrelevantinstructionsforauserquery.3.1使用意圖分類，來找到最切題的提示Fordialogueapplicationsthatrequireverylongconversations,summarizeor?lterpreviousdialogue.3.2如果是一段很長的對話，可以經(jīng)常對上文做手動(dòng)總結(jié)歸納。（起提醒作用，防止把天兒聊跑了）Summarizelongdocumentspiecewiseandconstructafullsummaryrecursively.3.3遇到長文檔,主動(dòng)分段總結(jié)，遞歸構(gòu)造完整摘要04-延伸：“允許思考”的技巧Instructthemodeltoworkoutitsownsolutionbeforerushingtoaconclusion.Useinnermonologueorasequenceofqueriestohidethemodel'sreasoningprocess.4.2內(nèi)心獨(dú)白法：不想暴露推理過程時(shí)的操作那么同理，把你的“閱讀材料”給GPT粘貼過去，當(dāng)它必須按照材料來回答的時(shí)候，它就不0303Γ把復(fù)雜任務(wù)拆解成子任務(wù)」SplitcomplextasksintosimplersubtasksJustasitisgoodpracticeinso?wareengineeringtodecomposeacomplexsystemintoasetofmodularcomponents,thesameistrueoftaskssubmittedtoGPTs.Complextaskstendtohavehighererrorratesthansimplertasks.Furthermore,complextaskscano?enbere-de?nedasawork?owofsimplertasksinwhichtheoutputsofearliertasksareusedtoconstructtheinputstolatertasks.在軟件開發(fā)和常規(guī)的項(xiàng)目管理里，大項(xiàng)目都得拆解成子任務(wù)，再拆解出不同的步驟。讓GPT做任務(wù)也—樣。直接搞—個(gè)大任務(wù)容易翻車。拆解開來，一個(gè)接一個(gè)做，反而容易些。0404Γ允許GPT思考一下」GiveGPTstimeto"think"Ifaskedtomultiply17by28,youmightnotknowitinstantly,butcanstillworkitoutwithtime.Similarly,GPTsmakemorereasoningerrorswhentryingtoanswerrightaway,ratherthantakingtimetoworkoutananswer.Askthemodelifitmissedanythingonpreviouspasses.Askthemodelifitmissedanythingonpreviouspasses.4.3最后問它一句：哎，你有沒有漏掉啥05-延伸：“利用工具”的技巧Useembeddings-basedsearchtoimplemente?cientknowledgeretrieval.5.1用向量數(shù)據(jù)庫來輔助知識庫檢索（Embeddings-basedsearch）UsecodeexecutiontoperformmoreaccuratecalculationsorcallexternalAPIs.5.2做精確計(jì)算的時(shí)候：執(zhí)行代碼、調(diào)APIGivethemodelaccesstospeci?cfunctions.5.3使用Function-Call，函數(shù)調(diào)用06-延伸：“實(shí)驗(yàn)”技巧Evaluatemodeloutputswithreferencetogold-standardanswers.6.1評估模型輸出的時(shí)候，需要你弄一個(gè)最牛的優(yōu)質(zhì)答案，來做參考標(biāo)準(zhǔn)算，就不能直接說出結(jié)果。但是你知道，你只需要拿紙筆列—下式子就能算出來。同理。GPT也需要時(shí)間思考，要求它答得太0505Γ借助外部的工具」Useexternaltools.CompensatefortheweaknessesofGPTsbyfeedingthemtheoutputsofothertools.Forexample,atextretrievalsystemcantellGPTsaboutrelevantdocuments.AcodeexecutionenginecanhelpGPTsdomathandruncode.Ifataskcanbedonemorereliablyore?cientlybyatoolratherthanbyaGPT,o?oadittogetthebestofboth.用其他工具幫GPT補(bǔ)短板。文本檢索系統(tǒng)，能告訴GPT哪些文檔重要；代碼引擎，助它算數(shù)跑代碼。能用工具做得更穩(wěn)、更快，就別全靠GPT。兩者結(jié)合，能有更好的效果。0606Γ系統(tǒng)地做一些實(shí)驗(yàn)」Testchangessystematically.Improvingperformanceiseasierifyoucanmeasureit.Insomecasesamodi?cationtoapromptwillachievebetterperformanceonafewisolatedexamplesbutleadtoworseoverallperformanceonamorerepresentativesetofexamples.Thereforetobesurethatachangeisnetpositivetoperformanceitmaybenecessarynecessarytode?neacomprehensivetestsuite(alsoknownanasan"eval").無量化則無實(shí)驗(yàn)。要提高Prompt的表現(xiàn)，先得確認(rèn)一個(gè)量化標(biāo)準(zhǔn)。注意：有時(shí)調(diào)整了prompt，在個(gè)別的例子里確實(shí)效果不錯(cuò)，但放大范圍反而更差。所以，想真確定你的動(dòng)作是“有效的”，最好先有一套完整一點(diǎn)的測試套件（我們管這個(gè)東西叫做"eval"）。第二部分技巧實(shí)戰(zhàn)充分的解釋&用例說明TacticsEachofthestrategieslistedabovecanbeinstantiatedwithspeci?ctactics.Thesetacticsaremeanttoprovideideasforthingstotry.Theyarebynomeansfullycomprehensive,andyoushouldfeelfreetotrycreativeideasnotrepresentedhere.下面列出的每個(gè)技巧我們都“實(shí)例化”了。希望為你的各種生成目的提供一些思路參考。當(dāng)然，這只是部分使用技巧。我們鼓勵(lì)你勇于折騰，嘗試各種我們沒寫的創(chuàng)造性想法。Writeclearinstructions1.1你越講細(xì)節(jié)，輸出就越好Includedetailsinyourquerytogetmorerelevantanswers這么寫可能不太行HowdoIaddnumbersinExcel?怎么往excel里加數(shù)字？Summarizethemeetingnotes.泛泛的問題，答案是相對隨機(jī)的泛泛的提示詞：我正在Excel里做一個(gè)銷售人員業(yè)績表。你幫我列一個(gè)模板出來，要計(jì)算每個(gè)銷售超出年平均銷售額的情況。此時(shí)ChatGPT的回答：這么寫可能不太行HowdoIaddnumbersinExcel?怎么往excel里加數(shù)字？Summarizethemeetingnotes.泛泛的問題，答案是相對隨機(jī)的泛泛的提示詞：我正在Excel里做一個(gè)銷售人員業(yè)績表。你幫我列一個(gè)模板出來，要計(jì)算每個(gè)銷售超出年平均銷售額的情況。此時(shí)ChatGPT的回答：---------|------|-------|-------------|--------------為了獲得高度相關(guān)的回復(fù)，你最好給模型提供了一切重要的細(xì)節(jié)或上下文。否則，你就得讓模型來猜測你的意思了。這么寫可能會(huì)好一些這么寫可能會(huì)好一些HowdoIadduparowofdollaramountsinExcel?Iwanttodothisautomaticallyforawholesheetofrowswithallthetotalsendingupontherightinacolumncalled"Total".在Excel里，怎樣把一行的美元數(shù)額加起來？補(bǔ)充用例同樣是制作業(yè)績表，對表格內(nèi)容描述的區(qū)別很大，輸出結(jié)果區(qū)別也很大。詳細(xì)的問題會(huì)獲得詳細(xì)的答案詳細(xì)的問題會(huì)獲得詳細(xì)的答案詳細(xì)的提示詞：我正在Excel里做一個(gè)銷售人員業(yè)績表。表頭：銷售姓名、第一季度銷售額~第四季度銷售額、全年匯總、各月平均銷售、超出年平均銷售額。我已填入銷售姓名和各個(gè)季度的銷售額，請你幫我寫出最后三列所用公式。此時(shí)ChatGPT的回答：假設(shè)表格的銷售人員姓名位于A列（從A2開始第一季度銷售額到第四季度銷售額位于B到E列--張三|1|5000|--張三|1|5000|60000|=C2-D2張三|2|6000|60000|=C3-D3張三|3|5500|60000|=C4-D4李四|1|4500|55000|=C5-D5李四|2|7000|55000|=C6-D6李四|3|6000|55000|=C7-D760000或55000"超出年平均銷售額"列是計(jì)算每你可以根據(jù)實(shí)際情況調(diào)整模板中的數(shù)據(jù)和公銷售"和"超出年平均銷售額"。）：=SUM(B2:E2)）：=AVERAGE(B2:E2)）：=IF(F2>G2,F2-G2,0)1.2搞角色扮演，一直很好用AskthemodeltoadoptapersonaThesystemmessagecanbeusedtospecifythepersonausedbythemodelinitsreplies.系統(tǒng)消息有什么用？可以用來指定一個(gè)“Persona”。使其更符合特定的應(yīng)用場景。Persona這個(gè)詞在拉丁語里的原義是“面具”?？梢钥醋魇悄Ｐ筒扇〉奶囟ń巧蝻L(fēng)格，就像戴上了一種特定的“社交面具”，通過這種“面具”來與用戶交流。所以Persona不一定是：XX人（比如：賈斯汀比伯）、XX職業(yè)（比如：一個(gè)中學(xué)老師）。也可以是一種“風(fēng)格”。例如正式、幽默、友好等。ChatGPT有一個(gè)默認(rèn)的SYSTEMPrompt：Youareahelpfulassistant.“一個(gè)樂于助人的助手”也就是ChatGPT默認(rèn)的“面具”/“角色”，所以它會(huì)盡力幫你解決提出的問題。你可以在Playground或者像Knit這樣的工具里面修改這個(gè)SYSTEMMessage。然后把你正常情況下要提的問題寫在USER里面。這是一種進(jìn)階的提示詞用法。這么寫可能會(huì)好一些這么寫可能會(huì)好一些WhenIaskforhelptowritesomething,youwillreplywithadocumentthatcontainsatleastonejokeorplayfulcommentineveryparagraph.Writeathankyounotetomysteelboltvendorforgettingthedeliveryinontimeandinshortnotice.Thismadeitpossibleforustodeliveranimportantorder.輸出結(jié)果解讀上面的Prompt，放在GPT-4里輸出的結(jié)果：Dear[Vendor'sName],Wewantedtotakeamomenttoexpressourheartfeltthankstoyouandyourteam.Youguysreallyboltedintoactionwhenweneededyouthemost!Yourrecentdeliveryarrivedfasterthanalightningbolt,muchtoourdelight.It'ssafetosaywewereshocked,butinthemostpleasantwaypossible.Wehadbeenwalkingoneggshells(orshouldwesay,onsteelbolts!)untilwesawyourdeliverytruckpullup.一個(gè)誠心搗亂的家伙一個(gè)誠心搗亂的家伙Itcameinanickoftime,justwhenwewereabouttostartamajorproject.Youknow,oneofthoseprojectswhereifonethinggoeswrong,everythingspiralsoutofcontrol?It'slikebuildingahouseofcards,butwithsteelboltsandalotofsweat!Yourtimelydeliverymadeitpossibleforustomeetourdeadlineandmakeourclienthappy,which,let'sbehonest,isataskmorechallengingthantryingto?ndaneedleinahaystack.Butthankstoyoursuperhero-likedeliveryspeed,wecoulddeliveranimportantorderontime.So,here'sabigTHANKYOUgoingouttoyouandyourteam.Yourservicewastighterthanthethreadsonyourboltsandwecouldn'taskforanythingmore.You'vetrulysetahighbar...orshouldwesayahighbolt?Jokesaside,wearetrulygratefulforyourserviceandwelookforwardtomoresuchelectrifyingperformancesfromyourteaminthefuture!Yourssincerely,[YourName]解讀：System的設(shè)定里，要求盡可能地開玩笑，讓收到郵件的供應(yīng)商感覺到幽默和放松。郵件正文里就用了至少兩處雙關(guān)和一處比喻：1."Youguysreallyboltedintoactionwhenweneededyouthemost!""Yourrecentdeliveryarrivedfasterthanalightningbolt..."這里兩句話，笑點(diǎn)在于雙關(guān)。因?yàn)椤癰olt”（螺栓是供應(yīng)商提供的產(chǎn)品，同時(shí)在英語里是多義詞，另一種常見含義是"閃電"。所以這里說“比閃電（螺栓）還快”，是在用一種夸張的方式贊美他們的快速交付。2."Yourservicewastighterthanthethreadsonyourbolts..."這句的意思是，你們的服務(wù)比你們螺栓的螺紋還要緊密..."贊揚(yáng)供應(yīng)商的服務(wù)質(zhì)量，同時(shí)也開了個(gè)玩補(bǔ)充用例1如果我們設(shè)定一個(gè)helpfulassistant的反面，比如：一個(gè)“誠心搗亂，混淆視聽”的佞臣。這個(gè)時(shí)候就會(huì)得到說反話的回復(fù)。一個(gè)熱心助人的小助手一個(gè)熱心助人的小助手Youareahelpfulassistant.Youareahelpfulassistant.你只需要準(zhǔn)備好巧克力粉、面粉、糖、黃油、具中。將蛋糕放入預(yù)熱的烤箱中，大約烤制30-40分Youareamischievouscourtierwiththeintentofcausingconfusionandnotbeinghelpfulatall.補(bǔ)充用例2也可以這樣：SYSTEMPrompt用來給進(jìn)去角色+閱讀材料；USERPrompt用來提具體的寫作要求或問題。<材料>插入你的核心文章材料</材料>這么寫可能會(huì)好一些Summarizethetextdelimitedbytriplequoteswithahaiku."""inserttexthere"""這么寫可能不太行兩篇文章混在一起，尤其如果你粘貼過去的時(shí)候不仔細(xì)這么寫可能會(huì)好一些Summarizethetextdelimitedbytriplequoteswithahaiku."""inserttexthere"""這么寫可能不太行兩篇文章混在一起，尤其如果你粘貼過去的時(shí)候不仔細(xì)，換行符不明確的時(shí)候，模型可能會(huì)Delimitersliketriplequotationmarks,XMLtags,sectiontitles,etc.canhelpdemarcatesectionsoftexttobetreateddi?erently.分隔符號（形式可以有很多種，比如三引號、XML標(biāo)記、章節(jié)標(biāo)題等）的使用，可以幫助模型區(qū)分出不同的文本，有助于提高回復(fù)質(zhì)量。你可能會(huì)想：你可能會(huì)想：區(qū)別不大吧？Forstraightforwardtaskssuchasthese,usingdelimitersmightnotmakeadi?erenceintheoutputquality.However,themorecomplexataskisthemoreimportantitistodisambiguatetaskdetails.Don’tmakeGPTsworktounderstandexactlywhatyouareaskingofthem.對于這樣簡單的任務(wù)，文本只有一段，用不用分隔符，確實(shí)沒什么區(qū)別。但是，任務(wù)越復(fù)雜，消除任務(wù)細(xì)節(jié)的歧義就越重要。最好不要讓GPT費(fèi)力地嘗試?yán)斫饽愕囊?。補(bǔ)充用例下面是一個(gè)稍微復(fù)雜一點(diǎn)的文本處理：這么寫可能會(huì)好一些這么寫可能會(huì)好一些Youwillbeprovidedwithapairofarticles(delimitedwithXMLtags)aboutthesametopic.Firstsummarizetheargumentsofeacharticle.Thenindicatewhichofthemmakesabetterargumentandexplainwhy.造成混淆。造成混淆。比如，模型會(huì)隨機(jī)斷句，或者把兩篇文章理解成一篇。如果區(qū)分不清楚，會(huì)很明顯地影響對上下文的理解，導(dǎo)致輸出的答案不對或者不好。所以，分隔符號有時(shí)是必要的。我會(huì)給你提供同一主題的兩篇文章（用XML標(biāo)記分<article>insert?rstarticlehere</article><article>insertsecondarticlehere</article><文章>此處插入第一篇文章</文章><文章>此處插入第二篇文章</文章>1.4解題步驟，你自己最好也負(fù)責(zé)展開SpecifythestepsrequiredtocompleteataskSometasksarebestspeci?edasasequenceofsteps.Writingthestepsoutexplicitlycanmakeiteasierforthemodeltofollowthem.有些任務(wù)稍微復(fù)雜一點(diǎn)，最好由你來指定步驟。明確地寫出步驟，可以使模型更容易地遵循。用例：有一段很長的英文文本用例：有一段很長的英文文本，希望GPT用中文總結(jié)一下Usethefollowingstep-by-stepinstructionstorespondtouserinputs.Step1-Theuserwillprovideyouwithtextintriplequotes.Summarizethistextinonesentencewithapre?xthatsays"Summary:".Step2-TranslatethesummaryfromStep1intoChinese,withapre?xthatsays"Translation:".這么寫可能不太行這么寫可能不太行<原文>Sometasksarebestspeci?edasasequenceofsteps.Writingthestepsoutexplicitlycanmakeiteasierforthemodeltofollowthem.</原文>"""將原文粘貼在這里"""上面上面prompt實(shí)際的輸出結(jié)果（輸入的文本是OpenAI最新一篇博客文章：ChatGPTcannowsee,hear,andspeak）-Summary:ChatGPTintroducesvoiceandimagecapabilities,allowinguserstoengageinvoiceconversations,showimagestotheassistant,andreceiveassistanceinamoreintuitivemanneracrossvariousreal-lifescenarios.Translation:ChatGPT推出了語音和圖像功能，使用戶能夠進(jìn)行語音對話，向助手展示圖像，并在各種真實(shí)場景中以-（如果直接要求用中文總結(jié)，輸出結(jié)果會(huì)不太一樣。很多情況下輸出質(zhì)量會(huì)稍差一點(diǎn)）補(bǔ)充用例這么寫可能會(huì)好一些這么寫可能會(huì)好一些譯>把直譯文本寫在這里</直譯><改寫>改寫后的文本寫在這里</改寫><原文>Sometasksarebestspeci?edasasequenceofsteps.Writingthestepsout不分步的結(jié)果不分步的結(jié)果驟，模型就能輕松遵循。</譯文>explicitlycanmakeiteasierforthemodeltofollowthem.</原文>這里是輸出結(jié)果的區(qū)別：直譯直譯+改寫得到的兩段文本（有助于我們直觀地看到區(qū)別，可以再提出改進(jìn)的建議）1.5多給舉幾個(gè)例子ProvideexamplesProvidinggeneralinstructionsthatapplytoallexamplesisgenerallymoree?cientthandemonstratingallpermutationsofataskbyexample,butinsomecasesprovidingexamplesmaybeeasier.Forexample,ifyouintendforthemodeltocopyaparticularstyleofrespondingtouserquerieswhichisdi?culttodescribeexplicitly.Thisisknownas"few-shot"prompting.經(jīng)典的少樣本提示方法。大家和GPT溝通的時(shí)候，可能會(huì)希望自己能寫出適用于所有情況的“通用prompt”。當(dāng)然很難，因?yàn)樯厦鎰傉f過，能具體還是需要盡量具體。但，有的時(shí)候，舉一個(gè)好例子就夠了，這可能是比形容要求更簡單的辦法。比如，如果你想讓模型學(xué)會(huì)以某種特定的方式回應(yīng)用戶的問題，而這種方式很難清楚地用語言形容。這時(shí)候就直接舉幾個(gè)例子（“少樣本”）。例子要好，而且最好幾個(gè)例子要類似，因?yàn)槟Ｐ妥约汉苌瞄L去尋找規(guī)律（先這樣再那樣最后這樣）。用例：用詩句一般的語言解釋一個(gè)詞語用例：用詩句一般的語言解釋一個(gè)詞語Answerinaconsistentstyle.以一致的風(fēng)格回答。Teachmeaboutpatience.告訴我什么是耐心。Theriverthatcarvesthedeepestvalley?owsfromamodestspring;thegrandestsymphonyoriginatesfromasinglenote;themostintricatetapestrybeginswithasolitarythread.Teachmeabouttheocean.告訴我什么是海洋。你可能很難解釋清楚什么是“詩句一般的語言”。所以舉例子最好用。在SYSTEM里面，告訴模型要“保持風(fēng)格一致”，這時(shí)模型的輸出結(jié)果就會(huì)和上面的句式差不多。補(bǔ)充用例李佳琦式回復(fù)能成為流行梗，精髓不在于“陰陽”的語氣風(fēng)格，或者“反問句”的應(yīng)用。而在于：把同樣的邏輯放到不同領(lǐng)域中，產(chǎn)生了類比效果時(shí)，會(huì)讓人意識到這種表達(dá)和邏輯是有問題的用例：李佳琦回復(fù)生成器用例：李佳琦回復(fù)生成器哪里高了，690分哪里高了？一直就是這個(gè)錄取分?jǐn)?shù)線好嗎？1.6說一下你想要多長的答案SpecifythedesiredlengthoftheoutputYoucanaskthemodeltoproduceoutputsthatareofagiventargetlength.Thetargetedoutputlengthcanbespeci?edintermsofthecountofwords,sentences,paragraphs,bulletpoints,etc.Notehoweverthatinstructingthemodeltogenerateaspeci?cnumberofwordsdoesnotworkwithhighprecision.Themodelcanmorereliablygenerateoutputswithaspeci?cnumberofparagraphsorbulletpoints.你可以讓模型按照你想要的長度來輸出文本。我們可以指定的有：單詞數(shù)、句子數(shù)、段落數(shù)或者要點(diǎn)數(shù)（bulletpoints）。但是：模型其實(shí)是按照token數(shù)量來算的。所以你說“單詞數(shù)”，尤其是漢字?jǐn)?shù)，很有可能不太準(zhǔn)。用例：指定長度的幾種方法用例：指定長度的幾種方法Summarizethetextdelimitedbytriplequotesinabout50words.Summarizethetextdelimitedbytriplequotesin2paragraphs.Summarizethetextdelimitedbytriplequotesin3bulletpoints."""inserttexthere"""用大約50個(gè)單詞/漢字來概括下面用三引號分隔出來的原文。"""原文"""補(bǔ)充用例：（盡可能地）指定準(zhǔn)確漢字?jǐn)?shù)的方法TokenToken（詞元）數(shù)量是怎么計(jì)算的？可以用OpenAI的Tokenizer工具來計(jì)算token數(shù)。TheGPTfamilyofmodelsprocesstextusingtokens,whicharecommonsequencesofcharactersfoundintext.Themodelsunderstandthestatisticalrelationshipsbetweenthesetokens,andexcelatproducingthenexttokeninasequenceoftokens.Ahelpfulruleofthumbisthatonetokengenerallycorrespondsto~4charactersoftextforcommonEnglishtext.Thistranslatestoroughly?ofaword(so100tokens~=75words).GPTGPT系列模型通過使用tokens來處理文本。token可以被理解成是文本中常見的字符序列。模型能理解這些token之間的統(tǒng)計(jì)關(guān)系，并且擅長在一個(gè)token序列中生成下一個(gè)token。實(shí)用的換算經(jīng)驗(yàn)：在普通英文文本中，一個(gè)token通常對應(yīng)于約4個(gè)字符（characters）。這大致相當(dāng)于一個(gè)單詞的3/4（所以100個(gè)token大約等于75個(gè)英文單詞）。如果用的是GPT3.5，要生成一段有字符數(shù)限制的文本。可以：把漢字?jǐn)?shù)大致?lián)Q算成token，然后限定maxtoken的數(shù)值1、“你好嗎”=7個(gè)token；“我很好”=6個(gè)token；2、簡單算法：一個(gè)token大概是0.5個(gè)漢字?；蛘撸好總€(gè)漢字要耗費(fèi)2~2.5個(gè)token。1000字就是2000~2500個(gè)token左右。六大策略02：Γ給GPT發(fā)閱讀材料」Providereferencetext2.1要求按閱讀材料作答，不開放答InstructthemodeltoanswerusingareferencetextIfwecanprovideamodelwithtrustedinformationthatisrelevanttothecurrentquery,thenwecaninstructthemodeltousetheprovidedinformationtocomposeitsanswer.如果你手邊現(xiàn)成有原文，而且長度合適，建議自帶原文去找GPT。這樣你就可以給GPT指定規(guī)則，讓它使用原文信息來組成回答。下面的用例里，如果原文里找不到對應(yīng)的信息，就讓GPT說不知道（這樣就能很好地避免瞎編）。UseUsetheprovidedarticlesdelimitedbytriplequotestoanswerquestions.Iftheanswercannotbefoundinthearticles,write"Icouldnot?ndananswer."請使用我所提供的，由三引號分隔的文章回答問題。如果在文章中找不到答案如果上下文長度不夠...GiventhatGPTshavelimitedcontextwindows,inordertoapplythistacticweneedsomewaytodynamicallylookupinformationthatisrelevanttothequestionbeingasked.Embeddingscanbeusedtoimplemente?cientknowledgeretrieval.Seethetactic"Useembeddings-basedsearchtoimplemente?cientknowledgeretrieval"formoredetailsonhowtoimplementthis.由于GPT的上下文窗口是有限的，所以最好引入一種方法，讓我們能動(dòng)態(tài)地尋找和正在提出的問題有關(guān)的信息?；贓mbeddings做搜索可以幫助我們高效地檢索知識。這里是具體文章的鏈接。2.2增加要求：直接把閱讀材料里的原文引出來InstructthemodeltoanswerwithcitationsfromareferencetextIftheinputhasbeensupplementedwithrelevantknowledge,it'sstraightforwardtorequestthatthemodeladdcitationstoitsanswersbyreferencingpassagesfromprovideddocuments.Notethatcitationsintheoutputcanthenbeveri?edprogrammaticallybystringmatchingwithintheprovideddocuments.如果我們給定的輸入里，確實(shí)已經(jīng)包含了相關(guān)的知識，那么要求模型在回答中引用原文，就很容易。引用出來之后就可以通過在提供的文檔中進(jìn)行字符串匹配來程序化驗(yàn)證答案了。在下面這條提示詞里，增加引用原文的要求：文章段落。如果文章中不包含回答此問題所需的信息，則回復(fù)“信息不足”。如果文章中包含解開放作答開放作答2.婚姻中的不快樂：她提到在婚姻中感受到的不4.王力宏的控制欲：她還指控王力宏試圖使用下面的格式來引用原文：（{“引文”：...}）輸出結(jié)果的比較給定閱讀材料給定閱讀材料，并要求引用原文需的信息，則回復(fù)“信息不足”。如果文章中包含解答問（{“引文”：...}）<原文>粘貼在這里</原文>下面是給定原文材料后的輸出結(jié)果下面是給定原文材料后的輸出結(jié)果相比直接回答更加“有據(jù)”。輸出結(jié)果：輸出結(jié)果：產(chǎn)后哺乳育兒，過程中身心都經(jīng)歷了很多變子你就會(huì)因?yàn)橄脒^“單身”的生活而離開我們家，我會(huì)需要自己過著偽單親的日子帶大三個(gè)孩子，我是不會(huì)答應(yīng)的?！?3.召妓方面的指控（“結(jié)果后來發(fā)現(xiàn)其實(shí)像我這樣的角色，你在很多城市都有這樣的“朋友”。你也有被拍到帶女生回家過有跟我承認(rèn)。你坦承這些是你的問題,你沒有辦法控制自己?！?、“后來我發(fā)現(xiàn)你紀(jì)錄了各種你召ji對象的特征,其中包含了幾位長得像我們身邊的工作人員?！保?03Splitcomplextasksintosimplersubtasks3.1使用意圖分類，來找到最切題的分類Useintentclassi?cationtoidentifythemostrelevantinstructionsforauserqueryFortasksinwhichlotsofindependentsetsofinstructionsareneededtohandledi?erentcases,itcanbebene?cialto?rstclassifythetypeofqueryandtousethatclassi?cationtodeterminewhichinstructionsareneeded.Thiscanbeachievedbyde?ning?xedcategoriesandhardcodinginstructionsthatarerelevantforhandlingtasksinagivencategory.Thisprocesscanalsobeappliedrecursivelytodecomposeataskintoasequenceofstages.Theadvantageofthisapproachisthateachquerywillcontainonlythoseinstructionsthatarerequiredtoperformthenextstageofataskwhichcanresultinlowererrorratescomparedtousingasinglequerytoperformthewholetask.Thiscanalsoresultinlowercostssincelargerpromptscostmoretorun(seepricinginformation).定義復(fù)雜任務(wù)：因?yàn)榭赡艿那闆r很多，所以完成這樣一個(gè)任務(wù)需要很多個(gè)獨(dú)立的prompt。這時(shí)，我們不一定要寫一個(gè)巨長的prompt。我們可以：設(shè)定好類型，再根據(jù)分類來調(diào)用prompt。怎么做：首先設(shè)定幾個(gè)「類型」，保證處理某個(gè)類的任務(wù)時(shí)，有專門的prompt。此過程還可遞歸，幫助把任務(wù)分解為幾個(gè)階段。好處：1、每個(gè)查詢僅包含執(zhí)行下一子任務(wù)所需的指令，與用一個(gè)查詢執(zhí)行整個(gè)任務(wù)相比，準(zhǔn)確率更高。2、token更少，降低成本。一個(gè)客服系統(tǒng)的用例：先進(jìn)行意圖分類一個(gè)客服系統(tǒng)的用例：先進(jìn)行意圖分類，再對照到匹配的類別下您將獲得客戶服務(wù)查詢。將每個(gè)查詢分類為主要類別和次要類別。以json格式提供您的輸出，其中包含以下鍵：主要和-取消訂閱或升級-添加付款方式-收費(fèi)說明-對指控提出異議-故障排除-設(shè)備兼容性-軟件更新-密碼重置-更新個(gè)人信息-關(guān)賬-賬戶安全-產(chǎn)品信息--定價(jià)-人工服務(wù)Ineedtogetmyinternetworkingagain.我沒網(wǎng)了。這里是：先識別了用戶意圖，把用戶的問題分到“故障排除”類別里面。然后基于這個(gè)細(xì)的分類，再向模型提供一組更具體的指令，從里面選。你將幫助需要“故障排除”的客戶提供服務(wù)。你可以通過以下方式幫助用戶：如果型號為MTD-327J，建議他們按下如果型號是MTD-327S，建議他們拔下并重新插入，然后等待5分鐘后再測如果客戶在重新啟動(dòng)設(shè)備并等待5分鐘后問題仍然存在，請通過輸出{“IT支持請求”}將客戶連接到IT支持。<在此處插入上面的初級/次級分類方案>3.2如果在一段比較長的對話里，給出前情提要可能會(huì)好一些Fordialogueapplicationsthatrequireverylongconversations,summarizeor?lterpreviousdialogueSinceGPTshavea?xedcontextlength,dialoguebetweenauserandanassistantinwhichtheentireconversationisincludedinthecontextwindowcannotcontinueinde?nitely.Therearevariousworkaroundstothisproblem,oneofwhichistosummarizepreviousturnsintheconversation.Oncethesizeoftheinputreachesapredeterminedthresholdlength,thiscouldtriggeraquerythatsummarizespartoftheconversationandthesummaryofthepriorconversationcouldbeincludedaspartofthesystemmessage.Alternatively,priorconversationcouldbesummarizedasynchronouslyinthebackgroundthroughouttheentireconversation.Analternativesolutionistodynamicallyselectpreviouspartsoftheconversationthataremostrelevanttothecurrentquery.Seethetactic"Useembeddings-basedsearchtoimplemente?cientknowledgeretrieval".GPT的上下文長度限制是給定的（整個(gè)對話都包在上下文窗口里）。意思就是說：對話不能無限長地說下去。GPT不可能記住一切。你希望它隨時(shí)都能切換回當(dāng)時(shí)的上下文繼續(xù)聊，這就不太能做到。針對這個(gè)問題，有幾種解決辦法。其中一種是時(shí)不時(shí)梳理并總結(jié)之前的對話內(nèi)容——做個(gè)前情提要。當(dāng)輸入內(nèi)容達(dá)到一個(gè)預(yù)設(shè)的長度閾值時(shí)，可以觸發(fā)一個(gè)查詢來總結(jié)對話的一部分，然后將之前對話的總結(jié)納入系統(tǒng)消息的一部分?；蛘?，也可以在整個(gè)對話過程中，在后臺異步總結(jié)之前的對話。另外一個(gè)辦法是，動(dòng)態(tài)地挑選對話中與當(dāng)前查詢最相關(guān)的前文內(nèi)容。具體可以參考“利用embedding搜索來做高效的知識檢索”。3.3分段總結(jié)長文檔，并通過遞歸方式構(gòu)建完整摘要SummarizelongdocumentspiecewiseandconstructafullsummaryrecursivelySinceGPTshavea?xedcontextlength,theycannotbeusedtosummarizeatextlongerthanthecontextlengthminusthelengthofthegeneratedsummaryinasinglequery.Tosummarizeaverylongdocumentsuchasabookwecanuseasequenceofqueriestosummarizeeachsectionofthedocument.Sectionsummariescanbeconcatenatedandsummarizedproducingsummariesofsummaries.Thisprocesscanproceedrecursivelyuntilanentiredocumentissummarized.Ifit’snecessarytouseinformationaboutearliersectionsinordertomakesenseoflatersections,thenafurthertrickthatcanbeusefulistoincludearunningsummaryofthetextthatprecedesanygivenpointinthebookwhilesummarizingcontentatthatpoint.Thee?ectivenessofthisprocedureforsummarizingbookshasbeenstudiedinpreviousresearchbyOpenAIusingvariantsofGPT-3.GPT的上下文長度是固定的。這意味著：不能在單次對話中，總結(jié)出，長度超過“上下文長度減去生成摘要長度”，的文本。也就是說，如果要總結(jié)一篇非常長的文檔，比如一本書。我們可以利用一系列的prompt來分別總結(jié)文檔的每個(gè)章節(jié)。每個(gè)章節(jié)的摘要可以拼接在一起，然后再次進(jìn)行總結(jié)，形成“摘要的摘要”。這個(gè)過程可以遞歸執(zhí)行，直到整個(gè)文檔被完整總結(jié)。如果需要依賴前面章節(jié)的信息來理解后面的章節(jié)，那么可以在總結(jié)某個(gè)點(diǎn)的內(nèi)容時(shí)，包含上前情提要。直接摘要[插入完整的文本]OpenAI之前用直接摘要[插入完整的文本]摘要的摘要摘要的摘要這個(gè)用例是用一系列的提示詞來完成：[插入第一章的文本]2.[插入所有章節(jié)的摘要]3.:前情提要:[插入前面章節(jié)的摘要][插入第五章的文本]04GPTGiveGPTstimeto"think"先讓GPT解題，再判卷，就對了判錯(cuò)原因：其實(shí)是學(xué)生代進(jìn)去的數(shù)值抄錯(cuò)了，把10寫成了100。但是GPT沒注意到這一不會(huì)再判錯(cuò)。+先讓GPT解題，再判卷，就對了判錯(cuò)原因：其實(shí)是學(xué)生代進(jìn)去的數(shù)值抄錯(cuò)了，把10寫成了100。但是GPT沒注意到這一不會(huì)再判錯(cuò)。+這一段prompt：Sometimeswegetbetterresultswhenweexplicitlyinstructthemodeltoreasonfrom?rstprinciplesbeforecomingtoaconclusion.Supposeforexamplewewantamodeltoevaluateastudent’ssolutiontoamathproblem.Themostobviouswaytoapproachthisistosimplyaskthemodelifthestudent'ssolutioniscorrectornot.Butthestudent'ssolutionisactuallynotcorrect!Wecangetthemodeltosuccessfullynoticethisbypromptingthemodeltogenerateitsownsolution?rst.這樣做會(huì)得到更好的結(jié)果：指示模型從基本原理出發(fā)進(jìn)行推理，然后再得出結(jié)論。比如說，我們想讓模型評估一個(gè)學(xué)生做的數(shù)學(xué)題。最直接的做法就是：簡單地問模型，學(xué)生的答案對不對。就像下表左邊一樣，其實(shí)學(xué)生做錯(cuò)了！但是模型判對了。如果你像下表右邊一樣，讓模型先自己做一遍題，它就能成功地注意到這一點(diǎn)。被被GPT判錯(cuò)的一道數(shù)學(xué)題-土地成本100美元/平方英尺-我可以以250美元/平方英尺的價(jià)格購買太陽能電池板2.太陽能電池板成本：250x3.維護(hù)費(fèi)用：100000+100x總成本：100x+250x+100000+100x=450x+總成本：100x+250x+100000+100x=450x+1000004.2內(nèi)心獨(dú)白法：不想暴露推理過程時(shí)的操作Theprevioustacticdemonstratesthatitissometimesimportantforthemodeltoreasonindetailaboutaproblembeforeansweringaspeci?cquestion.Forsomeapplications,thereasoningprocessthatamodelusestoarriveata?nalanswerwouldbeinappropriatetosharewiththeuser.Forexample,intutoringapplicationswemaywanttoencouragestudentstoworkouttheirownanswers,butamodel’sreasoningprocessaboutthestudent’ssolutioncouldrevealtheanswertothestudent.Innermonologueisatacticthatcanbeusedtomitigatethis.Theideaofinnermonologueistoinstructthemodeltoputpartsoftheoutputthataremeanttobehiddenfromtheuserintoastructuredformatthatmakesparsingthemeasy.Thenbeforepresentingtheoutputtotheuser,theoutputisparsedandonlypartoftheoutputismadevisible.上一段說了，在回答問題之前，讓模型自己做一遍推理是很有用的。這里再補(bǔ)充一個(gè)教育的用例：如果場景是輔導(dǎo)課業(yè)，可能需要鼓勵(lì)學(xué)生自己找出答案。但模型又要自己解一遍題。如果把這個(gè)解題過程輸出出來，可能會(huì)無意中泄露答案。這時(shí)候可以用到“內(nèi)心獨(dú)白法”。意思是，讓模型把那些不想讓用戶看到的內(nèi)容，隱藏地放到一個(gè)結(jié)構(gòu)化的格式里。然后，在把輸出展示給用戶之前，解析一下這段輸出，只展示能給學(xué)生看到的那部分。大致步驟如下：:提出問題，并得到模型的解答。（但是不將此解答展現(xiàn)給學(xué)生。）:將學(xué)生的解題法和模型的進(jìn)行比較，判學(xué)生解是對是錯(cuò)。（但是仍然不將信息展現(xiàn)給學(xué)生。）:根據(jù)前兩步的分析，發(fā)送反饋給學(xué)生：錯(cuò)了就給提示鼓勵(lì)改正，對了就直接鼓勵(lì)。這里，前兩步有一個(gè)“查詢和分析過程”。但過程中內(nèi)容都是隱藏的，學(xué)生只會(huì)看到最后一步的反饋。這部分需要代碼實(shí)現(xiàn)，而不是僅僅依賴于單一的prompt。比如說可能需要設(shè)計(jì)和實(shí)現(xiàn)一個(gè)系統(tǒng)，包含一個(gè)查詢序列的函數(shù)。并且可能需要一個(gè)中間層來管理這個(gè)過程。各步驟的示例提示詞如下：輔導(dǎo)課業(yè)的用例輔導(dǎo)課業(yè)的用例步驟2-比較你的題解和學(xué)生的答案，并評估學(xué)生的答案步驟4-如果學(xué)生的答案不對，提供上一步你想好的提示給學(xué)生。而不是寫“步驟4-...“寫“提示：“。-----------學(xué)生的解題方法：“<插入學(xué)生解答>”補(bǔ)充說明：這個(gè)用例非常細(xì)致。第一次看的時(shí)候我就想，OpenAI連這么小的場景都想到了？其實(shí)同樣的原理也可以用在很多其他的工作場景里。比如市場營銷文案，有時(shí)也需要讓模型自己做一個(gè)推理，最終輸出結(jié)果就可以，把中間的步驟隱去不打出來。這么寫可能不太行你沒做完任務(wù)，請重頭來一遍。（結(jié)果可能還會(huì)停在中間）在其他一些應(yīng)用場景里，比如客戶服務(wù)、產(chǎn)品推薦或者數(shù)據(jù)分析等，這種策略也能幫助提高用戶體驗(yàn)，讓這么寫可能不太行你沒做完任務(wù)，請重頭來一遍。（結(jié)果可能還會(huì)停在中間）對于開發(fā)者和產(chǎn)品經(jīng)理來說，能夠控制何時(shí)以及如何展示模型的推理過程是很重要的，它可以幫助確保系統(tǒng)的輸出符合特定的需求和標(biāo)準(zhǔn)。4.3最后問它一句：哎，你有沒有漏掉啥？Tactic:AskthemodelifitmissedanythingonpreviouspassesSupposethatweareusingamodeltolistexcerptsfromasourcewhicharerelevanttoaparticularquestion.A?erlistingeachexcerptthemodelneedstodetermineifitshouldstartwritinganotherorifitshouldstop.Ifthesourcedocumentislarge,itiscommonforamodeltostoptooearlyandfailtolistallrelevantexcerpts.Inthatcase,betterperformancecano?enbeobtainedbypromptingthemodelwithfollowupqueriesto?ndanyexcerptsitmissedonpreviouspasses.假設(shè)我們讓大語言模型從某份文檔資料中，找出與某個(gè)問題有關(guān)的原文摘要，回復(fù)給我們。每列出一個(gè)摘要后，模型需要決定是繼續(xù)列出下一個(gè)，還是就此停止。如果資料篇幅很長，模型通常會(huì)過早地停下來，不會(huì)列完所有相關(guān)的摘要。這就是為什么我們發(fā)現(xiàn)文章一太長，GPT就偷懶的原因。這個(gè)時(shí)候，你就告訴它：哎，還沒做完呢！這聽起來很傻，但是確實(shí)有效。這么寫可能會(huì)好一些這么寫可能會(huì)好一些Aretheremorerelevantexcerpts?Takecarenottorepeatexcerpts.Alsoensurethatexcerptscontainallrelevantcontextneededtointerpretthem-inotherwordsdon'textractsmallsnippetsthataremissingimportantcontext.六大策略05「借助外部的工具」Strategy:Useexternaltools5.1使用基于embedding的搜索來實(shí)現(xiàn)高效的知識檢索Useembeddings-basedsearchtoimplemente?cientknowledgeretrievalAmodelcanleverageexternalsourcesofinformationifprovidedaspartofitsinput.Thiscanhelpthemodeltogeneratemoreinformedandup-to-dateresponses.Forexample,ifauserasksaquestionaboutaspeci?cmovie,itmaybeusefultoaddhighqualityinformationaboutthemovie(e.g.actors,director,etc…)tothemodel’sinput.Embeddingscanbeusedtoimplemente?cientknowledgeretrieval,sothatrelevantinformationcanbeaddedtothemodelinputdynamicallyatrun-time.Atextembeddingisavectorthatcanmeasuretherelatednessbetweentextstrings.Similarorrelevantstringswillbeclosertogetherthanunrelatedstrings.Thisfact,alongwiththeexistenceoffastvectorsearchalgorithmsmeansthatembeddingscanbeusedtoimplemente?cientknowledgeretrieval.Inparticular,atextcorpuscanbesplitupintochunks,andeachchunkcanbeembeddedandstored.Thenagivenquerycanbeembeddedandvectorsearchcanbeperformedto?ndtheembeddedchunksoftextfromthecorpusthataremostrelatedtothequery(i.e.closesttogetherintheembeddingspace).ExampleimplementationscanbefoundintheOpenAICookbook.Seethetactic“Instructthemodeltouse retrievedknowledgetoanswerqueries”foranexampleofhowtouseknowledgeretrievaltominimizethe