自然語(yǔ)言生成：Bard：Bard的優(yōu)化與調(diào)參技巧

自然語(yǔ)言生成：Bard：Bard的優(yōu)化與調(diào)參技巧1理解Bard模型1.1Bard模型的架構(gòu)解析Bard模型，作為自然語(yǔ)言生成領(lǐng)域的一種先進(jìn)模型，其架構(gòu)基于Transformer模型，這是由Vaswani等人在2017年提出的。Transformer模型通過(guò)自注意力機(jī)制(self-attentionmechanism)和位置編碼(positionalencoding)來(lái)處理序列數(shù)據(jù)，從而在不依賴于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的情況下，實(shí)現(xiàn)了對(duì)長(zhǎng)序列的高效處理。1.1.1自注意力機(jī)制自注意力機(jī)制允許模型在處理序列數(shù)據(jù)時(shí)，關(guān)注序列中的所有位置，而不僅僅是前一個(gè)或后一個(gè)位置。這使得模型能夠捕捉到輸入序列中不同位置之間的依賴關(guān)系，對(duì)于自然語(yǔ)言處理任務(wù)尤其重要，因?yàn)檎Z(yǔ)句中的單詞可能與序列中的任何其他單詞有關(guān)聯(lián)。代碼示例importtorch

importtorch.nnasnn

classMultiHeadAttention(nn.Module):

def__init__(self,embed_dim,num_heads):

super(MultiHeadAttention,self).__init__()

self.embed_dim=embed_dim

self.num_heads=num_heads

self.head_dim=embed_dim//num_heads

self.query=nn.Linear(embed_dim,embed_dim)

self.key=nn.Linear(embed_dim,embed_dim)

self.value=nn.Linear(embed_dim,embed_dim)

self.out=nn.Linear(embed_dim,embed_dim)

defforward(self,query,key,value,mask=None):

batch_size=query.size(0)

#將query,key,value分割成多個(gè)頭

query=self.query(query).view(batch_size,-1,self.num_heads,self.head_dim).transpose(1,2)

key=self.key(key).view(batch_size,-1,self.num_heads,self.head_dim).transpose(1,2)

value=self.value(value).view(batch_size,-1,self.num_heads,self.head_dim).transpose(1,2)

#計(jì)算注意力權(quán)重

energy=torch.matmul(query,key.transpose(-2,-1))/(self.head_dim**0.5)

ifmaskisnotNone:

energy=energy.masked_fill(mask==0,-1e10)

attention=torch.softmax(energy,dim=-1)

#應(yīng)用注意力權(quán)重

out=torch.matmul(attention,value)

out=out.transpose(1,2).contiguous().view(batch_size,-1,self.embed_dim)

out=self.out(out)

returnout1.1.2位置編碼位置編碼是Transformer模型中用于保留序列中單詞位置信息的一種機(jī)制。在自然語(yǔ)言中，單詞的順序?qū)τ诶斫庹Z(yǔ)句的含義至關(guān)重要。位置編碼通過(guò)添加一個(gè)基于位置的向量到每個(gè)單詞的嵌入向量中，使得模型能夠區(qū)分序列中不同位置的單詞。代碼示例importmath

defpositional_encoding(max_len,embed_dim):

pe=torch.zeros(max_len,embed_dim)

position=torch.arange(0,max_len,dtype=torch.float).unsqueeze(1)

div_term=torch.exp(torch.arange(0,embed_dim,2).float()*(-math.log(10000.0)/embed_dim))

pe[:,0::2]=torch.sin(position*div_term)

pe[:,1::2]=torch.cos(position*div_term)

returnpe1.2Bard的訓(xùn)練數(shù)據(jù)與預(yù)處理Bard模型的訓(xùn)練數(shù)據(jù)通常來(lái)源于大規(guī)模的文本語(yǔ)料庫(kù)，如書籍、新聞文章、網(wǎng)頁(yè)文本等。這些數(shù)據(jù)需要經(jīng)過(guò)預(yù)處理，以便模型能夠有效地學(xué)習(xí)和生成自然語(yǔ)言。1.2.1數(shù)據(jù)預(yù)處理步驟文本清洗：去除文本中的無(wú)關(guān)字符，如標(biāo)點(diǎn)符號(hào)、數(shù)字、特殊符號(hào)等。分詞：將文本分割成單詞或子詞(token)，這是模型處理文本的基本單位。構(gòu)建詞匯表：統(tǒng)計(jì)所有分詞后的單詞，構(gòu)建一個(gè)詞匯表，每個(gè)單詞對(duì)應(yīng)一個(gè)唯一的ID。編碼：將文本中的每個(gè)單詞轉(zhuǎn)換為其在詞匯表中的ID。添加特殊標(biāo)記：在每個(gè)序列的開(kāi)始和結(jié)束添加特殊標(biāo)記，如<s>和</s>，幫助模型理解序列的邊界。填充和截?cái)啵簽榱耸姑總€(gè)批次中的序列長(zhǎng)度相同，需要對(duì)較短的序列進(jìn)行填充，對(duì)過(guò)長(zhǎng)的序列進(jìn)行截?cái)?。代碼示例fromtransformersimportAutoTokenizer

#初始化Bard模型的分詞器

tokenizer=AutoTokenizer.from_pretrained("google/bard")

#示例文本

text="這是一個(gè)示例文本，用于展示Bard模型的分詞和編碼過(guò)程。"

#分詞和編碼

encoded_text=tokenizer.encode(text,return_tensors='pt')

#解碼

decoded_text=tokenizer.decode(encoded_text[0])

print("編碼后的文本:",encoded_text)

print("解碼后的文本:",decoded_text)1.2.2訓(xùn)練數(shù)據(jù)的來(lái)源Bard模型的訓(xùn)練數(shù)據(jù)可以來(lái)自多種渠道，包括但不限于：公共語(yǔ)料庫(kù)：如Wikipedia、CommonCrawl、BookCorpus等。專有數(shù)據(jù)集：Google可能使用其專有的大規(guī)模文本數(shù)據(jù)集來(lái)訓(xùn)練Bard模型，這些數(shù)據(jù)集可能包含更廣泛和更深入的文本內(nèi)容。多語(yǔ)言數(shù)據(jù)：為了使模型能夠理解和生成多種語(yǔ)言，訓(xùn)練數(shù)據(jù)可能包含多種語(yǔ)言的文本。1.2.3數(shù)據(jù)集的使用在訓(xùn)練Bard模型時(shí)，數(shù)據(jù)集的使用通常遵循以下原則：大規(guī)模：使用盡可能大的數(shù)據(jù)集，以確保模型能夠?qū)W習(xí)到豐富的語(yǔ)言模式。多樣性：數(shù)據(jù)集應(yīng)包含多種類型的文本，以提高模型的泛化能力。清洗：數(shù)據(jù)集需要經(jīng)過(guò)清洗，去除無(wú)關(guān)或低質(zhì)量的文本，以提高訓(xùn)練效率和模型質(zhì)量。通過(guò)以上對(duì)Bard模型架構(gòu)的解析和訓(xùn)練數(shù)據(jù)預(yù)處理的介紹，我們可以更深入地理解Bard模型是如何工作的，以及如何準(zhǔn)備數(shù)據(jù)來(lái)訓(xùn)練這樣的模型。這為后續(xù)的模型優(yōu)化和調(diào)參提供了基礎(chǔ)。2優(yōu)化Bard模型性能2.1超參數(shù)調(diào)優(yōu)基礎(chǔ)超參數(shù)調(diào)優(yōu)是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型優(yōu)化的關(guān)鍵步驟。在自然語(yǔ)言生成（NLP）任務(wù)中，如使用Bard模型，正確的超參數(shù)設(shè)置可以顯著提升模型的性能和生成文本的質(zhì)量。超參數(shù)是模型訓(xùn)練前設(shè)定的參數(shù)，它們不能通過(guò)訓(xùn)練過(guò)程自動(dòng)學(xué)習(xí)，需要人為設(shè)定。常見(jiàn)的超參數(shù)包括學(xué)習(xí)率、批次大小、隱藏層單元數(shù)、優(yōu)化器類型等。2.1.1學(xué)習(xí)率學(xué)習(xí)率（LearningRate）是模型訓(xùn)練過(guò)程中一個(gè)極其重要的超參數(shù)，它決定了模型權(quán)重更新的步長(zhǎng)。學(xué)習(xí)率過(guò)高可能導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定，權(quán)重更新過(guò)大，模型可能在最優(yōu)解附近震蕩而無(wú)法收斂；學(xué)習(xí)率過(guò)低則可能導(dǎo)致訓(xùn)練過(guò)程過(guò)于緩慢，甚至在訓(xùn)練集上都無(wú)法達(dá)到較好的性能。示例：調(diào)整學(xué)習(xí)率在使用Bard模型時(shí)，可以通過(guò)調(diào)整學(xué)習(xí)率來(lái)優(yōu)化模型性能。以下是一個(gè)使用PyTorch框架調(diào)整學(xué)習(xí)率的例子：importtorch

importtorch.optimasoptim

#假設(shè)我們有一個(gè)Bard模型實(shí)例

model=BardModel()

#初始化優(yōu)化器，這里使用Adam優(yōu)化器

optimizer=optim.Adam(model.parameters(),lr=0.001)

#訓(xùn)練循環(huán)

forepochinrange(num_epochs):

forbatchindata_loader:

#前向傳播

outputs=model(batch)

#計(jì)算損失

loss=calculate_loss(outputs,batch)

#反向傳播和優(yōu)化

optimizer.zero_grad()

loss.backward()

optimizer.step()

#每個(gè)epoch后調(diào)整學(xué)習(xí)率

adjust_learning_rate(optimizer,epoch)在這個(gè)例子中，adjust_learning_rate函數(shù)可以用來(lái)根據(jù)訓(xùn)練的epoch數(shù)動(dòng)態(tài)調(diào)整學(xué)習(xí)率。例如，可以使用學(xué)習(xí)率衰減策略：defadjust_learning_rate(optimizer,epoch):

"""動(dòng)態(tài)調(diào)整學(xué)習(xí)率"""

ifepoch<10:

lr=0.001

elifepoch<20:

lr=0.0001

else:

lr=0.00001

forparam_groupinoptimizer.param_groups:

param_group['lr']=lr2.1.2批次大小批次大?。˙atchSize）是另一個(gè)重要的超參數(shù)，它決定了每次更新模型權(quán)重時(shí)使用的樣本數(shù)量。較大的批次大小可以加速訓(xùn)練過(guò)程，但可能需要更多的內(nèi)存；較小的批次大小則可以提高模型的泛化能力，但訓(xùn)練速度會(huì)較慢。2.1.3隱藏層單元數(shù)隱藏層單元數(shù)（NumberofHiddenUnits）影響模型的復(fù)雜度和表達(dá)能力。過(guò)多的隱藏單元可能導(dǎo)致過(guò)擬合，而過(guò)少則可能使模型無(wú)法學(xué)習(xí)到數(shù)據(jù)的復(fù)雜結(jié)構(gòu)。2.1.4優(yōu)化器類型不同的優(yōu)化器（Optimizer）如SGD、Adam、RMSprop等，對(duì)模型的訓(xùn)練效果和速度有不同的影響。選擇合適的優(yōu)化器可以加速模型收斂，提高訓(xùn)練效率。2.2學(xué)習(xí)率調(diào)整策略學(xué)習(xí)率調(diào)整策略是超參數(shù)調(diào)優(yōu)中的一個(gè)高級(jí)技巧，它可以幫助模型在訓(xùn)練過(guò)程中更有效地學(xué)習(xí)。常見(jiàn)的學(xué)習(xí)率調(diào)整策略包括：學(xué)習(xí)率衰減：隨著訓(xùn)練的進(jìn)行，逐漸減小學(xué)習(xí)率，幫助模型更精細(xì)地調(diào)整權(quán)重，達(dá)到更好的收斂效果。學(xué)習(xí)率預(yù)熱：在訓(xùn)練初期使用較小的學(xué)習(xí)率，然后逐漸增加到預(yù)定值，這有助于模型在訓(xùn)練初期避免權(quán)重更新過(guò)大。周期性學(xué)習(xí)率：在訓(xùn)練過(guò)程中周期性地調(diào)整學(xué)習(xí)率，這可以避免模型陷入局部最優(yōu)解，提高模型的泛化能力。2.2.1示例：使用學(xué)習(xí)率預(yù)熱和衰減下面是一個(gè)使用PyTorch的LambdaLR學(xué)習(xí)率調(diào)度器實(shí)現(xiàn)學(xué)習(xí)率預(yù)熱和衰減的例子：importtorch

importtorch.optimasoptim

fromtorch.optim.lr_schedulerimportLambdaLR

#假設(shè)我們有一個(gè)Bard模型實(shí)例

model=BardModel()

#初始化優(yōu)化器，這里使用Adam優(yōu)化器

optimizer=optim.Adam(model.parameters(),lr=0.001)

#定義學(xué)習(xí)率預(yù)熱和衰減的函數(shù)

deflr_lambda(epoch):

ifepoch<5:#前5個(gè)epoch預(yù)熱

return(epoch+1)/5

else:#之后衰減

return0.95**(epoch-5)

#創(chuàng)建學(xué)習(xí)率調(diào)度器

scheduler=LambdaLR(optimizer,lr_lambda)

#訓(xùn)練循環(huán)

forepochinrange(num_epochs):

forbatchindata_loader:

#前向傳播

outputs=model(batch)

#計(jì)算損失

loss=calculate_loss(outputs,batch)

#反向傳播和優(yōu)化

optimizer.zero_grad()

loss.backward()

optimizer.step()

#更新學(xué)習(xí)率

scheduler.step()在這個(gè)例子中，lr_lambda函數(shù)定義了學(xué)習(xí)率的預(yù)熱和衰減策略。在前5個(gè)epoch中，學(xué)習(xí)率逐漸增加，之后每個(gè)epoch學(xué)習(xí)率衰減5%。通過(guò)以上示例和講解，我們可以看到超參數(shù)調(diào)優(yōu)和學(xué)習(xí)率調(diào)整策略在優(yōu)化Bard模型性能中的重要性。合理設(shè)置和調(diào)整這些超參數(shù)，可以顯著提升模型的訓(xùn)練效果和生成文本的質(zhì)量。3提升生成質(zhì)量3.1文本生成的控制參數(shù)在自然語(yǔ)言生成領(lǐng)域，尤其是使用像Bard這樣的模型時(shí)，控制參數(shù)的調(diào)整是優(yōu)化生成文本質(zhì)量的關(guān)鍵。這些參數(shù)影響模型的生成行為，包括文本的多樣性、連貫性以及與輸入提示的關(guān)聯(lián)度。以下是一些常見(jiàn)的控制參數(shù)：溫度（Temperature）:溫度參數(shù)控制生成文本的隨機(jī)性。較高的溫度值（如1.5）會(huì)導(dǎo)致生成的文本更加隨機(jī)和多樣化，但可能犧牲連貫性和準(zhǔn)確性。較低的溫度值（如0.5）則傾向于生成更連貫、更保守的文本，但可能減少多樣性。采樣策略（SamplingStrategy）:包括隨機(jī)采樣（RandomSampling）和貪婪采樣（GreedySampling）。隨機(jī)采樣基于概率分布選擇下一個(gè)詞，而貪婪采樣總是選擇概率最高的詞。隨機(jī)采樣可以增加多樣性，但可能引入語(yǔ)法錯(cuò)誤；貪婪采樣則可能產(chǎn)生過(guò)于模式化的文本。重復(fù)懲罰（RepetitionPenalty）:用于減少生成文本中的重復(fù)。較高的懲罰值會(huì)降低模型重復(fù)使用相同詞匯的概率，有助于提高文本的連貫性和可讀性。最大長(zhǎng)度（MaxLength）:控制生成文本的最大長(zhǎng)度。過(guò)長(zhǎng)的文本可能增加計(jì)算成本，而過(guò)短的文本可能無(wú)法充分表達(dá)意圖。3.1.1示例代碼假設(shè)我們使用Bard模型進(jìn)行文本生成，以下是一個(gè)調(diào)整溫度參數(shù)的Python代碼示例：fromtransformersimportpipeline

#初始化文本生成pipeline

generator=pipeline('text-generation',model='bard')

#設(shè)置不同的溫度值

temperature_high=1.5

temperature_low=0.5

#高溫度值生成文本

text_high_temp=generator("今天天氣很好，",max_length=100,temperature=temperature_high)

print("高溫度值生成的文本:",text_high_temp[0]['generated_text'])

#低溫度值生成文本

text_low_temp=generator("今天天氣很好，",max_length=100,temperature=temperature_low)

print("低溫度值生成的文本:",text_low_temp[0]['generated_text'])3.1.2解釋在上述代碼中，我們使用了transformers庫(kù)中的pipeline函數(shù)來(lái)加載Bard模型。通過(guò)調(diào)整temperature參數(shù)，我們可以觀察到生成文本的變化。高溫度值傾向于生成更具有創(chuàng)造性和多樣性的文本，而低溫度值則生成更連貫、更保守的文本。3.2多樣性與連貫性的平衡優(yōu)化自然語(yǔ)言生成模型時(shí)，平衡多樣性與連貫性是一個(gè)核心挑戰(zhàn)。多樣性確保生成的文本具有創(chuàng)意和新穎性，而連貫性則保證文本在語(yǔ)法和邏輯上是合理的。以下策略有助于在多樣性與連貫性之間找到最佳平衡點(diǎn)：使用Top-k和Top-p采樣:Top-k采樣從概率最高的k個(gè)詞中選擇，而Top-p采樣（也稱為Nucleus采樣）選擇累積概率達(dá)到p的詞匯。這兩種方法可以增加多樣性，同時(shí)保持一定的連貫性。引入條件生成:通過(guò)提供更具體的輸入條件，如主題、風(fēng)格或情感，可以指導(dǎo)模型生成更連貫的文本，同時(shí)保持多樣性。后處理技術(shù):如使用序列解碼器（SequenceDecoders）來(lái)修正生成文本中的語(yǔ)法錯(cuò)誤，或使用文本重寫（TextRewriting）技術(shù)來(lái)增加文本的多樣性。3.2.1示例代碼下面是一個(gè)使用Top-k采樣策略的Python代碼示例：fromtransformersimportpipeline

#初始化文本生成pipeline

generator=pipeline('text-generation',model='bard')

#設(shè)置Top-k采樣參數(shù)

top_k=50

#使用Top-k采樣生成文本

text_top_k=generator("我正在寫一篇關(guān)于人工智能的文章，",max_length=100,top_k=top_k)

print("使用Top-k采樣生成的文本:",text_top_k[0]['generated_text'])3.2.2解釋在這個(gè)例子中，我們通過(guò)設(shè)置top_k參數(shù)來(lái)限制模型在生成下一個(gè)詞時(shí)的選擇范圍。這有助于在保持文本連貫性的同時(shí)，增加生成文本的多樣性。通過(guò)實(shí)驗(yàn)不同的top_k值，可以找到最適合特定任務(wù)的平衡點(diǎn)。通過(guò)調(diào)整這些控制參數(shù)，可以顯著提升Bard模型生成文本的質(zhì)量，使其更符合特定的應(yīng)用場(chǎng)景和需求。在實(shí)踐中，可能需要多次嘗試和調(diào)整，以找到最佳的參數(shù)組合。4部署與應(yīng)用Bard4.1模型的微調(diào)與適配在部署B(yǎng)ard模型到實(shí)際應(yīng)用中時(shí)，微調(diào)與適配是關(guān)鍵步驟。微調(diào)是指在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用特定領(lǐng)域的數(shù)據(jù)進(jìn)行進(jìn)一步訓(xùn)練，以使模型更好地理解該領(lǐng)域的語(yǔ)言特點(diǎn)和知識(shí)。適配則涉及調(diào)整模型的參數(shù)，以優(yōu)化其在特定硬件或環(huán)境下的性能。4.1.1微調(diào)流程數(shù)據(jù)準(zhǔn)備：收集并預(yù)處理特定領(lǐng)域的文本數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量。模型加載：加載預(yù)訓(xùn)練的Bard模型。微調(diào)訓(xùn)練：使用領(lǐng)域數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，更新模型參數(shù)。評(píng)估與調(diào)整：評(píng)估微調(diào)后的模型性能，根據(jù)需要調(diào)整訓(xùn)練參數(shù)。4.1.2示例代碼#導(dǎo)入必要的庫(kù)

importtorch

fromtransformersimportBardModel,BardTokenizer

#準(zhǔn)備數(shù)據(jù)

tokenizer=BardTokenizer.from_pretrained('google/bard')

model=BardModel.from_pretrained('google/bard')

#微調(diào)數(shù)據(jù)集

texts=[

"在自然語(yǔ)言處理中，Bard模型可以...",

"Bard模型的優(yōu)化技巧包括..."

]

labels=[1,0]#假設(shè)這是一個(gè)二分類任務(wù)

#數(shù)據(jù)轉(zhuǎn)換

inputs=tokenizer(texts,return_tensors='pt',padding=True,truncation=True)

input_ids=inputs['input_ids']

attention_mask=inputs['attention_mask']

#微調(diào)訓(xùn)練

optimizer=torch.optim.Adam(model.parameters(),lr=1e-5)

forepochinrange(10):#迭代次數(shù)

optimizer.zero_grad()

outputs=model(input_ids,attention_mask=attention_mask,labels=labels)

loss=outputs.loss

loss.backward()

optimizer.step()4.1.3適配技巧硬件優(yōu)化：利用GPU加速計(jì)算，調(diào)整批處理大小以適應(yīng)硬件限制。參數(shù)調(diào)整：減少模型的復(fù)雜度，如使用較小的模型版本或減少隱藏層的大小。4.2實(shí)際場(chǎng)景中的性能優(yōu)化在實(shí)際應(yīng)用中，Bard模型的性能優(yōu)化不僅涉及模型本身的調(diào)整，還包括對(duì)輸入數(shù)據(jù)的處理、推理速度的提升以及資源的有效利用。4.2.1數(shù)據(jù)處理優(yōu)化批處理：將多個(gè)輸入合并為一個(gè)批次，以減少模型的調(diào)用次數(shù)。預(yù)處理：對(duì)輸入文本進(jìn)行標(biāo)準(zhǔn)化，如去除停用詞、標(biāo)點(diǎn)符號(hào)等，以減少模型的計(jì)算負(fù)擔(dān)。4.2.2推理速度提升模型量化：將模型參數(shù)從浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)，以減少計(jì)算資源的消耗。動(dòng)態(tài)形狀處理：在處理不同長(zhǎng)度的文本時(shí)，動(dòng)態(tài)調(diào)整輸入形狀，避免不必要的填充。4.2.3資源利用多線程或分布式推理：在多核處理器或分布式系統(tǒng)中并行處理多個(gè)請(qǐng)求，提高效率。模型緩存：對(duì)于重復(fù)的輸入，緩存模型的輸出，避免重復(fù)計(jì)算。4.2.4示例代碼#使用批處理進(jìn)行推理

batch_size=16

texts=["這是一段文本。"]*batch_size

inputs=tokenizer(texts,return_tensors='pt',padding=True,truncation=True)

withtorch.no_grad():

outputs=model(**inputs)4.2.5總結(jié)通過(guò)微調(diào)與適配，以及在實(shí)際場(chǎng)景中對(duì)數(shù)據(jù)處理、推理速度和資源利用的優(yōu)化，可以顯著提升Bard模型的性能和效率，使其更好地服務(wù)于特定的應(yīng)用需求。5評(píng)估與監(jiān)控Bard5.1生成文本的評(píng)估方法在自然語(yǔ)言生成領(lǐng)域，評(píng)估模型生成的文本質(zhì)量是優(yōu)化和調(diào)參的關(guān)鍵步驟。Bard模型的評(píng)估通常涉及以下幾個(gè)方面：5.1.1自動(dòng)評(píng)估指標(biāo)BLEUScoreBLEU（BilingualEvaluationUnderstudy）是一種常用的自動(dòng)評(píng)估指標(biāo)，用于衡量生成文本與參考文本之間的相似度。BLEU分?jǐn)?shù)基于n-gram重疊，n越大，越能捕捉到長(zhǎng)序列的匹配。fromnltk.translate.bleu_scoreimportsentence_bleu

#參考文本

reference=[['這','是','一個(gè)','參考','句子']]

#生成文本

candidate=['這','是','一個(gè)','生成','的','句子']

#計(jì)算BLEU分?jǐn)?shù)

bleu_score=sentence_bleu(reference,candidate)

print(f"BLEUScore:{bleu_score}")ROUGEScoreROUGE（Recall-OrientedUnderstudyforGist