2024電力系統(tǒng)的大語言模型微調數(shù)據(jù)準備規(guī)范

電力系統(tǒng)的大語言模型微調數(shù)據(jù)準備規(guī)范目 次前 言 22范圍 1規(guī)范引用件 1術語定義 1縮略語 2總則 2數(shù)據(jù)備規(guī)范 3數(shù)收集 3數(shù)格式 3數(shù)預處理 4數(shù)轉換 4數(shù)標簽注釋 4數(shù)集劃分 4數(shù)格式化 5數(shù)集質評估 5數(shù)增強 5數(shù)更新維護 5數(shù)隱私安全 5大語模型調數(shù)備流程范 6ⅢPAGEPAGE11范圍規(guī)范性引用文件（GB/T5271.28-2001 28部分GB/T41867-2022信息技術人工智能術語術語和定義下列術語和定義僅適用于本文件。ArtificialIntelligence（LanguageModel（）InstructionTuningDataPreparation指的是將原始數(shù)據(jù)進行清洗、轉換、標記和結構化以適用于大語言模型的過程。DataSourcesDataPreprocessing縮略語下列縮略語適用于本文件。Json：JS對象簡譜(JavaScriptObjectNotation)BOM：字節(jié)順序標記(ByteOrderMark)總則1:圖1組織框架數(shù)據(jù)準備規(guī)范大語言模型訓練中應過濾低質量數(shù)據(jù)，保證數(shù)據(jù)的準確性和一致性，可分為兩類方法：基于分類器的方法和基于啟發(fā)式的方法。對數(shù)據(jù)數(shù)據(jù)集進行劃分要求如下：用的訓練和驗證數(shù)據(jù)必須采用JSON（JSONL）文檔格式，其中每一行代表一個{prompt-completion}對。訓練數(shù)據(jù)的格式實例：{"prompt":"<prompttext>","completion":"<idealgeneratedtext>"}{"prompt":"<prompttext>","completion":"<idealgeneratedtext>"}{"prompt":"<prompttext>","completion":"<idealgeneratedtext>"}除JSONL格式外，訓練和驗證數(shù)據(jù)文件必須以UTF-8編碼并包含字節(jié)順序標記(BOM)，并且文件大小必須小于200MB。在準備電力系統(tǒng)大語言模型微調數(shù)據(jù)中應通過增加數(shù)據(jù)樣本和多樣性來提高模型性能，解決數(shù)據(jù)不平衡問題，增加小類別的樣本，可采用的方法包括Mixup、AutoAugment以及利用GAN生成新樣本等等。應對敏感信息存儲和記錄，對所記錄的數(shù)據(jù)進行訪問時要設定權限嚴格管控，以達應大語言模型設置數(shù)據(jù)安全標準等級規(guī)定，保障電力系統(tǒng)中大量的實時監(jiān)測和控制結合電力數(shù)據(jù)的有關特性，對數(shù)據(jù)安全性方面作出如下要求：大語言模型構建過程中應告知使用時收集用戶數(shù)據(jù)的范圍，提供數(shù)據(jù)信息撤銷、清在對大模型進行微調訓練過程中，要求對數(shù)據(jù)進