T-AHAI 013-2024 面向終身學(xué)習(xí)的知識圖譜構(gòu)建系統(tǒng)技術(shù)規(guī)范

ICS35.240CCSL67T/AHAITechnicalspecificationforknowledgegraphconstructionsystemoflifelonglearningIT/AHAI013—2024本文件按照GB/T1.1—2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由安徽省人工智能協(xié)會提出并歸口。本文件起草單位：西安電子科技大學(xué)、湖南大學(xué)、科大訊飛股份有限公司。本文件主要起草人：李瑞，徐悅甡，段明星，李鑫，李嬋，蔣志平，王琳方，楊思睿，邢鈞峰，蔣宇宏，楊溢，劉寄甲，劉大威，馬寅汝。1T/AHAI013—2024面向終身學(xué)習(xí)的知識圖譜構(gòu)建系統(tǒng)技術(shù)規(guī)范本文件規(guī)定了面向終身學(xué)習(xí)的知識圖譜構(gòu)建系統(tǒng)的框架、技術(shù)要求、功能要求和非功能要求。本文件適用于教育行業(yè)面向終身學(xué)習(xí)的知識圖譜系統(tǒng)設(shè)計、開發(fā)與測試。2規(guī)范性引用文件GB/T5271.17-2010信息技術(shù)詞匯第17部分數(shù)據(jù)庫；GB/T42131-2022人工智能知識圖譜框架；YD/T4044-2022基于人工智能的知識圖譜構(gòu)建技術(shù)要求。3術(shù)語和定義GB/T5271.17-2010界定的以及以下術(shù)語和定義適用于本文件。3.1終身學(xué)習(xí)lifelonglearning終身學(xué)習(xí)是一種持續(xù)不斷的學(xué)習(xí)過程，在人的整個生命周期中不斷獲取新知識、技能和經(jīng)驗，使個體能夠持續(xù)提升能力、拓展視野，并保持競爭力。3.2實體entity存在或者可能存在的任何具體或抽象的事務(wù)，包括這些事物間的關(guān)聯(lián)。[來源：GB/T5271.17-2010，17.02.05]3.3實體類型entitytype一組具有相同屬性的實體集合的抽象。[來源：GB/T42131-20223.3]3.4關(guān)系relation具有相同屬性的各實體值的集合以及這些屬性。[來源：GB/T5271.17-2010，17.04.01]2T/AHAI013—20243.5知識圖譜knowledgegraph一種以結(jié)構(gòu)化的形式描述客觀世界中概念、實體及其關(guān)系的方式。它將互聯(lián)網(wǎng)的海量信息表達成更接近人類認知世界的形式，提供了一種更好地組織、管理和理解互聯(lián)網(wǎng)海量信息的能力。[來源：YD/T4044-2022，3.1]3.6精確率precision評價機器學(xué)習(xí)模型效果的參數(shù)，反映的是在預(yù)測為正例的樣本中，預(yù)測正確的比例。注：計算公式為準確率=正確預(yù)測的正例樣本數(shù)量/預(yù)測為正例的樣本數(shù)量。3.7召回率recallrate評價機器學(xué)習(xí)模型效果的參數(shù)，反映的是在所有正例樣本中，能夠正確地識別為正例的比例。注：計算公式為召回率=正確預(yù)測的正例樣本數(shù)量/（正確預(yù)測的正例樣本數(shù)量+錯誤預(yù)測的負例樣本數(shù)量）。3.8F1值F1-score綜合應(yīng)用精確率和召回率，為二者的調(diào)和均值。4縮略語下列縮略語適用于本文件。NLP自然語言處理（NaturalLanguageProcessing）API應(yīng)用編程接口（ApplicationProgrammingInterface）RDF資源描述語言（ResourceDescriptionFramework）OWL網(wǎng)絡(luò)本體語言（WebOntologyLanguage）SPARQL數(shù)據(jù)獲取協(xié)議和查詢語言（SPARQLProtocolandRDFQueryLanguage）5構(gòu)建框架面向終身學(xué)習(xí)的知識圖譜系統(tǒng)以底層技術(shù)基礎(chǔ)作為支撐，其構(gòu)建需經(jīng)過數(shù)據(jù)獲取、數(shù)據(jù)清洗和去重、知識抽取、知識表示、實體鏈接、知識存儲、知識更新等階段，各階段間的邏輯結(jié)構(gòu)如圖1所示。3T/AHAI013—2024圖1面向終身學(xué)習(xí)的知識圖譜構(gòu)建系統(tǒng)結(jié)構(gòu)圖標引序號說明：1——數(shù)據(jù)獲取。通過數(shù)據(jù)庫、網(wǎng)絡(luò)爬蟲、API接口、第三方數(shù)據(jù)提供商等手段獲取所需的數(shù)據(jù)。2——數(shù)據(jù)清洗與去重。針對獲取的數(shù)據(jù)集中的殘缺數(shù)據(jù)、錯誤數(shù)據(jù)和重復(fù)數(shù)據(jù)進行清洗。3——知識抽取。知識抽取是使用識別、理解、過濾和歸納的方法從不同來源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中將信息提取出來4——知識表示。將知識圖譜中的實體和它們之間的關(guān)系轉(zhuǎn)換為數(shù)學(xué)表示，從而使得計算機可以更加方便地處理和分析這些信息，能夠?qū)?fù)雜的實體和關(guān)系映射到一個低維度向量空間中，從而能夠有效處理大規(guī)模的知識圖譜。5——實體鏈接。實體鏈接是一種確定兩個實體是否指向現(xiàn)實世界中同一對象的過程，用于判斷不同數(shù)據(jù)集中的實體是否相同。6——知識存儲。知識存儲是指將知識以某種結(jié)構(gòu)化的形式存儲在計算機系統(tǒng)或其他媒體中，以便于組織、管理和檢索，旨在有效地保存和利用知識資源。7——知識更新。知識更新是指不斷對知識庫、知識圖譜或其他知識存儲結(jié)構(gòu)中的信息進行修訂、添加、刪除或修改，以確保其中所包含的知識與最新的實際情況和領(lǐng)域知識相符。6技術(shù)要求6.1知識獲取終身學(xué)習(xí)過程中涉及到多種知識獲取途徑，知識獲取階段應(yīng)明確知識圖譜構(gòu)建的數(shù)據(jù)來源，針對不同來源的數(shù)據(jù)定制不同的獲取規(guī)則。知識獲取階段的技術(shù)要求如下：a)應(yīng)明確數(shù)據(jù)獲取的來源和途徑。應(yīng)明確數(shù)據(jù)獲取的目標來源，包括但不限于數(shù)據(jù)庫、網(wǎng)絡(luò)爬蟲、API接口、第三方數(shù)據(jù)提供商等。對于每個來源，需要了解數(shù)據(jù)的結(jié)構(gòu)、格式、訪問方式等具體信息；b)應(yīng)明確數(shù)據(jù)粒度和維度。應(yīng)根據(jù)數(shù)據(jù)使用場景和需求，明確數(shù)據(jù)獲取輸出的粒度和維度，以滿足后續(xù)知識圖譜構(gòu)建的需求；4T/AHAI013—2024c)應(yīng)確保數(shù)據(jù)輸出的規(guī)范化和標準化，包括字段命名、數(shù)據(jù)編碼、單位統(tǒng)一等，以便后續(xù)數(shù)據(jù)集成和應(yīng)用；d)應(yīng)確保數(shù)據(jù)獲取的合法性和可靠性，避免侵犯他人隱私或知識產(chǎn)權(quán)。特別是在涉及第三方數(shù)據(jù)提供商時，需要明確數(shù)據(jù)授權(quán)方式和使用條款；e)應(yīng)設(shè)置異常處理和改進機制。確保對數(shù)據(jù)獲取過程中出現(xiàn)的問題和異常進行記錄和分析，及時糾正和改進數(shù)據(jù)獲取的流程和方法；f)應(yīng)對采集到的數(shù)據(jù)進行存儲，以便后續(xù)分析。6.2數(shù)據(jù)清洗與去重面向終身學(xué)習(xí)的知識圖譜數(shù)據(jù)清洗與去重，應(yīng)滿足數(shù)據(jù)來源與途徑明晰化、數(shù)據(jù)粒度和維度確認、數(shù)據(jù)規(guī)范化與標準化以及合法性和可靠性保障等技術(shù)要求，以確保清洗與去重后的數(shù)據(jù)質(zhì)量和可用性，為知識圖譜的構(gòu)建和應(yīng)用奠定基礎(chǔ)。數(shù)據(jù)清洗與去重階段的技術(shù)要求如下：a)數(shù)據(jù)來源與途徑明晰化：應(yīng)明確數(shù)據(jù)清洗與去重的目標數(shù)據(jù)來源，包括已有知識圖譜、自然語言文本、結(jié)構(gòu)化數(shù)據(jù)庫等。對于每個來源，需要了解數(shù)據(jù)的結(jié)構(gòu)、格式、獲取方式和訪問權(quán)限等具體信息。b)數(shù)據(jù)粒度和維度確認：應(yīng)根據(jù)知識圖譜的應(yīng)用場景和需求，明確數(shù)據(jù)清洗與去重輸出的粒度（如實體、關(guān)系等）和維度（如時間、地點、屬性等），以滿足后續(xù)知識圖譜構(gòu)建的需求。c)數(shù)據(jù)規(guī)范化與標準化：應(yīng)確保清洗與去重后的數(shù)據(jù)輸出符合統(tǒng)一的規(guī)范和標準，包括字段命名一致、數(shù)據(jù)編碼統(tǒng)一、單位規(guī)范等，以便后續(xù)數(shù)據(jù)集成和應(yīng)用。d)合法性和可靠性保障：應(yīng)確保數(shù)據(jù)清洗與去重過程中的合法性和可靠性，避免侵犯他人隱私或知識產(chǎn)權(quán)。特別是在涉及第三方數(shù)據(jù)提供商時，需要明確數(shù)據(jù)授權(quán)方式、使用條款和合規(guī)性，以保證數(shù)據(jù)的合法獲取和使用。e)缺失值填充：應(yīng)對于存在缺失值的數(shù)據(jù)，需要進行適當(dāng)?shù)奶畛洳僮?，以保持?shù)據(jù)完整性。常見的缺失值填充方法包括使用均值、中位數(shù)或眾數(shù)進行填充，或者根據(jù)數(shù)據(jù)的特點和背景知識進行合理推測和插補。f)異常值處理：異常值會對后續(xù)分析和應(yīng)用造成不利影響，因此需要識別和處理異常值。常見的異常值處理方法包括使用統(tǒng)計學(xué)方法（如3σ原則、箱線圖等）進行判斷和剔除，或者根據(jù)領(lǐng)域知識和實際情況進行異常值的修正或標記。6.3知識抽取6.3.1實體抽取實體抽取是自然語言處理中的一項重要任務(wù)，其主要目標是從文本中識別和提取出具有特定意義的實體，如人名、地名、組織名、時間、數(shù)量等。實體抽取的技術(shù)要求如下：a)實體抽取的結(jié)構(gòu)和形式輸出實體應(yīng)包括類型、起始位置、結(jié)束位置等信息，以便于后續(xù)處理和應(yīng)用。實體抽取結(jié)果應(yīng)采用統(tǒng)一的格式和標注規(guī)范，以支持不同系統(tǒng)間的交互和整合；b)數(shù)據(jù)類型和規(guī)模。文本數(shù)據(jù)應(yīng)涵蓋多個領(lǐng)域和主題，包括但不限于新聞、社交媒體、學(xué)術(shù)文獻等，覆蓋范圍廣泛。數(shù)據(jù)規(guī)模應(yīng)確保充分覆蓋各類實體，包括人物、地點、組織、時間等；c)利用命名實體識別技術(shù)，從文本中識別出具體的實體，包括人名、地名、組織名等，以支持多種實體類型的識別，滿足不同場景下的實體抽取需求；5T/AHAI013—2024d)實體分類。對抽取出的實體進行分類，確定實體的具體類型，如人物、地點、時間等，以便后續(xù)處理和應(yīng)用；e)實體抽取的準確性評估。建立實體抽取的精確率、召回率和F1值等指標，對實體抽取結(jié)果進行全面評估和比對。6.3.2關(guān)系抽取在終身學(xué)習(xí)過程中，面對海量多領(lǐng)域知識，實體間的關(guān)聯(lián)起到了重要的鏈接作用。關(guān)系抽取是自然語言處理領(lǐng)域的重要任務(wù)之一，通過對應(yīng)算法與模型自動識別和提取文本中的實體之間的關(guān)系，以構(gòu)建結(jié)構(gòu)化的知識表示，進而支持信息檢索、問答系統(tǒng)、知識圖譜構(gòu)建等應(yīng)用。關(guān)系抽取的技術(shù)要求如下：a)關(guān)系抽取的結(jié)構(gòu)和形式。輸出關(guān)系應(yīng)包括關(guān)系類型、關(guān)系持有實體（實體對）、關(guān)系置信度等信息，以便于后續(xù)處理和應(yīng)用；b)關(guān)系抽取結(jié)果應(yīng)采用統(tǒng)一的格式和標注規(guī)范，以支持不同系統(tǒng)間的交互和整合；c)關(guān)系類型的定義。定義一套完整的關(guān)系類型體系，涵蓋常見的關(guān)系類型，同時支持自定義擴展，以應(yīng)對不同領(lǐng)域和應(yīng)用場景的需求；d)上下文信息的利用。應(yīng)利用關(guān)系在上下文中的語境和邏輯，通過利用句法結(jié)構(gòu)、語義信息等，提高關(guān)系抽取的準確性和連貫性；e)應(yīng)進行關(guān)系分類器設(shè)計。構(gòu)建關(guān)系分類器，用于將抽取出的關(guān)系進行進一步分類和驗證。應(yīng)關(guān)注特征選擇、模型訓(xùn)練和評估等環(huán)節(jié)，確保分類器的準確性和泛化能力；f)應(yīng)進行可信度計算。對于抽取出的關(guān)系，應(yīng)引入可信度計算模型，評估關(guān)系的真實性和可靠性，排除噪聲和錯誤信息；g)交叉驗證和測試。利用交叉驗證或者留出測試集的方式，對關(guān)系抽取系統(tǒng)進行全面的性能評估，包括精確率、召回率、F1值等指標。6.4知識表示知識表示是指將自然語言中的信息、概念和關(guān)系以一種計算機可理解的形式進行表達和存儲的過程。在NLP任務(wù)中，知識表示起著至關(guān)重要的作用，它直接影響到文本理解、推理和應(yīng)用的效果。知識表示階段的技術(shù)要求如下：a)應(yīng)明確知識表示的結(jié)構(gòu)和形式。知識表示應(yīng)采用統(tǒng)一的格式和結(jié)構(gòu)，如圖譜、知識庫、向量空間模型等，以便于計算機進行有效的理解和處理。應(yīng)采用語義網(wǎng)絡(luò)、本體、三元組等形式對知識進行表達，以支持語義推理和信息檢索；b)應(yīng)對多模態(tài)信息的整合。融合文本、圖像、語音等多模態(tài)信息，構(gòu)建跨模態(tài)的知識表示，以滿足不同應(yīng)用場景下的需求。應(yīng)關(guān)注多模態(tài)信息之間的關(guān)聯(lián)和交互，提高知識表示的豐富度和復(fù)雜性；c)應(yīng)明確語義和關(guān)系的表達。確保知識表示能夠準確表達實體之間的語義關(guān)系和屬性，包括同義關(guān)系、層次關(guān)系、關(guān)聯(lián)關(guān)系等，以支持語義推理和信息抽取；d)知識表示建模。應(yīng)利用自然語言處理技術(shù)對原始數(shù)據(jù)進行建模，形成結(jié)構(gòu)化的知識表示；e)應(yīng)進行知識的補充和更新。不斷更新和補充知識表示，及時引入新的知識和信息，確保知識表示的時效性和全面性。結(jié)合領(lǐng)域?qū)＜业闹R和經(jīng)驗，對知識表示進行修正和完善，提高知識表示的準確性和有效性；f)確保對知識表示中出現(xiàn)的問題和異常進行記錄和分析，及時糾正和改進知識表示的方法和模型。6.5實體鏈接6T/AHAI013—2024實體鏈接是自然語言處理中的一項任務(wù)，旨在將文本中提及的實體鏈接到知識庫中相應(yīng)的實體。在文本中，實體可以是具體的人、地點、組織、時間等事物的提及，而知識庫中存儲了這些實體的結(jié)構(gòu)化信息，如實體的屬性、關(guān)系、分類等。實體鏈接的目標是將文本中的實體與知識庫中的實體進行對應(yīng)，從而豐富文本的語義表達，幫助計算機理解和推理文本內(nèi)容。實體鏈接的技術(shù)要求如下：a)應(yīng)了解系統(tǒng)是否需要額外的上下文信息，如句子級別的上下文、語義信息等，以提高實體鏈接的準確性；b)應(yīng)確定實體鏈接系統(tǒng)的輸出格式，如實體標識符、實體類型、鏈接的知識庫實體等；c)應(yīng)關(guān)注到對未鏈接實體進行處理，系統(tǒng)對于無法鏈接的實體應(yīng)當(dāng)給出相應(yīng)的處理方式，如標記為未知實體、進行后續(xù)人工處理等；d)候選實體生成模塊應(yīng)確定實體鏈接系統(tǒng)如何生成候選實體集合，可以是基于文本上下文的實體候選集合或者利用外部知識庫進行實體匹配；e)系統(tǒng)應(yīng)當(dāng)包括實體消歧模塊，用于在候選實體集合中識別出正確的鏈接實體，應(yīng)關(guān)注上下文語境、實體描述信息等；f)確保有合適的標注數(shù)據(jù)集用于對實體鏈接系統(tǒng)進行訓(xùn)練和評估。g)確定實體鏈接系統(tǒng)的評估指標，如精確率、召回率、F1值等，以及如何計算這些指標。6.6知識存儲知識存儲是支撐終身學(xué)習(xí)知識長久保存與維護的關(guān)鍵技術(shù)。知識圖譜是一種用于表示實體之間關(guān)系的知識存儲結(jié)構(gòu)，以三元組（subject,predicate,object）的形式來表示事實或關(guān)系，其中主語和賓語表示實體，謂語表示它們之間的關(guān)系。知識圖譜中的實體和關(guān)系可以通過唯一的標識符鏈接到外部的知識庫或數(shù)據(jù)源，從而構(gòu)成了一個具有豐富語義信息的知識存儲結(jié)構(gòu)。知識存儲的技術(shù)要求如下：a)采用圖結(jié)構(gòu)和本體表示等合適的數(shù)據(jù)結(jié)構(gòu)和語義模型，以清晰地表達實體之間的關(guān)系和語義信b)應(yīng)滿足豐富的語義信息，如存儲實體的屬性、關(guān)系的類型、層次結(jié)構(gòu)等，提供清晰的語義表示，以支持多樣化的知識圖譜任務(wù)需求；c)應(yīng)支持多種查詢和推理操作。提供適當(dāng)?shù)腁PI或查詢接口，支持復(fù)雜的語義查詢和推理操作，例如基于SPARQL的查詢語言；d)結(jié)構(gòu)化數(shù)據(jù)。采用RDF或OWL等標準化格式，以便進行統(tǒng)一的存儲和查詢。e)應(yīng)關(guān)注到知識存儲的準確性。采用人工審核、自動校對等手段，確保知識圖譜中的信息準確無f)應(yīng)考慮到知識存儲的完整性。通過與已知領(lǐng)域知識庫對比、自動生成的知識驗證等方式，評估知識圖譜的信息完整性；g)應(yīng)關(guān)注到知識存儲的一致性。建立嚴格的邏輯規(guī)則和一致性檢查機制，確保知識圖譜中的信息不會相互矛盾或沖突；h)應(yīng)關(guān)注到知識存儲的更新性。建立自動化的更新機制，定期對知識圖譜進行更新和維護；i)應(yīng)關(guān)注到知識存儲的可信度。評估知識來源的可信度，并設(shè)立權(quán)威信息標識機制，以提高知識圖譜的可信度和權(quán)威性。6.7知識更新7T/AHAI013—2024在終身學(xué)習(xí)過程中，海量的領(lǐng)域知識具有一定的時效性，因此知識的增量更新對終身學(xué)習(xí)知識圖譜的構(gòu)建至關(guān)重要。知識更新是指不斷對知識庫、知識圖譜或其他知識存儲結(jié)構(gòu)中的信息進行修訂、添加、刪除或修改，以確保其中所包含的知識與最新的實際情況和領(lǐng)域知識相符。更新知識的目的是保持知識庫的準確性、完整性和時效性，以滿足學(xué)習(xí)者的終身學(xué)習(xí)需求并反映最新的知識和信息。知識更新技術(shù)要求如下：a)采用人工審核、自動校對等手段，應(yīng)確保知識圖譜中的信息準確無誤。人工審核可以通過專家審查、領(lǐng)域知識驗證等手段進行，以確保添加到知識圖譜中的信息符合專業(yè)標準和事實真相。自動校對技術(shù)如數(shù)據(jù)一致性檢查、邏輯推理等，以發(fā)現(xiàn)潛在的錯誤或沖突信息，并及時予以修b)評估知識圖譜的信息完整性，應(yīng)采用知識補全技術(shù)，通過分析知識圖譜中的結(jié)構(gòu)和內(nèi)容，發(fā)現(xiàn)缺失的實體、關(guān)系或?qū)傩?，并利用各種技術(shù)手段從外部文本、數(shù)據(jù)庫等來源中提取相關(guān)信息，使知識圖譜更加完備和全面。c)應(yīng)建立嚴格的邏輯規(guī)則和一致性檢查機制，定義實體之間的合法關(guān)系和屬性取值范圍，確保知識圖譜在補全和更新中信息不會相互矛盾或沖突，保持數(shù)據(jù)一致性。d)應(yīng)建立自動化的更新機制，定期對知識圖譜進行更新和維護。通過自動化更新技術(shù)，以實現(xiàn)知識的增量更新、錯誤修正、新知識的添加等操作，保證知識圖譜與實際領(lǐng)域知識的同步。e)評估知識來源的可信度，并設(shè)立權(quán)威信息標識機制，標記來源于可靠渠道和權(quán)威機構(gòu)的知識信息，以提高知識圖譜的可信度和權(quán)威性。7基本功能要求面向終身學(xué)習(xí)的知識圖譜交互系統(tǒng)的基本功能如下：a)應(yīng)支持知識圖譜的可視化展示；b)應(yīng)支持對知識的管理功能，包括知識查詢、知識增添、知識更新、知識刪除等；c)應(yīng)支持模型訓(xùn)練優(yōu)化，包括支持模型組合