Gen AI 新時代-采用邏輯數據管理-2024.08-11正式版

白皮書GenAI新時代：采用邏輯數據管理如果說2023年是為現實的時代。實驗將讓位于商業(yè)和財務價值的實現。一些組織已經開始意識到這一價值，并通過降低成進行衡量（德勤人工智能研究所，生成式人工智能(GenAI)被廣泛認為具有變革潛力的一年，那么2024年往后將是這種潛力成本、提高流程效率、創(chuàng)造收入和改善的服務的形式，對價值2023年）。然而，基于GenAI的應用的可靠性只能取決于其所依據的數據質量。根據（麥肯錫，2023年）的數據，有72%的受訪組織將數據管理視為實施人工智能應用場景的關鍵要求。遺憾的是的數據量；使所有GenAI應用和其他數據使用者都能夠實時訪問其所需的數據，并以安全、符合隱私標準的的挑戰(zhàn)，GenAI仍能帶來可觀的收益。行業(yè)領先的數據管于GenAI的功能。這些功能可加快數據準備和使用，自動優(yōu)化性能和成本效，許多組織仍在奮力實施這樣一個數據基和越來越大礎：能夠擴展GenAI所需的越來越多的數據源方式訪問數據。然而，盡管存在這些數據管理方面理供應商已在其平臺中內置了基益，并在不犧牲質量或安全性的情況下，滿足業(yè)務不斷增長的數據需求。一個領先的邏輯數據管理平臺，可在必要例如，Denodo平臺就是時以所需的形式向所有使用者（包括GenAI）提供數據。這種方法抽象了GenAI和其他使用者對多個數據系統的訪問，隱藏了潛在的復雜性，同時保證了數據的交付符合預定義的語義和數據治理規(guī)則。的變革Denodo認識到GenAI在促進數據民主化方面潛力。Denodo平臺不僅可以實現任務自動化，還可以為各種角色的用戶賦能，從最終用戶到開發(fā)人員，再到管理員和數據管理員等。在本意見書中，我們將深入探討以下幾點：1.GenAI在企業(yè)中的早期應用場景和成功案例2.在企業(yè)中使用GenAI面臨的一些挑戰(zhàn)3.Denodo平臺如何應對這些挑戰(zhàn)4.Denodo平臺如何利用GenAI?2024DenodoTechnologies2企業(yè)中的生成式人工智能應用場景指出，到2026年，預計將有超過80%的企業(yè)在運營環(huán)境中使用由GenAI驅動的應用編程接口(API)或模型，和/或實施由GenAI支持的應用，這與2023年報告的不到5%相比有顯著增長（Gartner，2023年）。整理了六大行業(yè)最引人注目的60個GenAI應用場景。最常見的示例包括GenAI可以匯總信息，為“了解您的客戶”(KYC)等流程提供深刻見解，并根據這些信息創(chuàng)建有針對性的個性化消息。對于處理跨品產品描述、圖片、視頻和音頻等個性化的內容創(chuàng)作分配時間和資源十分困難。與傳統工具相比，GenAI可提供更快、更一致的解決方案，幫助企業(yè)高效生成內容。牌組合、采用多種語言的多個網站的組織來說，營銷內容管理是一項挑戰(zhàn)。為產品發(fā)跨行業(yè)靈感和簡化概念測試方面的局限性困難重。通過將GenAI與CAD及其他輔助軟件相結合，就可以加強原型設計、增強創(chuàng)造性思維、集思廣益和促進突破傳統的想法。設計歷來需要時間，而眾多創(chuàng)意中只有一個能推向市場?？朔祟愒诋a生各種創(chuàng)意、激重開發(fā)人員和其他高技能專業(yè)人員的需求量很大，且供不應求。為了克服人才缺口，GenAI可以用來輔助開發(fā)人員的工作，自動完成代碼創(chuàng)建和維護，這樣開發(fā)人員就可以專注于更復雜的代碼編寫。?2024DenodoTechnologies3GenAI有可能徹底改變客戶互動方式，它利用語音到文本和自然語言輸入來產生有同理心的個性化對話，特別是在售后支持和解決客戶投訴方面。在工業(yè)領域，維護計劃對于防止設備故障和昂貴的維修費用、延長資產壽命至關重

要。GenAI可根據運營因素優(yōu)化時間表，推薦高效、具有成本效益的計劃，同時分析設備數據，以最大限度減少停機時間和提高運轉率。GenAI賦能的虛擬現場助理可以充當參考工具，快速訪問大量技術信息。除了提供相關細節(jié)和引導工程師找到合適的資源外，虛擬助理還可以解決特定工程概念、原理或計算方面的問題，從而幫助排除故障。GenAI可以幫助識別和模擬供應鏈中的潛在中斷或風險。通過評估港口擁堵情況、運輸路線和N級供應商映射，GenAI可用于預測風險及其對運營的相應影響，也可以建議用來降低這些風險的行動。有關政府和公共服務的數據通常采用多種格式，分布在多個位置（例如，本地、云端等）。GenAI賦能的虛擬助理可以充當公民和政府信息之間的接口，用自然語言回答問題。?2024DenodoTechnologies4企業(yè)應用生成式人工智能面臨的挑戰(zhàn)隨著（麥肯錫，2023年）的數據，有

72%的受訪組織將數據管理視為使

GenAI支持的客戶個性化服務安全有效，基組織認識到

GenAI的變革潛力，他們開始投資相關技術和能力，并嘗試初始應用場景。但是，他們很快就遇到了各種數據相關的問題。根據擴展人工智能應用場景的關鍵挑戰(zhàn)。例如，要礎客戶數據必須準確、及時更新，并需要跨多個不同數據源進行近乎實時的數據訪問。問題在于，GenAI依賴于大語言模型

(LLM)，而這些模型本身存在局限性。LLM的智能程度取決于訓練它們的數據的智能程度。雖然

LLM對歷史事件和所有文獻都有百科全書式的了解，但他們對貴組織卻一無所知，例如有關組織客戶、產品或運營的細節(jié)，而且

LLM的數據集也不會實時更新。如果不具備這一點，GenAI對任何需要最新客戶或業(yè)務背景的操作應用場景都毫無用處。人工智能代理抱歉，我無權訪問我們上一季度最暢銷的有關產品產品具體信息?；蜾N售的是什么？大語言模型雖然可以利用更多信息對現有基礎模型進行訓練和微調，并使其了解企業(yè)數據和信息，但這種方法往往會帶來更多復雜性和挑戰(zhàn)。對于大多數組織來說，反復訓練

LLM所需的成本和技能不僅令人望而卻步，還需要讓LLM持續(xù)了解最新的數據和信息，這使得不斷反復訓練

LLM的迭代過程在當今根本不切實際。?2024DenodoTechnologies5此外，為了將公司信息這類知識嵌入模型，而用公司信息（可能是在未來的交互過程中，始終存在數據泄露的風險。精明的用戶可能會設計提示，來誘導泄露此類信息，即使模型經過訓練可以識別敏感性；但這種訓練并不完美。敏感信息）訓練

LLM也充滿危險性，因為好消息是在

2020年的一篇論文中首次提出了檢索增強生成

(RAG)架構，它很快成為一種以經濟、安全的方式利用其他數據和信息增強

LLM的首選方法。，一種新興的實施模式有望克服

LLM的局限性，能以安全有效的方式在企業(yè)環(huán)境中提供其所需的知識。檢索增強生成可以將實時更新的數據納入

GenAI的結果中，但這仍然需要時提供相關數據，同時確保數據的質量和隱私合規(guī)性。一個全面的數據管理解決方案來實人工智能代理+企業(yè)數據和知識上一季度最暢銷的產品是大型水泵，總銷售額我們上一季度最暢銷的產品是什么？達到54000美元。大語言模型企業(yè)數據存儲庫在傳統的機器學習應用場景中，數據在前期訓練過程中發(fā)揮著至關重要的作用，而

GenAI和檢索增強生成正在改變這種模式，要將知識注入LLM，而是在提示過程中通過額外的上下文窗口添加知識。然后，LLM可以使用提供的其他上下文的響應，而無需將這些知識嵌入

LLM本身。求數據在推理過程中扮演知識擴充層的角色。檢索增強生成架構不是通過反復訓練模型來生成必要檢索增強生成的優(yōu)勢包括減少幻覺，提供最新和實時的信息（克服根據“時間點”數據訓練模型的局限性）；特定領域的知識（如上文所述的產品銷售示例）；消除成本高昂的反復訓練以及對

來源的可視性（福布斯，2023年）。這種簡

單的方法可以應用于結構化和非結構化信息，是更安全的方式。結合

LLM強大的代碼生成功能（例如用于查詢底層企業(yè)數據的

SQL），使用檢索增強生成的下一代

AI應用可為企業(yè)開辟新型的強大用戶交互方式和釋放數據價值為

LLM提供額外知識和信息的一種更靈活、更經濟、的新途徑。但是，需要必要的數據管理基礎才能在企業(yè)環(huán)境中實施檢索增強生成。雖然現在可以找到大量簡

單的，且這些項目旨在證明檢索增強生成在桌面設置中對于單個表的強大功能，但在企業(yè)環(huán)境中針對通常孤立、復雜的企業(yè)數據環(huán)境中的真實生產數據實施檢索增強生成架構可能是一場噩夢。隨著組織探索

LLM和企業(yè)數據源之間更緊密的集成，他們將不可避免地在克服數據孤島、處理各種數據源類型以及管理復雜而冗長的數據交付管道方面遇到同樣的數據管理挑戰(zhàn)。?2024DenodoTechnologies6具體來說，組織在采用

GenAI時應考慮以下數據管理挑戰(zhàn)：法規(guī)：新的法規(guī)、指南和框架正在迅速制定，旨在解決

GenAI系統的運作和用于訓練這類系統的數據缺乏透明度、偏見和公平性、潛在的知識產權侵權、可能的隱私侵犯、第三方風險和安全顧慮等問題。新擬議的旨在為高風險的人工智能系統制定全面險評估提出具體要求。美國總統頒布的人工智能

確立了人工智能安全和保障的新標準，旨在保護美國人的隱私，促進公平和公民權利，維護使用者和工人的利益，促進創(chuàng)新和競爭等等。旨在通過對高風險人工智能服務更嚴格的通知要求和人工智能可信度認證系統等，確保人工智能系統的可信度，從而保護人工智能服務的用戶。其他地區(qū)的法規(guī)和指南提倡甚至強制要求在數據收集中使用隱私增強技術，例如：新加坡提出的的法規(guī)，對透明度、數據治理、人工監(jiān)督和風。此外，這些法規(guī)還對

GenAI結果的可審計性和可解釋性提出要審計性，確保

GenAI沒有偏見，不會對使用者造成傷害，并向使用者說明在特定交互過程中使用

GenAI（例由

GenAI所提供）。要GenAI在生成特定結果時使用了哪些數據，并確保控制措施到位，以監(jiān)控哪些

GenAI應用場景在何求。例如，《歐盟人工智能法案》要求具有可如，披露他們正在交談的聊天機器人，或為他們生成的建議是應對此類審計，就必須能夠查看時使用了哪些數據。數據質量和可解釋性：低質量的數據可能導致不正確或不一致的行為，即“垃圾輸入，垃圾輸出”。無論是隨后通過檢索增強生成實時訪問企業(yè)數據，都是在

LLM的模型訓練過程中，還是如此。由此產生的“幻覺”會導致最終用戶的不信任，而對于受人工智能使用道德規(guī)范約束的企業(yè)來說，則可能會違反合規(guī)性。，但這還不夠。GenAI還需要因此，對數據質量嚴格把關很必要“數據可解釋性”，也即為生成結果訪問了哪些數據。這樣，GenAI用戶就能隨時確定所使用的數據是否正確和準確，如果不正確，也能輕松采取補救《歐盟人工智能法案》，要措施。數據可解釋性提供了透明度，從而提高了最終用戶的信任度。事實上，上述一些法規(guī)，特別是求按需提供這種程度的透明度。數據隱私和安全：歐洲的《通用數據保護條例》(GDPR)等隱私法規(guī)仍然適用，但挑戰(zhàn)不僅限于確保正確的訪問控制和落實去標識化措施。GenAI帶來了額外的風險。下面叫

JaneDoe，我的電話號碼是...”之類的提示可能會導致模型泄露這些信息（Seth&Chang，2024年）。眾所周

知，模型會“記住”訓練數據，從而使問題變得更加復雜。有幾種類型的攻擊（如訓練數據提?。┮驯蛔C明會泄露

LLM的敏感數據（Seth&Chang，2024）。上述所有人工智能法規(guī)都要我們舉例說明

GenAI模型如何帶來隱私風險。如果使用“JaneDoe”的私人數據來訓練模型，那么“我求組織采取控制措施，以降低發(fā)生此類侵犯隱私行為的風險。?2024DenodoTechnologies7Denodo如何應對這些挑戰(zhàn)

-邏輯數據管理Denodo認為，組織必須發(fā)展和重新構想數據管理，因為這種利害關系之重大是前所未有的。組織必須立即采取行動，建立數據管理基礎，為即將到來的人工智能驅動的新競爭格局做好準備。當您回顧推動下一代人工智能應用所需的數據管理考慮因素時，我們認為合乎邏輯的數據管理方法是推動下一代人工智能應用的關鍵因素。Denodo平臺利用數據技術，在增強人工智能應用之前無需遷移或整合數據。它為人工智能應用訪問集成數據提供了一個單一的整合網關，并帶來了許多其他關鍵優(yōu)勢，包括：一個統一、安全的接入點，供LLM與所有企業(yè)數據[企業(yè)資源規(guī)劃(ERP)、運營數據集市、企業(yè)數據倉庫(EDW)、應用程序API]交互和查詢一個豐富的語義層。為LLM提供所需的業(yè)務背從底層技術數據視圖中解耦和抽象的（LLM可能難以使用）提供便于LLM使用的寬邏輯表視圖，而無需先對多個數據集進行物理組合內置的查詢優(yōu)化功能使LLM無需處理特定的數據源景和知識（如表格說明、業(yè)務定義、類別/標簽和樣本值）?？焖俳桓哆壿嫈祿晥D，這些視圖是約束或優(yōu)化的連接策略。憑借這些優(yōu)勢，Denodo平臺成為了檢索增強生成的良好推動力。語義層使存儲在規(guī)范數據平臺中的數據能夠通過一個一致、安全的接口供GenAI應用訪問。Denodo平臺還擁有必要的元數據，可為GenAI應用提供所需的信息，包括數據模式、帶有上下文信息的字段描述以及字段的業(yè)務名稱。大語言模型平臺數據虛擬化查詢優(yōu)化語義層安全/治理200+SaaS傳統DB和DW云存儲Hadoop和NoSQLOLAP文件應用程序流式數據SaaS數據適配器?2024DenodoTechnologies8對于生成式人工智能應用最關鍵的組件之一，即您的數據，Denodo平臺可成為單一的服務層。LLM和Denodo平臺相結合，可大大加快功能強大的人工智能代理的開發(fā)速度。Denodo平臺提供了以下附加功能，確保為

GenAI奠定堅實的數據基礎：數據質量和使用情況監(jiān)控：Denodo平臺提供了一個龐大的轉換、過濾和匹配函數庫，以及用于驗證、清理、豐富、標準化、匹配與合并數據的質量規(guī)則，例如，條件處理、分區(qū)、用于重

復數據刪除和清理的模糊匹配算法，以及基于語法、同義詞庫或語義映射。此外，Denodo平臺可持續(xù)監(jiān)控哪些數據在何時由誰訪問。對于通過檢索增強生成發(fā)起的每次

GenAI查詢，Denodo平臺都會記錄查詢和返回的數據，從而提供隨時可解釋性和透明度。數據安全和隱私合規(guī)：作為應用的單一數據接入點，Denodo平臺提供了一個中心層，用于強制執(zhí)行訪問安全限制，這些限制可根據具有字段級粒度的規(guī)范模型來定義。Denodo平臺支持基的權限（如訪問

Denodo數據庫和視圖），又有特定于數據的權限（如訪問虛擬視圖中的特定行或列）。Denodo平臺提供基更高級別管理層的“工資”列，這于用戶和角色的身份驗證和授權機制，既有模式范圍于行和基于列的安全性，包括屏蔽特定字段的可能性（例如，不允許經理查看些單元格將在結果中顯示為屏蔽）。這些功能使

Denodo平臺非常適合為支持檢索增強生成的人工智能應用實施數據安全，幫助組織滿足上述各種監(jiān)管要求。要充分發(fā)揮

LLM驅動的人工智能代理的潛力，需要整個行業(yè)不斷發(fā)展技術和創(chuàng)新。Denodo正走在前沿，不斷發(fā)展我們的產品，以滿足人工智能賦能的未來的需求。我們優(yōu)秀的產品理團隊會不斷監(jiān)控和評估人工智能和其他現代技術的最新進展，為數據管理打下更堅實的基礎。我們致力于幫助我們的客戶有效利用這些創(chuàng)新技術。管?2024DenodoTechnologies9GenAI如何增強數據管理GenAI還被用來改善數據管理。它將極具價值的自動化引入到容易出現人為錯誤的手動流程中。人工智能可以更高效、更準確地處理基礎數據管理任務，而在此之前，這些任務都屬于勞動密集型，且容易出錯。Denodo已在

Denodo平臺中實現了以下功能：自然語言查詢。任何用戶只需用自然語言輸入問題，平臺就會將其轉換為

SQL代碼并執(zhí)行。這是邁出的一大步，能讓不懂

SQL或商業(yè)智能

(BI)工具的業(yè)務專業(yè)人員也能從數據中獲得深刻見解。例如，銷售美國所有首選客戶的姓名和電子郵件”。使用

GenAI的數據平臺可以將自然語言查詢轉化為SQL代碼，甚至生成代碼的解釋。然后，數據平臺將執(zhí)行代碼并檢索結果。數據民主化經理可以使用日常用語查詢數據，例如，“我需要這對于分析師、營銷人員、銷售人員、醫(yī)療保健專業(yè)人員等業(yè)務專業(yè)人士來說具有巨大的潛力，他們可以獨立訪問數據并從數據中獲得洞察，而無需依賴

IT和

（TDWI，2023年）。這將為業(yè)務決策者提供所需