微軟GraphRAG震撼登場!知識圖譜助力AI進化,生成式模型準確性大幅提升

微軟於2024年7月推出的GraphRAG技術結合了知識圖譜與生成式AI,突破傳統RAG方法在處理複雜資訊時的侷限性,開創了人工智慧應用的新篇章。與傳統的檢索增強生成(RAG)相比,GraphRAG利用圖形結構來探索資料之間的關聯性,大幅提升了大型語言模型(LLM)的回答準確性和實用性。這項技術讓AI在應對複雜資料網絡時更加精確,有效助力智慧製造和供應鏈管理等高度互聯的應用場景,為未來AI應用帶來更深遠的影響。
【技術原理】
下圖展示了RAG應用的架構,包含了數據來源、數據管道、知識檢索、以及生成模型的流程。在 RAG的架構中,首先將內部或外部的結構化和非結構化數據,經過數據管道進行前處理(Data Pipeline)、特徵抽取(如嵌入向量生成)後,以向量的形式存放於資料庫中,當用戶對系統提出問題時,問題會經過檢索模塊轉換為向量,並與資料庫中的相關內容進行檢索,檢索到的內容隨後與問題一同提供給大型語言模型(LLM),生成更具針對性的回答,最終返回給用戶。相較於傳統的RAG,GraphRAG (下圖紅框)增加了「知識圖譜(Knowledge Graph)」與「圖檢索(Graph Retrieval)」模塊,帶來了以下優勢:
- 知識的深層結構化:GraphRAG 利用知識圖譜來將原始數據進行更深層次的語意關聯和結構化,這使得每個實體之間的關係能夠被具體表示,並且在檢索時可以考慮到更多層次的關聯性,不僅僅是向量匹配。
- 更精確的語意檢索:透過圖檢索模塊,能利用知識圖譜中實體(例如產品、事件)及它們之間的連結,找到更相關的資料。不僅僅是找到和問題文字相似的答案,它還能理解這些實體之間的關係,例如誰影響誰、哪些東西有密切關聯,進而提供更符合問題需求、更具深度的回答。
- 上下文豐富性:GraphRAG的知識圖譜能夠提供更多的上下文資料,這些資料不僅基於檢索得來的文本,還包含了知識圖譜中各節點之間的豐富語意連結。這些連結幫助大型語言模型生成更準確且具有洞察力的回答。
- 知識擴展與自動更新:GraphRAG還具備動態更新和擴展知識的能力,透過知識圖譜的即時更新,系統能夠自動擴展查詢上下文並涵蓋更多相關知識,進而確保回答能夠反映最新的情況和知識。
因此,GraphRAG的新增部分使得整體系統在處理複雜問題時,具有更強的語意理解與資料推理能力,特別適合應用於智慧製造、供應鏈管理和技術支持等需要多層次資料處理的場景。
圖1:GraphRAG架構範例
圖片來源:https://www.techbang.com/posts/116888-graphraggithub-starai
【知識圖譜】
知識圖譜(Knowledge Graph)是一種將實體及其之間的關係以圖形結構呈現的知識庫。它能夠將各種不同類型的數據節點(例如人、地點、事件)及其關聯性進行圖形化表示,透過這樣的結構來直觀地展示數據之間的聯繫,主要目的是讓電腦能理解和使用人類的知識,以更自然和更智慧的方式進行回答或推理。
在應用場景中,知識圖譜可以幫助生成式AI更好地理解問題並找到相關的資料點,進而產生更具洞察力和針對性的回應。這使得知識圖譜在自然語言處理、推薦系統、搜索引擎等領域中得到廣泛應用。下圖為知識圖譜的視覺化案例,將不管是數據表格資料、文本、影片、圖片及聲音等不同結構的資料,透過GNN(Graph Neural Networks)構建一種圖譜型的資料格式在資料庫進行儲存,讓LLM能夠更清晰的知道各種人、事、物間的關聯程度,更有效地檢索到真正相關聯的資訊,並利用與查詢相關的知識,提升回應的準確性和品質。
圖2:《權力的遊戲》人物關係圖譜
圖片來源:https://www.techbang.com/posts/116888-graphraggithub-starai
【GraphRAG是RAG的必定未來】
當前的大型語言模型(LLM)結合基於向量的檢索生成技術(RAG),能夠取得非常好的結果。但是,想要獲取穩定且高品質的結果,就需要跳脫單純的字串匹配,構建超越字詞層面的世界模型。
這與 Google 的經驗相似:為了提升搜尋效果,他們需要理解字串之間所代表的關係,而不只是分析文本內容。現在,AI 領域也出現了類似的趨勢,這個新模式就被稱為GraphRAG。技術的發展就像S型曲線一樣,當一種技術到達瓶頸,新的技術就會接棒。隨著生成式 AI 的進步,應用需求不斷增加,比如追求更高品質的答案、更好的可解釋性、精細的數據控制,以及隱私和安全保障,這些都讓知識圖譜的重要性日益顯著。
圖3:生成式AI的進化圖
圖片來源:https://www.techbang.com/posts/116888-graphraggithub-starai
封面圖片來源: https://www.techbang.com/posts/116888-graphraggithub-starai
參考資料來源:
1.生成式 AI 的資料救星!GraphRAG 知識圖譜革命,大幅提升 LLM 準確度!:https://www.techbang.com/posts/116888-graphraggithub-starai
2.GraphRAG開源專案,6萬顆星:https://github.com/microsoft/graphrag?fbclid=IwZXh0bgNhZW0CMTEAAR3oEuxmabt71y6R77Yz25NQMq35mLsmp_JCQ092WGoECWh1lR2nSU2znB4_aem_VAKEYs2eryj_ZeuoyfXAaA
3.GraphRAG:革新檢索增強生成的新範式:https://ithelp.ithome.com.tw/articles/10348910
4.Knowledge Graph + RAG | Microsoft GraphRAG 實作與視覺化教學:https://medium.com/@cch.chichieh/knowledge-graph-rag-microsoft-graphrag-%E5%AF%A6%E4%BD%9C%E8%88%87%E8%A6%96%E8%A6%BA%E5%8C%96%E6%95%99%E5%AD%B8-ac07991855e6
楊崇甫
2024-12-30
