資料管理之倚天劍與屠龍刀-資料網格vs資料經緯

資料網格（Data Mesh）和資料經緯（Data Fabric）都是現代資料管理架構，目標是減少資料管理的複雜性，並且能更靈活且具規模化運用資料，以支持快速變化的業務需求。相對於傳統的集中式資料平台或舊有架構，這些新興架構可以避免業務靈活性的受限，使組織能更快適應不斷演變的資料環境，本文章將介紹這2種架構的差異，提供企業選擇適合之目標架構。

資料網格（Data Mesh）

資料網格是一種分散式的企業資料管理方法，重點在於建立以業務為中心的資料產品，採用基於微服務架構的工具或解決方案，分散資料所有權和管理。資料網格的四個核心原則：

1.領域擁有權原則（Domain Ownership Principle）：

把資料的管理權和責任交給那些每天直接接觸和使用這些資料的業務單位。這樣做的好處是讓業務單位可以依據自己的需求管理資料，避免資料單位與業務單位之間的隔閡，讓資料更貼近實際業務需求。

2.資料即產品原則（Data as a Product Principle）：

資料被視為一種產品，不只是供內部使用，而是會設計來滿足使用者需求。資料擁有單位會負責確保資料的品質、完整性和便捷性，讓資料使用者（如其他部門或客戶）能輕鬆找到、理解和利用這些資料來產生價值。

3.自助式資料平台原則（Self-Serve Data Platform Principle）：

自助式資料平台讓業務部門不需要依賴技術團隊，就可以方便地創建和使用資料產品。這樣的設計消除了技術門檻，使得業務人員可以更輕鬆地處理、探索和分析資料，加快資料的獲取和使用速度。

4.聯邦式計算治理原則（Federated Computational Governance Principle）：

資料治理採用分權管理的模式，讓不同業務單位根據統一的標準和規範共同管理和監控資料，這樣做可以在保障資料一致性的同時，給每個單位更多的自主權。

從下方示意圖來看，資料網格可以將不同來源的資料，經過資料擷取、清洗之後，轉換成不同的資料產品（Data Product），供給不同的資料使用者使用。

圖1 資料網格架構

資料來源：Starburst

資料經緯（Data Fabric）

資料經緯是一種資料管理架構與設計概念，目的是解決複雜的資料管理挑戰，並降低對資料使用者的干擾。透過資料經緯，無論資料存放於何處、位於何種平台上，皆可有效整合、存取、共享和管理。

圖2 資料經緯架構

資料來源：Rendy Dalimunthe

透過整合不同來源的資料，提供即時、便捷的存取和管理。資料經緯架構包含以下核心技術：

• 資料目錄（Data Catalog）：建立一個清晰的資料清單，讓使用者可以快速找到所需資料，並瞭解資料的內容、格式和結構。
• 元資料（Metadata）：元資料是資料的描述資訊，用來提供資料的來源、結構和上下文，幫助數據在不同系統間傳遞時保持一致性。
• 業務規則（Business Rules）：定義資料在不同業務場景下的應用規則，確保資料使用符合業務邏輯和標準。
• 推薦引擎（Recommendation Engine）：透過AI/ML技術，推薦最適合的資料或資料處理方式，協助使用者更有效地利用資料。
• 知識圖譜（Knowledge Graph）：利用圖譜技術，將各種資料之間的關聯性視覺化，並提供更深層次的洞察力，幫助企業進行更複雜的分析。
• AI/ML 驅動（Powered by AI/ML）：AI和機器學習驅動自動化流程，包括資料清洗、標記、推薦和分類，提升資料處理效率與精確度。

這些技術共同運作構成了一個彈性且具擴展性的資料經緯架構，可讓不同來源、格式和平台的資料能夠有效整合，並透過API和資料傳遞機制，將資料提供給商業智慧工具、報表工具、業務應用和終端使用者等，這樣的設計不僅大幅簡化了資料管理的複雜性，還確保了資料的準確性和可用性，讓企業能在快速變化的市場中做出更明智的決策。

資料網格與資料經緯之差異性

資料經緯和資料網格分別提供可支援分散且複雜資料環境的資料架構，能實現整合、連接不同資料源的功能，但兩者在設計理念和實現方式上有明顯差異。

• 資料經緯強調自動化技術，透過豐富的元件（如知識圖譜）來協助資料的發現、連接、辨識、推薦與傳遞，提供一種一致且統一的方式來存取和互動資料，讓使用者能方便地存取所需的資料資產。資料經緯透過集中的技術架構，提升資料的一致性與管理效率，讓資料的整合和存取變得更加高效，同時使企業能夠維持適當的資料存取權限和治理限制，增強資料的安全性。
• 資料網格主張將資料視為一種產品（data product）的概念，並以「產品思維」為核心設計原則。資料網格採去中心化的設計，將資料管理的責任分散到各業務領域，由領域團隊負責資料產品的開發與維護，因為他們最了解自身的資料需求。這種模式需要組織在結構和文化上進行轉變，並將資料科學家、資料工程師等分散配置到各領域的資料產品團隊中，以實現資料管理的分權化。資料網格可能會增加業務團隊的責任，要求他們在現有工作之外，負擔起資料產品的管理。
• 資料網格適合分散式管理，強調資料的自治權，讓各業務單位自行管理和負責其資料，相較之下，資料經緯更適合需要整合多種來源資料，打破資料孤島將資料整合成單一的視圖，提升資料一致性和方便存取資料的企業。

在當前資料驅動的商業環境中，選擇合適的資料管理架構對企業成功至關重要，資料網格和資料經緯是目前流行的兩種資料架構方法，如同倚天劍與屠龍刀，都是企業資料管理的利器，但也各自適用於不同的情境，企業在做出選擇前，應先評估內部的結構、資料管理文化、技術成熟度以及資源配備，並進行資料成熟度調查，以深入瞭解目前資料管理的現況。企業可以考慮在小範圍內分別試行資料網格和資料經緯或者選擇混合的方式，透過概念驗證（PoC）來觀察這些架構在實際運作中的效果，最終，應選擇與企業目標和策略最契合的資料管理架構，以支持企業的長遠發展並增強資料管理能力。

 

封面圖片來源：https://www.freepik.com/free-photo/3d-render-flowing-network-connections-design-with-connecting-lines-dots_11923913.htm#fromView=search&page=1&position=17&uuid=30edaeef-8f5a-4ad6-8f69-0f7af8cc0656

參考資料來源：

1. Data Mesh 是什麼？企業選擇合適資料架構有撇步！. (2024, June 29). Retrieved October 27, 2024, from Nextlink 博弘雲端科技 website: https://www.nextlink.cloud/news/what-is-datamesh/
2. Chien（錢逢祥）, F. (2024, January 27). Data Mesh 與微服務架構的曖昧關係 - brobridge - 寬橋微服務 - medium. Retrieved October 27, 2024, from Brobridge - 寬橋微服務 website: https://medium.com/brobridge/data-mesh-%E8%88%87%E5%BE%AE%E6%9C%8D%E5%8B%99%E6%9E%B6%E6%A7%8B%E7%9A%84%E6%9B%96%E6%98%A7%E9%97%9C%E4%BF%82-b025f556abde
3. Data mesh architecture. Retrieved October 27, 2024, from Datamesh-architecture.com website: https://www.datamesh-architecture.com/
4. Gaur, C. (2023, April 3). Data Lake vs Data Warehouse vs Data Mesh. Retrieved October 27, 2024, from Xenonstack.com website: https://www.xenonstack.com/blog/data-warehouse-vs-data-lake-vs-data-mesh
5. Tesfaye, L. (2022, January 11). Data management trends in 2022: Data fabric v. Data mesh v. DataOps? What is right for your organization? Retrieved October 27, 2024, from Enterprise Knowledge website: https://enterprise-knowledge.com/data-management-trends-in-2022-data-fabric-v-data-mesh-v-dataops-what-is-right-for-your-organization/
6. Dehghani, Z. (n.d.). Data mesh principles and logical architecture. Retrieved October 27, 2024, from martinfowler.com website: https://martinfowler.com/articles/data-mesh-principles.html
7. Data mesh architecture: Why it matters to you in 2024? (n.d.). Retrieved October 27, 2024, from Atlan.com website: https://atlan.com/understanding-data-mesh-architecture/?ref=/data-mesh-vs-data-fabric/
8. Dalimunthe, R. (2022, November 22). Understanding data fabric in less than 3 minutes. Retrieved October 28, 2024, from Towards Data Science website: https://towardsdatascience.com/understanding-data-fabric-in-less-than-3-minutes-b6d4a17b148e
9. Data mesh vs data fabric: Key differences & benefits 2024. (2023, March 30). Retrieved October 27, 2024, from Atlan.com website: https://atlan.com/data-mesh-vs-data-fabric/