数据网格有望升级整个IT系统
2022-10-21 15:44:55来源：51CTO
译者 | 布加迪
策划 | 云昭
数据网格正迅速成为数据领域的一种重要架构模式。我们IT人士有这样一种习惯：创造流行语，然后紧跟潮流。然而，数据网格并不是仅仅是流行词，原因是它有望彻底改变我们处理和查看数据的方式。这将对数据是关键要素的所有领域都会有影响。
(资料图)
在我们将数据提升到下一个级别之前，简要介绍一下当前数据级别的进度或报告单。下图显示了数据在如今的IT系统中通常是如何处理的。
图1. 来自诸系统的数据流入DWH或数据湖
如上所示，来自诸多事务/运营和外部系统的数据将通过ETL作业网络流入数据仓库。在最终消费者可以聚集/汇总和使用这些数据之前，将完成许多活动，比如清理和转换等。
几十年来，这种方法一直屡试不爽。但在当今数据无处不在的世界，这种方法却遇到了瓶颈。现代数据湖方面也是如此。事实上，在大多数情况下，数据湖的情况更糟。
大数据/物联网和数据流出现后，大多数组织不知道如何处理数据。虽然它们知道数据是新的石油，但不知道如何提炼和使用这种油。它们甚至对想要使用这些数据来处理的分析用例没有太多想法。也许数据湖这个流行语使它们随波逐流。由于别人都在搞数据湖，所以越来越多的人开始仿而效之。
前面说过，数据湖方面的情况更糟。主要原因是，就数据仓库而言，大多数组织仍采用某种治理和策略。但是就数据湖而言，在大多数情况下，所有类型的数据（结构化/日志/流数据等）都只是被转储到某种廉价存储系统中，其想法是将来会有相应的用例，能够得益于正在开挖的这个新油田。但愿望并不总是成真。
报告单中一些有待改进的方面•随着数据集中起来，加上数据无处不在，数据的数量和速度变得如此庞大，因此集中式系统无力处理。
•数据工程师/数据仓库团队对运营数据、领域和复杂性了解不多。
•如何在这种系统中处理变更方面没有太多的灵活性可言。
应用程序层如何提升到下一个级别？在过去几年，领域驱动设计和微服务确实改变了应用程序层的处理方式。一个庞大的单体应用系统被转换成特定领域的功能或微服务。这让领域团队得以专注于各自针对特定领域的功能。他们对各自领域了如指掌，更不用说我们在这类环境中看到的敏捷性了（当然，还有出色的工具和流程，比如CI/CD、DevOps和容器等）。
图2
使用领域驱动设计将单体应用程序转换成微服务如果只看上面两张图，会发现我们在应用程序层和数据层采取了完全相反的方法。在应用程序层，我们只是将单体应用程序分解成多个较小的单元，而在数据库层，我们将来自各个领域的数据放入到一个庞大的单体单元中。
这时候数据网格有了用武之地。不妨快速了解一下这个数据网格到底是什么。
数据网格架构将定义、创建、管理和共享数据产品的自主权赋予业务领域。所以基本上，每个业务领域都将拥有自己的数据。它们可以使用API等手段与消费者共享，但它们管理数据的整个生命周期。
1）由于没有一个庞大的集中式单体应用程序，单个数据产品可以更好地扩展（分布式扩展）。
2）每个领域团队拥有并管理其数据和产品（联合数据治理）。
3）每个产品团队比任何集中式团队更了解其数据和领域。
4）更好的敏捷性。
一点建议如开篇所述，不要轻信流行语。数据网格到底是流行语还是非常适合？只有评估后才能做出决定。我发现许多人做错了SOA，做错了P2P，甚至做错了REST和微服务，当然还做错了数据湖。明智的决定的前提，是要看看它是否适合自己。
原文标题：Data Mesh — Graduating Your Data to Next Level，作者：Rohit Dhall
链接：https://dzone.com/articles/datamesh-graduating-your-data-to-next-level
