文章      动态     相关文章     最新文章     手机版动态     相关动态     |   首页|会员中心|保存桌面|手机浏览

zyktsh

http://sjzytwl.xhstdz.com/comzyktsh/

相关列表
文章列表
  • 暂无文章
推荐文章
【数据编制架构】什么是数据编织(Data fabric)? 完整指南
发布时间:2024-11-08        浏览次数:16        返回列表

本文探讨了 Data Fabric 的内容、原因、方式和人员,包括 Data Fabric 架构、挑战、优势、核心功能、供应商等。

【数据编制架构】什么是数据编织(Data fabric)? 完整指南

在过去几年中,“Data Fabric”一词已成为企业数据集成和管理的代名词。分析公司 Gartner 将“数据编织”列为“2021 年十大数据和分析技术趋势”之一,并预测到 2024 年,25% 的数据管理供应商将为数据编织提供完整的框架——高于目前的 5%。

本文通过引用数据编织的定义、目的、架构、挑战、最佳实践、优势、供应商以及数据编织功能清单来解决数据编织的内容、原因、方式和对象。

Data Fabric 使整个企业的数据访问大规模民主化。它是一个单一的、统一的架构——具有一组集成的技术和服务,旨在在正确的时间、以正确的方法向正确的数据消费者提供集成和丰富的数据——以支持运营和分析工作负载 .

Data Fabric 结合了关键数据管理技术,例如数据目录、数据治理、数据集成、数据管道和数据编排。

Gartner: A data fabric stitches together integrated data from many different sources and delivers it to various data consumers.

服务于广泛的业务、技术和组织协调驱动因素。

业务驱动因素

Gartner:理想的、完整的 Data Fabric 设计,包含许多组件。

数据网格架构解决了数据管理中的四个关键问题:

数据编织非常适合数据网格设计,因为它构建了一个集成的跨广泛数据源的连接数据层,可即时、全面地了解业务,包括分析和运营工作负载。

Data Fabric 建立了不同数据产品的语义定义、数据摄取模式以及保护数据的必要治理策略。

此外,各种业务领域协调额外数据编织节点的部署,使它们能够控制数据管道和服务。

数据网格架构很容易使用数据编织实现。 可以实时管理、准备和交付数据的数据编织创建了理想的数据网格核心。当然,数据网格架构有其实施挑战,但数据编织很容易处理这些挑战:

数据规模、数量和性能

无论数据量有多大,都可以无缝地动态向上和向下扩展。支持企业级的运营和分析工作负载。

可访问性

支持所有数据访问模式、数据源和数据类型,并集成静态或动态的主数据和事务数据。从内部部署和云系统中以任何格式(结构化或非结构化)摄取和统一数据。数据结构逻辑访问层需要允许数据消费,无论数据存储或分布在何处、如何存储,因此无需深入了解底层数据源。

分发

Data Fabric 应可部署在多云、本地或混合环境中。为了保持事务完整性和数据治理能力,Data Fabric 需要支持智能数据虚拟化策略。

安全

在持久化数据的地方,必须对其进行加密和屏蔽以满足数据隐私法规。数据结构应该能够将用户凭据传递到源系统,以便正确检查和授权访问权限。

为了解释 Data Fabric 如何补充和改进运营工作负载的大数据存储,Data Fabric、Data Lakes 和 Databases 之间的比较很有用。

下图总结了每种数据存储的优缺点,因为它涉及大规模、大容量、可操作的用例。

关系型数据库

NoSQL Database

Data 编制完整的 SQL 支持

因此,虽然 Data Fabric 是针对大规模运营工作负载的卓越解决方案,但它也是用于离线分析工作负载的数据湖和数据库的互惠技术。对于此类工作负载,Data Fabric 可以:将新的、受信任的数据输送到其中,用于离线分析。从它们那里获得业务洞察力,以嵌入到实时运营用例中。

在企业运营中,有许多用例需要能够支持数千个并发事务的大规模、高速数据架构。示例包括:

提供 360 度客户视图

向自助 IVR、客户服务代理 (CRM)、客户自助服务门户(Web 或移动)、聊天服务机器人和现场服务技术人员提供客户的单一视图

遵守数据隐私法

借助灵活的工作流程和数据自动化解决方案,协调人员、系统和数据的合规性——旨在解决当前和未来的法规

将企业数据输送到数据湖和仓库

使数据工程师能够快速、大规模地准备和交付新的、可信的数据——从所有来源到所有目标——

按需提供测试数据

创建测试数据仓库,并在几分钟内自动向测试人员和 CI/CD 管道交付匿名测试数据,并具有完整的数据完整性

现代化遗留系统

安全地将数据从遗留系统迁移到数据编织中,然后将结构用作新开发应用程序的记录数据库

保护信用卡交易

通过加密和标记原始数据来保护敏感的持卡人信息,以避免数据泄露

预测客户流失、检测客户欺诈、信用评分等

因此,Data Fabric 必须包括用于处理的内置机制:

实时数据摄取

从操作系统持续更新(每天有数百万到数十亿次更新)

连接到不同的系统

TB 级的数据分布在数十个海量数据库/表中,通常采用不同的技术

动态数据转换、数据清理和数据丰富

实时提供有意义的见解并影响业务成果

实体的特定实例

例如,检索特定客户、位置、设备等的完整数据。

高并发

每秒处理数千个请求

Data Fabric 与其他数据管理方法(例如主数据管理、数据中心和数据湖)相比具有许多优势,包括:

允许自动检索、验证和丰富数据——无需任何转换脚本或第三方工具

使用创新引擎来管理和同步数据,完全支持 SQL 和嵌入式 Web 服务层

符合企业标准,具有值得信赖的数据库层和处理引擎

依靠能够在少量数据上运行每个查询的架构,以及内存中的处理

由于采用了复杂的多密钥加密引擎,消除了大规模数据泄露的可能性

Data Fabric 为企业提供的运营优势包括:

集成外部数据库、业务逻辑、屏蔽、解析和流式处理的算子

从生产系统生成数据,然后向测试团队提供高质量的测试数据

配置、管理和审计与 GDPR、CCPA、LGPD 等数据隐私法规相关的数据主体访问请求。

使用管理管理工具、直观的可视化工作室和 Web 管理工具配置、监控和管理数据

依靠商用硬件上的内存性能、完整的线性可扩展性和无风险集成

有多家供应商提供一组集成的功能来支持 Data Fabric 架构。排名前 5 位的 Data Fabric 供应商如下所示:

Denodo

Talend

Informatica

IBM Cloud Pak for Data

织通常认为,数据编织的构建是为了支持大数据分析——特别是趋势分析、预测分析、机器学习和商业智能——由数据科学家在离线模式下执行,以产生业务洞察力。

但数据编织对于依赖准确、完整和新鲜数据的运营用例(例如客户流失预测、信用评分、数据隐私合规、欺诈检测、实时数据治理和 360 度客户视图)同样重要。

数据团队不希望有一种数据编织解决方案用于数据分析,另一种用于运营智能。他们希望两者都有一个单一的数据编织。

理想的数据编织优化了每个业务实体(客户、产品、订单等)的视野和理解深度。它为企业提供干净、新鲜的离线数据分析数据,并为在线运营分析提供实时、可操作的数据。

Data Fabric 同时支持离线数据分析和在线运营智能。

K2View 是唯一能够实时、大规模响应以实体为中心的数据查询并支持运营和分析工作负载的数据编织。

以下是 K2View 成为世界上一些最大企业的首选数据编织的 5 个原因:

K2View 的专利 Micro-Database™ 提供无与伦比的性能、易于访问、数据完整性和通用语言在业务和 IT 之间。K2View Data Fabric 将来自所有底层源系统的每个业务实体的数据统一到一个单一的微数据库中,一个业务实体的每个实例。

例如,客户微数据库统一了公司对特定客户的了解——包括所有交互(电子邮件、电话、网站门户访问、聊天……)、交易(订单、发票、付款……)和主数据——无论底层源系统、技术和数据格式如何。在这种情况下,为每个客户管理一个微型数据库。

微型数据库可以通过捕获或动态计算的新字段来丰富——例如 KPI、同意信息、流失倾向等。它可以很容易地定义,使用自动发现,从底层系统中提取建议的数据模式。

微型数据库代表企业对特定业务实体的了解。

每个micro-DB都用自己的唯一密钥加密,这样每个实体都是唯一安全的。这为静态数据保持最高级别的安全性。

K2View Data Fabric 可以扩展以同时管理数亿个安全微型数据库,并部署在分布式内部、云端或混合架构中。

K2View 开发了一种可操作的数据编织,可以从任何来源以任何数据交付方式摄取数据,然后在几毫秒内将其转换为交付到任何目标。

K2View Data Fabric 提供用于创建和调试微服务的低代码/无代码框架。使用可视化的拖放式构建器,可以快速定制和编排微服务以支持任何操作用例。这种方法有助于将数据视为产品并支持网格架构。

需要访问微服务的用户或令牌被分配一个角色,该角色定义了他们拥有的数据访问级别。部署微服务后,K2View Data Fabric 会控制身份验证和授权,从而适当限制用户访问。

K2View 平台是一个中央数据中心,可提供任何业务实体的实时、可信和整体视图到任何消费应用程序、数据湖或数据仓库。因此,数据编织的用例很多,并且跨越企业的许多部门。

数据集成、转换、丰富、准备和交付——集成在一个可扩展的平台

企业数据编织,专为支持实时运营而构建,可在源和目标之间进行双向数据移动