欢迎来到梦飞服务器

大数据技术

“数据编织”悄然登场 或成大数据新风口

怎么实现“数据找人而不是人找数据”的梦想?“数据编织”(Data Fabric)悄然登场。2018年“Data Fabric”首次出现在Gartner的十大数据与分析技术趋势中,以后每年它都会出现在其中。10年前大数据概念在国外兴起后,不到3年就被中国用户广泛接受,而今天大多数中国厂商则是按兵不动,这又是为何呢?

“数据编织”悄然登场

Data Fabric的中文名字到底怎么翻译,IBM公司与Gartner有了分歧。IBM大中华区科技事业部云计算与认知软件部数据与人工智能信息架构产品总监王积杰将其称为“数据经纬”,而Gartner高级研究总监孙鑫认为“数据编织”更为合适,因为他认为数据编织更凸显“动态”。

在Data Fabric出来之前,数据结构的设计都主要部署成静态基础设施,而在未来将需要采用更动态的数据网格方法全面重新设计。

孙鑫在接受记者采访时表示,Data Fabric不是一个产品而是一种设计理念,是利用AI、机器学习和数据科学的功能,访问数据或支持数据动态整合,以发现可用数据之间独特的、与业务相关的关系。

而IBM对Data Fabric的看法,与Gartner专家提到的“动态”“数据网格”和AI赋能并无冲突。IBM中国研发中心首席技术官赵军伟解释:“经纬作为名词,本意为织物的直线与横线,引申为连接万物的规律,《左传·昭公二十五年》中写道——‘礼,上下之纪,天地之经纬也。’ 作为地理概念,经纬度可以定位地球上任何一个位置,而‘数据经纬’则可以在纷繁复杂的企业数据目录里定位任意一个数据源。经纬用作动词,是规划治理的意思,《周书·静帝纪》中提到的‘经天纬地’就是治理天下的意思。”

“我们可以把Data Fabric想象成一张虚拟的网,这张网并不能理解为一种点对点连接,而是一种虚拟连接,每个节点都可以是不同的数据系统,不同系统上的数据在网上都可以迅速被定位和找到。Data Fabric的主要功能是把正确的数据,在正确的时间里,给到正确的人。通过Data Fabric, 对的人可以从对的地点,在对的时间里,获取对的数据。”王积杰对记者说。

现在的数据连接的架构设计还主要是“人找数据”,而Data Fabric设计核心是“数据找人”,在合适的时间、将合适的数据推送给需要的人。

为什么Data Fabric将会成为一种趋势,为什么越来越多的企业将在未来采用这样的方式进行部署?王积杰谈及了数据利用结构模式的变化。传统IT时代,无论是早年的“数据仓库”还是近几年的“数据湖”和“大数据”时代,其实数据利用都是集中式的架构,把数据收集到一起,让企业的数据分析师、BI(商业智能)分析师对数据进行分析。但在云计算时代,用户业务部署在多云的环境下,要想将分布在不同云上的数据集中在一起成本很高,也很费劲,于是采用去中心化、分布式的数据网络架构就成为了必然选择。

Data Fabric可以同时给业务和技术团队带来明确的价值,王积杰表示,从业务层面来看,由于企业能更容易地获得高质量的数据,从而能更快和更精确地获得企业数据洞察。从技术层面来说,由于数据复制的次数和数量较少,从而减少了数据集成的工作,方便维护数据质量和标准,也减少了硬件架构和存储的开销。由于减少了数据复制和大大优化了数据流程,加快并简化了数据处理过程,从而通过实施自动化的整体数据策略,减少了数据访问管理的工作。

Gartner认为,随着数据的日益复杂以及数字化业务的加速发展,Data Fabric已成为支持组装式数据分析及其各种组件的基础架构。由于在技术设计上能够使用/重复使用及组合不同的数据集成方式,Data Fabric可缩短30%的集成设计时间、30%的部署时间和70%的维护时间。IBM 7月发布的Cloud Pak for Data4.0的软件组合增加了智能化的Data Fabric功能,其中AutoSQL(结构化查询语言),可以通过AI来自动访问、整合和管理数据,可以帮助客户以8倍的速度、不到一半的成本,获得分布式查询的答案。

如何“编织”数据?

要实现“数据找人而不是人找数据”,Data Fabric究竟如何“编织”?

王积杰认为,Data Fabric至少需要四个维度的能力。一是能够在数据之间建立虚拟链接,简化数据访问的模式,从而减少数据复制的数量。二是需要建立一个企业数据目录,并需要利用AI技术,自动化地实现基于语义和知识的分析,理解数据及其业务含义,并建立知识图谱, 从而使数据目录变得智能化和自动化。能够让需要数据的用户,随时了解到需要的数据在哪里、数据质量如何等。三是建立自动化数据平台,允许用户通过自服务的方式,directadmin安装,访问并获取数据。四是通过提供整体的自动化策略,确保数据安全,增加数据的隐私和权限保护,并提高数据质量。

腾讯云代理

梦飞科技 - 最新促销活动优惠获取

Copyright © 2003-2021 MFISP.COM. 国外vps服务器租用 香港梦飞 版权所有 粤ICP备11019662号