数据编织架构是实现现代化数据管理和集成的关键

A-A+ 来源:中国科技时报 编辑:宏宇 发布: 2021-11-18 10:59
x
作者:Ashutosh Gupta DA领导者应该了解组成数据编织架构的关键组成部分,从而利用机器实现数据整合。 在日益多样、分布和复杂的环境中,敏捷数据管理已然成为企业机构的关键优先事项...
作者: Ashutosh Gupta
 

D&A领导者应该了解组成数据编织架构的关键组成部分,从而利用机器实现数据整合。

在日益多样、分布和复杂的环境中,敏捷数据管理已然成为企业机构的关键优先事项。为了减少人为错误和降低整体成本,数据和分析(D&A)领导者需要跳脱出传统的数据管理实践,转而使用AI支持的数据整合等现代解决方案。
Gartner副总裁、杰出分析师Mark Beyer表示:“‘数据编织’是一个新兴的设计概念,可以成为持续应对数据管理挑战的强大解决方案。这些挑战包括高成本、低价值的数据整合周期、数据早期整合导致的频繁维护和不断增加的实时和事件驱动型数据共享需求等等。”
下载电子书:人机结合的数据分析如何影响有效决策

什么是数据编织?

Gartner将数据编织定义为一种设计概念,可作为数据和连接流程的集成层(结构)。通过对现有、可发现和可推理的元数据资产进行持续分析,数据编织能够在所有环境(包括混合云和多云平台)中设计、部署和利用可重复使用的集成数据。
数据编织结合了人和机器的优势,可在适当的地点访问或整合数据。它不断识别和连接来自不同应用的数据,以发现可用数据点之间独特的业务相关关系;支持重新设计的决策,能够通过快速访问和理解提供比传统数据管理实践更多的价值。
例如,使用数据编织的供应链领导者可以更迅速将全新的数据资产添加到供应商延误和生产延误之间的已知关系中,并利用新数据(或为新供应商或新客户)优化决策。
 

把数据编织想象成一辆自动驾驶汽车

请想象以下两种场景。第一种场景下,驾驶者需要完全主动地专注于前方路线,而汽车的自主元素几乎或完全没有干预。第二种场景下,驾驶者稍显懒惰,注意力也不够集中,汽车则立即切换到半自动模式,并可进行必要的路线修正。
这两种情况就能够概括数据编织的工作原理。起初,数据编织作为被动观察者监测数据工作流,然后就可以开始提出更有成效的替代方案。当数据“驾驶者”和机器学习都能适应重复出现的场景时,它们会通过(消耗了太多人工时间的)自动化临时任务相互辅助,让司机有更多的时间专注创新。
 

D&A领导者需要了解的数据编织内容

1. 数据编织不仅结合了传统和当代的技术,更是一种设计理念,改变了人和机器工作负荷的重点。
2. 语义知识图谱、主动元数据管理和嵌入式机器学习(ML)等全新和未来的技术可助力实现数据编织设计。
3. 该设计通过剖析数据集、发现和调整全新的数据源重点等重复性任务自动化来提高数据管理水平,当达到最佳状态时,它还能挽救失败的数据整合工作。
4. 当前还没有任何独立的解决方案可以生成成熟的数据编织架构。然而,D&A领导者可以混合使用内置和购买的解决方案,从而建立强大的数据编织架构。例如,D&A领导者可以选择一个具有发展前景的数据管理平台,且其中应具有进行数据编织所需的65-70%的功能。而缺少的功能可以通过企业机构自制的解决方案得以实现。
 

D&A领导者如何确保数据编织架构能够提供商业价值?

为了通过数据编织设计提供商业价值,D&A领导者应该拥有坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。
下面我们将介绍D&A领导者必须了解的四大数据编织架构关键组成部分。
1. 数据编织必须收集和分析所有形式的元数据
上下文信息是动态数据编织设计的基础。因此,企业机构应该制定机制(如连接良好的元数据池),便于数据编织识别、连接和分析各种技术、业务、运营和社会元数据。
数据编织架构的关键组成部分
2. 数据编织必须将被动元数据转换为主动元数据
为了实现无摩擦的数据共享,企业必须激活元数据。为此,数据编织应该:
  • 不断分析可用元数据,以获得关键指标和统计数据,并建立图形模型。
  • 根据元数据独特的业务相关性,以易于理解的方式通过图形呈现元数据。
  • 利用关键的元数据指标来启用AI/ML算法,这些算法随着时间的推移可以进行学习,并产生关于数据管理和整合的超前预测。
3. 数据编织必须创建形成知识图谱
知识图谱通过语义丰富数据,能够使数据和分析领导者获得商业价值。
知识图谱的语义层使数据更加直观和容易解释,也使D&A领导者更容易进行分析。另外,它还为数据使用和内容图增加了深度和意义,使AI/ML算法能够将信息用于分析和其他操作用例。
数据集成专家和数据工程师经常使用的集成标准和工具可以轻松访问知识图谱,并从知识图谱中进行交付。D&A领导者应该利用这一特点;否则,数据编织的采用可能会面临诸多干扰。
4. 数据编织必须拥有强大的数据集成主干网
数据编织应该与各种数据交付方式(包括但不限于ETL、流媒体、复制、消息传递和数据虚拟化或数据微服务)兼容,支持所有类型的数据用户,如IT用户(用于复杂的集成需求)和商业用户(用于自助式数据准备)。

猜你还想看:

素材拷贝神器 国产软件“KOCARD”上线

素材拷贝神器 国产软件“KOCARD”上线

近日,颠覆视频/图文创作者工作流的神器KOCARD正式上线。KOCARD的官网(kocard.net)与产品同步上线,在官网开放了软件版本的...

EV集团推出3D异构集成高速高精度计量系统

EV集团推出3D异构集成高速高精度计量系统

EVG40 NT2具有突破性计量性能,有助于加快晶圆级和晶片级混合键合及无掩模光刻的实施 2021年 11 月 17 日, 奥地利圣弗洛里安...

双十一销帮帮SCRM如何助力新零售行业快速把握市场机遇再创新高

双十一销帮帮SCRM如何助力新零售行业快速把握市场机遇再创新高

消失不见的客流量,居高不下的人工成本,专业水平参差不齐的导购店员,一锤定音的成交习惯。再对比今年天猫双 十一 约540...

数据猿重磅发布《2021中国企业数智化转型升级发展研究报告》

数据猿重磅发布《2021中国企业数智化转型升级发展研究报告》

来源:数据猿 数据猿上海大数据联盟联合出品 企业数字化已经被说的比较多了,但在数字化之后,我们其实已经进入了数智...

中国制造业数字化转型升级高峰论坛 美云智数灯塔指引

中国制造业数字化转型升级高峰论坛 美云智数灯塔指引

本文转自广东美云智数科技有限公司官方公众号 近年来,厦门产业规模不断壮大,2020年工业总产值突破7000亿元,全市规模以...

空瓶日记:祛斑必入国货皇后牌美白祛斑膏

空瓶日记:祛斑必入国货皇后牌美白祛斑膏

提到珍珠膏,你会想到什么品牌?从奶奶辈就红透半边天的皇后牌片仔癀珍珠膏,畅销40年至今,被称为国货之光。不过呢,...

数据猿发布《2021中国数据智能产业图谱3.0升级版》,4.0版敬请期待

数据猿发布《2021中国数据智能产业图谱3.0升级版》,4.0版敬请期待

来源:数据猿 数据猿上海大数据联盟联合出品 2021年6月16日,数据猿携手上海大数据联盟,依托双方优势资源与力量,共同以...

数据猿发布《2021企业数智化转型升级创新服务企业》榜,并颁发奖杯

数据猿发布《2021企业数智化转型升级创新服务企业》榜,并颁发奖杯

数据猿上海大数据联盟联合出品 2021年6月16日,数据猿携手上海大数据联盟,依托双方优势资源与力量,共同以媒体+联盟的方...

安得智联携科技创新出席2021上海供应链发展高峰论坛

安得智联携科技创新出席2021上海供应链发展高峰论坛

通过科技创新、创造和应用新知识、新技术、新工艺,采用新的生产方式和经营管理模式,开发新产品,提高产品质量,提供...

视频电子标准协会(VESA)发布嵌入式 DisplayPort 标准1.5版

视频电子标准协会(VESA)发布嵌入式 DisplayPort 标准1.5版

eDP 1.5新增多项功能和协议,例如强化对自适应同步(Adaptive-Sync)的支持,增加节能特性,改进游戏和媒体播放性能等 2021年...