元数据管理(元数据管理系统)

来源网友投稿 939 2023-02-28

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。
本篇文章给大家谈谈元数据管理,以及元数据管理系统对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享元数据管理的知识,其中也会对元数据管理系统进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

什么是元数据管理及其作用?

元数据管理定义如下:

1、元数据管理包括业务词汇表的发展,数据元素和实体的定义,业务规则和算法以及数据特征。

2、最基础的管理是管理业务元数据的收集、组织和维持。

3、对技术型元数据的应用对主数据管理和数据治理项目的成功至关重要。

元数据管理作用:

1、元数据是“所有系统、文档和流程中包含的所有数据的语境

2、如果没有元数据,组织IT系统中收集和存储的所有数据都会失去意义,也就没有业务价值。

3、元数据管理是一项和主数据管理、数据治理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。

4、组织部署了数据治理项目,但没有解决元数据管理问题,仍然获得了成功,那是因为很多数据管家执行的活动和任务在聚焦元数据和元数据的管理流程。

参考资料:

1、赵泉等编著.信息检索.机械工业出版社,2008

2、鞠英杰主编.信息描述.合肥工业大学出版社,2010

元数据管理框架如何制定,方法都在这!

元数据管理计划实施数量将持续增长到2021年以后。根据DATAVERSITY®数据管理趋势报告,有84%的业务受访者已经实施了元数据管理计划或已经开始制定计划。一家公司在元数据管理方面的成功取决于实施前是否依托于一个有用的元数据管理框架。

处理好元数据对于公司而言,在于遵守数据法规,提高数据质量,探索机器学习以及更好地使用数据。但是元数据管理超越技术,而主要依赖支持它的人员和政策。

一、什么是元数据管理框架?

元数据管理框架描述了一种使数据和元数据资产更易于访问和用于实现业务目标的组织方法。它根据组织的需求,动员并扩展了作为元数据管理基础的现有资源。

元数据管理框架发生在公司基础架构级别和运营级别。在更高层次上,元数据管理框架是伊恩·罗兰兹(Ian Rowlands)DAMA芝加哥一章中的解释说,需要行政支持和 数据策略制定更高的业务远景。此外,元数据管理框架还指导人员和自动化算法在日常工作中捕获、集成、管理和发布元数据。

从战略和战术角度考虑,元数据管理框架必须涵盖项目内部或与项目内进行交互的任何人。因此,元数据管理框架需要得到数据治理程序。

数据治理将有关元数据的可用性,具有元数据的组织优先级以及何时以及如何交付元数据的信息通知元数据管理框架。作为反馈,元数据管理框架将有关数据合规性、数据可访问性和数据质量的信息告知企业数据治理。将元数据管理和数据治理基础视为串联工作并提供数据解释。

二、选择元数据管理框架之前要考虑的因素

在创建任何元数据管理框架之前,请考虑以下事项:

获得元数据管理框架基准:即使组织中不存在正式的元数据管理框架,隐性的也存在。技术文件映射数据架构,经验丰富的业务分析师之外的人可以理解报告数据,而数据输入过程则提供了有关组织数据及其元数据管理框架片段的上下文。

获得有关人员,流程和技术已经存在以及它们如何通知组织的元数据管理框架的基准是很有意义的。使用“合格且知识渊博的数据专业l(和其他熟练的人才)来管理和解释“数据就绪性评估”以及“数据成熟度”模型,则提供了良好的元数据管理框架起点。进而,公司可以得到改善元数据管理框架的具体建议。

清楚元数据管理框架将实现的目标:清楚为什么组织需要管理元数据和实现元数据管理框架。元数据管理有助于降低培训成本,在整个数据系统中更好地使用数据并简化通信,但并不能解决所有数据问题。

如果组织优先于客户体验或开发产品和服务而不是数据共享和数据发现,那么与其他选择相比,元数据管理框架可能不是最佳解决方案。鉴于任何有用的数据管理框架都倾向于具有昂贵的设置,因此组织首先需要认真研究为什么要实施元数据管理框架。

提高集体数据素养:使用元数据需要已同步组织定义者,生产者和用户之间的协作和可重复的动作。认识到这类人存在于不同的组织部门中,并且有各种各样的跨功能技能。有些人具有很高的技术和分析能力,而另一些人则具有较软的技能。

不同的公司子集团可能会从非常不同的角度考虑并应用任何元数据管理框架。一个人的定义可能与另一个人的定义不同。

集体数据素养通过了解如何解释,交流和使用元数据更好地掌握公司数据资产,帮助利益相关者理解元数据管理框架。通过元数据进行规划,以全面了解业务需求,指导人们为什么以及如何使用任何元数据来完成工作或实现目标。

利用已经存在的元数据管理框架片段:在花钱购买工具和资源以建立新的元数据管理框架之前,请使用组织中已经存在的元数据管理框架来快速获胜并展示其价值。让知道如何解释客户报告含义的人记录该知识。更新现有的技术架构图,以包含更健壮的元数据,例如数据字典。

另外,请考虑有关构建或改进元数据管理框架的现有标准和实践。例如,国际统计分类由世界卫生组织(WHO)批准的《疾病分类》为临床医生,研究人员和医疗帐单人员定义了疾病和健康问题。如果与业务相关,请利用现有的权威元数据源。

三、总结

元数据管理框架不仅仅是技术解决方案。它描述了管理元数据,动员人员,技术和实践的方法和愿景。而且,元数据管理框架与数据治理紧密地交织在一起。做好元数据管理需要在整个组织中建立牢固的元数据管理框架基础。

四、元数据管理工具介绍

亿信华辰元数据管理平台(EsPowerMeta)提供了完善的元模型和元数据维护功能,采用多种方式简化元数据维护的复杂性。系统支持元数据的自动获取和时间调度管理,支持手工创建和变更元数据,并配合版本管理,能完整存储元数据整个生命周期动态和变化,方便用户跟踪业务运作的历史数据。亿信华辰元数据管理平台应用案例:

佛山某区政务服务数据管理局元数据管理平台

建设内容:

政务服务数据管理局基于区内各政府部门的数据进行汇总和治理,面向各部门提供统一的数据服务和应用,实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。本项目通过元数据管理平台,梳理各类数据来源,实现卫计委、工商局、流管局等各政府部门的元数据自动采集,理清现有的数据流转流程和数据架构,并基于其构建一套新的数据架构,同时提供数据血缘分析、影响分析等,最后形成全区的政务数据地图。

项目价值:

帮助数据管理局确定数据来源和数据架构,为后续数据标准建设,数据质量管理打下坚实的基础,并为政务资源目录、自主填报系统、教育无纸化等应用提供支撑。

元数据的管理

初期的元数据管理通常是在事后由相应的元数据管理软件,从已开发完成的应用系统中抽取用户所关注的各类元数据,再由人工补录一些注释和管理用的属性。这种模式称之为基本元数据管理,由于存在元数据获取的不及时,存在为了减少工作量有些属性空缺的风险,存在对应用体验支持力度的不足,实际应用并不普遍。在新一代应用系统(AS2.0) 中,业务功能通常都是由相应的构件,以人机交互的形式,通过在人工业务语境的对话过程中组装实现的。这个过程中,不仅完成了业务应用所需要的应用软件元素,同时也完成了应用软件元素相对应的元数据的采集。这种模式称之为主动元数据管理。以下是元数据管理的主要功能,后2部分属于主动元数据管理的内容。 元模型管理。利用可视化的用户体验,实现包括元模型添加、删除、修改、发布等维护功能;并且能让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理等等。
元数据管理。元数据管理实现针对元数据的基本管理功能。如元数据的添加、删除、修改属性等维护功能;元数据之间关系的建立、删除和跟踪等关系维护功能;提供元数据发布流程管理,可以更好地管理和跟踪元数据的整个生命周期;元数据自身质量核查、元数据查询、元数据统计、元数据使用情况分析、元数据变更、元数据版本和生命周期管理等功能。
元数据分析。元数据分析功能主要实现针对元数据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、主机拓扑分析、指标一致性分析等。 各类应用软件元素产生的元数据进入元数据平台后,元数据管理可通过元数据服务功能,为需要这些元数据的工具软件或构件提供元数据服务。如将前面所述的各种工具软件的定义结果,以相应的标准协议进行打包形成方案(应用脚本),提供给其它应用环境中的物理表建立工具、ETL工具、多维模型建立工具、结果展现工具等底层工具,从而实现应用的重用和共享。同时,元数据服务还可为业务应用功能提供辅助的元数据帮助信息,如业务功能中加工结果和指标的说明、提示,及其血缘分析等,让用户可明确、直观地了解数据的来源、加工过程及加工算法等信息。

Linux文件系统之元数据

日志文件系统(journaling file systems)可防止系统崩溃时导致的数据不一致问题。对文件系统元数据(metadata)的更改都被保存在一份单独的日志里,当发生系统崩溃时可以根据日志正确地恢复数据。除此之外,日志使系统重新启动时不必进行文件系统的检查,从而缩短了恢复时间。
所以说元数据就是数据的数据。

任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元
数据指用来描述一个文件的特征的系统数据,诸如访问权限、文件拥有者以及文件数据

块的分布信息(inode...)等等。在集群文件系统中,分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据,才能定位到文件的位置并且得到文件的内容或相关属性。

2. 元数据管理方式

元数据管理有两种方式。集中式管理和分布式管理。集中式管理是指在系统中有一个节点专门司职元数据管理,所有元数据都存储在该节点的存储设备上。所有客户端对文件的请求前,都要先对该元数据管理器请求元数据。分布式管理是指将元数据存放在系统的任意节点并且能动态的迁移。对元数据管理的职责也分布到各个不同的节点上。大多数集群文件系统都采用集中式的元数据管理。因为集中式管理实现简单,一致性维护容易,在一定的操作频繁度内可以提供较满意的性能。缺点是单一失效点问题,若该服务器失效,整个系统将无法正常工作。而且,当对元数据的操作过于频繁时,集中的元数据管理成为整个系统的性能瓶颈。

分布式元数据管理的好处是解决了集中式管理的单一失效点问题,而且性能不会随着操作频繁而出现瓶颈。其缺点是,实现复杂,一致性维护复杂,对性能有一定影响。

公司如何做好元数据管理

最近Gartner在研究报告里明确指出,“元数据管理将是未来企业信息化的核心基础设施”。确实,在大数据环境中,如果企业不通过元数据管理把多种复杂的信息管理起来,很难做到信息的有效利用。但是,很多企业逐渐发现元数据管理直接给企业业务创新带来的价值非常有限。目前的元数据管理现状是什么?如何充分释放元数据管理的业务价值?有哪些实践经验可以借鉴?

目录:

一、现状分析:孤独的企业元数据管理

二、解决方案:面向业务释放元数据价值

三、技术实践:普元的企业元数据管理实践

一、现状分析:孤独的企业元数据管理

元数据管理不能给业务创新带来直接价值的主要原因,在于目前的元数据管理太“孤独”,这种孤独主要体现在以下四个方面:

管理范围窄:目前元数据管理范围窄主要体现在两个层面:第一,只管理了数据仓库相关的元数据,没有将元数据管理扩展到整个企业层面;第二,即使在数据仓库领域,也只管理了部分技术元数据,技术元数据的缺失导致元数据系统不能展现出企业系统的真实情况,业务元数据的缺失导致最终大家只能得到一堆缺少具体业务含义的表结构。

业务难结合:因为缺少和业务的结合,很多企业做完元数据管理系统之后,发现只是数据管理部内部人员在使用,其他部门的人根本没法用。系统都应该是为业务服务的,只有一个部门的人在用的系统是没有生命力的,如何让各部门的人都会使用元数据管理系统是一件很重要的事。

应用场景缺:目前,大部分元数据的应用场景都局限于元数据系统的内部功能,比如血缘分析,血统分析,版本管理等,这些功能都是企业在信息化里面使用到的,但实际上元数据的作用不只是体现在这些有限的功能上。

技术不完善:技术的不完善导致了以上一系列问题的出现。扩展性不强,导致很多元数据管理工具没办法管理企业业务数据和架构;采集能力差,导致只能通过手工做辅录,人工成本高,不能建立完整的信息链路;实时性不高,导致很多企业的元数据管理还停留在T+1(甚至不是T+1)阶段,不能实时了解数据资产状况,跟不上企业数据增长的速度。

二、解决方案:面向业务释放元数据价值

为了让元数据管理摆脱以上“孤独”的现状,可以从四个方面着手:

在技术上增强扩展性,实现自动化采集第一,增强扩展性。现在大部分元数据产品都是符合CWM标准的,只能管理数据仓库相关的元数据,不支持业务、架构等元数据的采集,以位于CWM下一层的MOF为基础,能有效解决扩展性的问题,通过此种方式,普元用元数据管理了新一代平台The Platform中整个微服务架构,实现了服务、数据以及运维过程的统一管理。第二,提升采集能力。元数据管理要采集各种各样的元数据,包括脚本、存储过程、报表等,还得分析各种各样的语法树,这对系统的采集能力要求是很高的,普元的元数据管理平台已实现用自动化提升系统的采集性能,能采集多种元数据,采集率几乎达到100%。

增强业务元数据管理能力,让业务用户广泛使用充分释放元数据管理业务价值的前提是让业务人员学会使用元数据管理系统,因此如何采集到业务元数据就变得非常重要。通过Excel采集业务元数据的方式,需要业务人员来填写各种各样的数据项,即使采集到系统中,也无法建立业务元数据与技术元数据的关联,无法体现业务数据在技术上的路径。为了解决上面的问题,自动化采集是必不可少的,另外还可以通过从文档里去分析业务元数据,再和技术元数据做对应的方式,让更多用户参与到元数据系统的使用上来。

与业务结合,实现面向业务的定制化应用现在元数据管理系统只局限在内部特定功能的使用,为发挥元数据管理的价值,应该把元数据做成一个服务化的系统,嵌入到企业各个场景中,给其他系统提供能力,让其他系统变得更自动化,让元数据管理变成企业一个很重要的基础设施,集成到企业信息化的方方面面。

打通数据生产线,形成自助数据供给不少企业都遇到过这样的问题:开发人员向数据部门索要数据时,数据部门需要逐个讲解数据的含义并把数据导过去,讲解的难度随着系统的增多而增大。元数据能帮助企业打造一个自助的数据生产线,让开发人员很容易地从数据平台中拿到所需数据,把整个产业线变得更简单,减轻数据部门的工作量的同时还能提高业务开发人员的满意度。

三、技术实践:

普元的企业元数据管理实践

中国东方航空:业务化的数据地图原来的数据地图只有技术人员能看懂,但是业务人员更关心和业务相关的事情,关心的是业务数据的分布。所以,普元梳理了整个东航的模型,用业务人员能理解的方式展现出了这些数据。通过数据资产管理平台的建设,东航实现了业务化数据地图的展现。普元借鉴达美航空经验,分析了航空领域模型中近2000个实体,逐个核对了1249张业务系统表数据,梳理出了数据主题域、数据实体、业务系统在内的三层结构的数据地图:包括航班、票务等13个主题域,针对每个主题域给出了多达227个业务实体目录及定义,给出了每个业务实体对应的数据库表与业务系统。

浙江电力:基于业务元数据的业务用户自助数据查询因为业务人员的IT水平有限,没办法自己设计报表,也没办法自助查询数据,所以浙江电力每天都要处理大量来自业务人员的需求。普元帮助浙江电力梳理了所有的元数据,并跟报表线做了整合,通过对应业务元数据和技术元数据,让业务人员可以查询业务数据对应的技术通路,从而自助设计报表,大大减小了数据部门的工作量;普元还帮助浙江电力做了针对业务流程的数据地图,业务人员从数据地图上能直接看到每个流程节点对应的数据,通过这种方式,让业务用户自己找到所需的数据。

德邦物流:自动化、实时的数据资产采集德邦已经建立了比较完善的数据平台,普元元数据管理平台,帮助德邦管理了90多个业务系统,优化了整个现有流程,实现了各种环境的自动化采集(数据库、ETL、服务、报表、GP、存储过程等),采集准确率达到了95%-99%。自动化采集之后,德邦放心地去掉了500多张报表中跟任何系统都没有关联的50张无用报表,大大减少了报表维护费用。

对于开发中的测试部署阶段,理想状况下,设计态、测试态、生产态中的元数据是一致的,通常开发管理者需要比对设计态和生产态,根据比对结果判断系统能否上线,运维人员也需要在系统上线之前,提前分析出系统上线给其他系统带来的影响。之前这些都需要人工完成,项目完成后,元数据已经融入了德邦的每一个开发环节,通过元数据管理系统可以完整比对不同状态之间元数据的差别,直接给出对比差异报告,开发管理者和运维人员根据报告就能判断系统能否上线。

关于元数据管理和元数据管理系统的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 元数据管理的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于元数据管理系统、元数据管理的信息别忘了在本站进行查找喔。
上一篇:智能客服系统(智能机器人客服系统)
下一篇:通信平台(通信平台订单查询)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~