• DMBOK:元数据管理

    BI的成功运用深度依赖于有效的元数据管理,通常被称作"关于数据的数据。元数据为所有BI系统的数据充当路标,从而能够对这些数据迚行高效地管理、控 制发更和分发。全面的元数据管理保证了BI系统具有高质量的信息,并...
    文章 2017-11-01 3733浏览量
  • 《BI那点儿事》META DATA(元数据

    原文:《BI那点儿事》META DATA(元数据) 关于数据仓库的数据,指在数据仓库建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息,所有这些信息都应当...
    文章 2014-12-02 1904浏览量
  • Hadoop-No.11之元数据

    元数据的重要性 三个重要理由,让我们不得不在意元数据 元数据允许用户通过一张表的高一级逻辑抽象,而不是HDFS中文件的简单几何,或者HBase中的表来与数据交互.这意味着用户不比关心数据是如何存储的,存储到了什么地方...
    文章 2017-08-06 1021浏览量
  • 数据湖元数据服务的实现和挑战

    数据湖元数据服务的设计目标是能够在大数据引擎、存储多样性的环境下,构建不同存储系统、格式和不同计算引擎统一元数据视图,并具备统一的权限、元数据,且需要兼容和扩展开源大数据生态元数据服务,支持自动获取...
    文章 2020-09-14 9177浏览量
  • 多阶段元数据一致性分析——助力北京银行实现IT运营...

    还记得我们在《从三个场景看如何玩转元数据应用》文章中提到的第一个应用场景,元数据对比分析——让系统上线/变更高效、可控吗?还记得苦逼的程序员们在系统上线当天彻夜加班排查上线脚本问题的场景吗?我们给出的...
    文章 2017-07-03 1595浏览量
  • 聊一聊数据仓库中的元数据管理系统

    相信很多朋友都是第一次听说元数据管理系统这个名词,当然,从事非数据仓库工作的人,很少会接触到这个系统,即使是正在从事这方面工作的朋友,可能仍然对它不是很了解,那么今天我来聊一聊元数据管理系统。...
    文章 2017-08-17 25611浏览量
  • HDFS学习笔记

    元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大。这点在下面会相信叙述。合并过后的...
    文章 2015-11-29 629浏览量
  • metadata

    元数据发展初期人们常使用自定义的记录语言(例如MARC)或数据库记录结构(如ROADS等),但随着元数据格式的增多和互操作的要求,人们开始采用一些标准化的DDL来描述元数据,例如SGML和XML,其中以XML最有潜力。...
    文章 2012-05-14 980浏览量
  • DataHub:流行的元数据架构介绍

    他们可以获得基于流的元数据日志(用于接入和消费变更)、元数据的低延迟查找、对元数据属性进行全文和排名搜索的能力、元数据关系的图形查询以及完整扫描和分析功能。可以在此元数据流之上构建对核心元数据模型具有...
    文章 2021-09-29 609浏览量
  • Hadoop基础入门学习笔记(基本概念)

    元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。 其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大。这点在下面会详细叙述。 合并过后...
    文章 2017-11-08 909浏览量
  • Hadoop基础入门学习笔记(基本概念)

    元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大。这点在下面会详细叙述。合并过后的...
    文章 2017-11-22 817浏览量
  • 多引擎集成挖掘湖上数据价值

    以 Delta Lake 为例,其元数据存储在 OSS 之上,而元数据服务中也会存一份元数据,这样便引出了两个问题:一是引擎应该读取哪份元数据,二是如果有必要存两份元数据的话,元数据的一致性如何保证。对于第一个问题,...
    文章 2020-09-14 3994浏览量
  • 基于Apache doris的元数据管理系统

    元数据分类元数据可分为技术元数据和业务元数据2.1 技术元数据技术元数据是存储关于数据仓库系统技术细节的数据&xff0c;是用于开发和管理数据仓库使用的数据&xff0c;主要包括&xff1a;数据字典&xff1a;例如表名、注释信息...
    文章 2022-05-14 91浏览量
  • HDFS基础概念

    元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大。这点在下面会相信叙述。合并过后的...
    文章 2013-07-08 1001浏览量
  • 业务元数据管理——洞悉数据背后的业务含义

    二、业务元数据——数据背后的业务上下文要说清楚业务元数据是什么,得从元数据的分类说起,目前业界比较认可的一种分类方式是将元数据分为两种:技术元数据和业务元数据。技术元数据包括:字段名称、字段长度、数据...
    文章 2017-09-04 4807浏览量
  • 元数据管理为什么需要统一的元模型?

    为什么是元数据管理&xff1f;我们生活在一个每天都能看到新的概念、技术和工具涌现的时代&xff0c;在数据领域也是一样。但如果你试图理解它们的作用&xff0c;你会发现基本原理仍然相同&xff0c;其实最终都是为了解决问题而...
    文章 2022-05-29 78浏览量
  • Atlas(元数据管理)从扫盲到和Hive、HBase、Kafka、...

    所谓元数据管理其实通俗来讲就两点:(1)把各个组件(一般是存储)的元数据收集起来统一管控(2)利用这些收集的元数据去实现各种上层应用以满足各种数据治理场景(数组资产目录、数据分类、搜索与血缘等等) ...
    文章 2020-03-09 5211浏览量
  • influxdb备份和恢复数据

    备份元数据->备份数据库->恢复元数据->恢复数据库 操作 备份元数据 influxd backup 元数据存储位置 influxd backup-host localhost:8088 元数据存储位置#远程备份 备份数据库 influxd backup-database ...
    文章 2019-07-19 2264浏览量
  • 湖仓一体架构EMR元数据迁移DLF最佳实践

    直达最佳实践:【湖仓一体架构EMR元数据迁移DLF最佳实践】最佳实践频道:【最佳实践频道】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!...
    文章 2021-10-19 65浏览量
  • 一篇文章搞懂数据仓库:元数据分类、元数据管理

    正文1、业务元数据描述”数据”背后的业务含义主题定义&xff1a;每段 ETL、表背后的归属业务主题。业务描述&xff1a;每段代码实现的具体业务逻辑。标准指标&xff1a;类似于 BI 中的语义层、数仓中的一致性事实&xff1b;将...
    文章 2022-05-22 63浏览量
  • 通用仓库模型概述

    通用仓库元模型(Common Warehouse metamodel,CWM)指定了可用于在分布式异构环境中的仓库工具、仓库平台和仓库元数据存储库之间轻松交换仓库和商业智能元数据的接口。CWM基于三个标准:UML-统一建模语言,OMG建模...
    文章 2021-10-29 163浏览量
  • PgSQL·特性介绍·列存元数据扫描介绍

    本文通过对于阿里云分析型数据库HybridDB for postgresql 数据库的列存扫描的优化特征的解析,让大家了解列存元数据扫描是如何达到提升查询扫描的速度的效果。从而使的分析型查询执行时间进一步缩短。最终能够更好的...
    文章 2017-12-12 1811浏览量
  • 数据治理实践:元数据管理架构的演变

    什么是元数据管理&xff1f;简单地说&xff0c;元数据管理是为了对数据资产进行有效的组织。它使用元数据来帮助管理他们的数据。它还可以帮助数据专业人员收集、组织、访问和丰富元数据&xff0c;以支持数据治理。三十年前&...
    文章 2022-05-28 36浏览量
  • PgSQL·特性介绍·列存元数据扫描介绍

    本文通过对于阿里云分析型数据库HybridDB for postgresql 数据库的列存扫描的优化特征的解析,让大家了解列存元数据扫描是如何达到提升查询扫描的速度的效果。从而使的分析型查询执行时间进一步缩短。最终能够更好的...
    文章 2017-08-21 3262浏览量
  • 阿里云云原生数据湖分析DLA重磅发布-数据湖管理,助力...

    该方案基于DLA Serverless的Spark Streaming以及数据湖增量存储格式Apache HUDI来构建,通过HUDI增量写入OSS的数据,同时自动在DLA的元数据系统构建元数据。详细介绍可以参考文章,核心优势如下: 全链路数据延迟可...
    文章 2020-08-20 3709浏览量
  • 数据治理需要具备哪些能力和关键技术?

    第二,元数据管理第二个核心问题是解决各类元数据的采集,由于元数据类型多种多样,而且在不断增加,所以,如何以最小代价,快速纳入管理新类型元数据的能力,是元数据管理的核心。采用可插拔的适配器方式实现元数据...
    文章 2017-10-02 1006浏览量
  • 海量数据仓库:元数据管理分享

    在最开始的时候,元数据(Meta Data)是指描述数据的数据,通常由信息结构的描述组成,随着技术的发展元数据内涵有了非常大的扩展,目前包括:UML模型、数据交易规则、用JAVA,NET,C++等编写的APIs、业务流程和工作...
    文章 2022-01-17 179浏览量
  • 元数据驱动的微服务架构(上)

    (若阅读此文,请微信搜索文章标题“轻松理解元数据,只需懂点心理学”)元数据就是计算机的认知维度,可以说,掌握了元数据就掌握了信息的维度,只有充分利用好元数据(也就是信息的维度),通过合理的元数据建模...
    文章 2016-10-20 6929浏览量
  • 元数据给大数据排忧解难可行否?

    本文讲的是用元数据给大数据排忧解难可行否,在被认为卷入一项谋杀案后,杀毒软件公司McAfee创始人John McAfee飞到在伯利兹的家中,但他并没有消失。在接下来的一个月里,他一边逃避警察的追捕,一遍通过博客、社交...
    文章 2017-09-28 1046浏览量
  • 数据仓库心得(11)什么是大数据治理,数据治理的范围是...

    业务元数据业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够懂”数据仓库中的数据。企业业务元数据,有维度及属性、业务过程、指标等的...
    文章 2022-05-13 37浏览量
1 2 3 4 ... 1381 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化