• 关于

    数据库 增量查询

    的搜索结果
  • RMAN之RMAN增量备份

    我们可以用RMAN进行数据库、表空间和数据文件的增量备份。如果数据库运行在归档模式,在数据库OPEN状态我们可以进行增量备份;如果数据库处于非归档方式,在数据库CLOSE状态我们也可以进行增量备份。增量备份只备份上次备份以来变化过的数据块。每个数据块都包含一个system change numbe...

    文章 yangyi_dba 2011-03-20 844浏览量

  • “移山”法宝~阿里数据库迁移项目yugong(愚公)开源啦!【内有详解】

    项目简介 yugong(意译:愚公)项目是阿里的开源项目,该项目使用纯Java开发,主要作用是进行数据库迁移,目前该项目主要支持从oracle数据库向Mysql和DRDS数据库进行迁移。 项目背景 08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,C...

    文章 阿里云头条 2016-03-11 15993浏览量

  • 增量同步ODPS数据解决方法

    解决方法目前ODPS到分析型数据库之间的数据同步是离线批量同步的,不支持实时同步增量的情况。如果用户有增量同步的需求,可以考虑以下方案:1、如果用户的数据是不更新只累加的数据,比如日志数据,可以在分析型数据库里创建表的时候设置二级分区。每次增量的数据导入到分析型数据库的一个二级分区里。2、用户可以...

    文章 ideazhang 2017-04-12 4687浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》一1.6 全增量架构的问题

    本节书摘来自华章出版社《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》一书中的第1章,第1.1节,南森·马茨(Nathan Marz) [美] 詹姆斯·沃伦(JamesWarren) 著 马延辉 向 磊 魏东琦 译,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.6 全增量...

    文章 华章计算机 2017-05-02 1337浏览量

  • 阿里巴巴开源项目: 阿里巴巴去Oracle数据迁移同步工具

    背景 08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Orac...

    文章 愤怒的苹果 2016-03-29 5023浏览量

  • DTS开发记录(5)-- 挑战增量导出

        增量导出恐怕是DTS系统中最艰难的部分了,我们曾考虑过很多方案,最后都因为需要表大纲做一定的假设而不具备通用性而放弃。有很多效率较高的方案,由于为了追求通用性而无法实现,因为现实的情况比我们理想的要复杂许多。    下面将列举我们曾考虑的几种主要方案,这些方案乍一看似乎都很有希望,可通过层...

    文章 zhuweisky 2006-07-12 675浏览量

  • 数据中台技术汇(二)| DataSimba系列之数据采集平台

    继上期数据中台技术汇栏目发布DataSimba——企业级一站式大数据智能服务平台,本期介绍DataSimba的数据采集平台。 DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分, 负责数据的导入, 从而支持上层的数据处理。 DataSimba的定位是面向企业私有化部署,决...

    文章 startdtsms 2019-05-21 1652浏览量

  • RMAN之RMAN增量备份

    我们可以用RMAN进行数据库、表空间和数据文件的增量备份。 如果数据库运行在归档模式,在数据库OPEN状态我们可以进行增量备份;如果数据库处于非归档方式,在数据库CLOSE状态我们也可以进行增量备份。增量备份只备份上次备份以来变化过的数据块。 每个数据块都包含一个system change num...

    文章 北在南方 2016-04-14 2067浏览量

  • DataWorks百问百答56:数据集成同步中的增量同步功能如何配置?

    背景 数据集成同步中的增量同步功能在现在很多用户日常的任务中占据的比例越来越多,意义很多时候比全量同步还大,但是很多用户在使用增量同时,遇到了不知道该如何配置参数的问题,面对纷繁复杂的数据库种类,每种类型都略有不同。下面就给您介绍一下使用不同数据库时可以使用的增量查询条件,干货满满,可以收藏保存。...

    文章 zaid胡振宇 2020-08-21 309浏览量

  • DTS数据迁移 | 《DTS控制台入门一本通》第三章(下篇)

    上一章:DTS数据迁移 | 《DTS控制台入门一本通》第三章(上篇)下一篇:DTS数据订阅 | 《DTS控制台入门一本通》第四章 点击免费下载《DTS控制台入门一本通》>>> 也可以PC端点击https://developer.aliyun.com/topic/downlo...

    文章 KB小秘书 2020-08-11 746浏览量

  • PostgreSQL增量订阅方案:利用Logical Decoding订阅增量

    Logical Decoding是PostgreSQL9.4中的一个重要功能,它的功能是从PG的WAL日志中,读取数据库更新信息,然后“翻译”(Decode)成逻辑的形式,可发送到远程从库做数据同步。该方案实现思路如下:1.要利用该功能,首先需要修改PostgreSQL的配置文件: wal_le...

    文章 yovi 2020-03-20 200浏览量

  • Mysql5.7使用DTS增量同步数据到MaxCompute

    背景:一些客户反馈,增量同步数据到MaxCompute按照全天的数据做增量数据同步数据量太大,且不使用按天的增量同步数据,进行在MaxCompute上进行数据处理得出增量数据对于delete的相关数据不能做到很好的支持,在次给大家一个对增量数据同步的方案使用DTS做增量同步数据到MaxComput...

    文章 耿江涛 2020-03-27 333浏览量

  • SQL Server 云下数据增量同步至阿里云 RDS for SQL Server

    近期有一个需求,将云下 SQL Server 的数据同步至云上 RDS for SQL Server。不考虑增量的话,可以直接使用 SSMS 数据库导出功能直接迁移数据到 RDS,但如果要进行增量同步的话则无法直接使用,尤 其是还要做数据过滤的场景。 那该如何解呢?可以使用 kettle 工作来...

    文章 knightzxh 2017-10-29 2311浏览量

  • 一个紧急查询的改进思路

    今天下午有一个紧急需求,是辅助业务部门做一个紧急查询,既然说紧急查询,那么肯定业务上需要加急处理,那么很快就需要找到我们DBA来帮忙了。 需求的情况是,需要根据某一个用户的标识(比如手机号)来定位对应用户的id,可能同一个身份证号,可以注册多个不同的id。 根据数据的情况,在系统中已经做了分库分表...

    文章 jeanron100 2015-12-11 479浏览量

  • X-Pack Spark归档POLARDB数据做分析

    简介 POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎,旨在打造数据库闭环,借助X-Pack Spark可以将POLARDB数据归档...

    文章 巴客 2019-05-06 8299浏览量

  • 21世纪了还愚公移山?数据库这么迁移更稳定!

    背景 在系统的快速迭代过程中,业务系统往往部署在同一个物理库,没有做核心数据和非核心数据的物理隔离。随着数据量的扩大这种情况会带来稳定性的风险,如库的慢sql,磁盘,IO等等都会相互整体影响,从而影响核心系统的业务稳定性,因此需要将核心业务的业务表从原有库里抽取出来,单独到新库里。而核心数据的迁移...

    文章 技术小能手 2019-03-14 10353浏览量

  • 有“备”无患,互联网“黑天鹅”事件杀手锏来了!

    作者:延瑛,阿里云数据库高级技术专家 1、有“备”方可无患 今年黑天鹅事件接踵而至,世界范围史无前例的新冠疫情,原油和诸多因素引发美股8天3次熔断,蝗虫,澳洲火灾等等,谁也不知道今年还会有什么发生。 互联网行业今年也经历了几次黑天鹅事件: 有些人可能心存侥幸,恶性事件没有发生在自己身上。然而《...

    文章 Roin123 2020-07-07 607浏览量

  • 面向海量数据的极致成本优化-云HBase的一体化冷热分离

    HBase用户福利^_^ 新用户9.9元即可使用6个月云数据库HBase,更有低至1元包年的入门规格供广大HBase爱好者学习研究,更多内容请参考链接 前言 随着业务的持续发展,业务数据库存储量会持续增长。通常数据量过亿时,就需要考虑做分库分表,或者选择扩展能力更好的NOSQL/NewSQL数据库...

    文章 正研 2019-09-16 2577浏览量

  • oracle数据库备份

    1. 文件查看   数据文件、控制文件、日志文件查看如下:   select file#, status, enabled, name from V$datafile;--查看数据文件   select * from v$controlfile;--控制文件   select * from v$l...

    文章 青衫无名 2017-07-03 1352浏览量

  • 备份恢复5——rman增量累积备份+catalog和nocatalog

    一.Nocatalog  Nocatalog方式 就是用control file作为catalog,每一次备份都要往控制文件里面写好多备份信息,控制文件里面会有越来越多的备份信息。因 此,当使用rman nocatalog方式备份时,备份controlfile是非常重要的。   由于n...

    文章 长烟慢慢 2012-05-12 884浏览量

  • 阿里云表格存储TableStore全新升级 打造统一在线数据存储平台

    3月6日,阿里云表格存储 TableStore 全新升级,突破原生 NoSQL 数据库边界。提供多元索引、二级索引能力,支持数据便捷查询,与计算生态无缝集成,打通数据实时消费通道,打造统一在线数据存储平台,深度挖掘数据与业务价值。 根据阿里云官方介绍,得益于公共云与阿里巴巴集团业务 9年的打磨与技...

    文章 云攻略小攻 2019-03-07 2879浏览量

  • PgSQL · 内核开发 · 利用一致性快照迁移你的数据

    一.背景 众所周知 PostgreSQL 的物理复制以稳定可靠著称,目前经成为默认的高可用方案。但较少有人关注到,PostgreSQL 的逻辑复制经过几个大版本迭代,已异常的强大。它结合了很多黑科技,本文就一一介绍给大家。 二. MVCC 和 snapshot 大家都知道,PostgreSQL 使...

    文章 技术小能手 2018-02-02 3079浏览量

  • 大数据同步利器: 表格存储全增量一体消费通道

    表格存储(Table Store)是阿里云自研的NoSQL多模型数据库,提供海量结构化数据存储以及快速的查询和分析服务,表格存储的分布式存储和强大的索引引擎能够提供PB级存储、千万TPS以及毫秒级延迟的服务能力。本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。文章会为大家阐...

    文章 Dendi 2019-03-06 2804浏览量

  • How to beat the CAP theorem

    http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html http://kb.cnblogs.com/page/124567/   面对大数据, 提出一种不同的思路 传统的方法在保证可用性的前提下, 必须用很复杂的逻辑来保证数据的最终一...

    文章 寒凝雪 2017-05-02 1540浏览量

  • PetaData · 架构体系 · PetaData第二代低成本存储体系

    背景 2015年7月,PetaData分布式数据库开放了低成本存储体系,随后便服务了天象等多个大数据业务,这些业务存量数据在数百T,日新增10T,新增数据大多是秒级监控数据,既要数据实时可见,又要支持多维度低延迟查询,还要大幅降低成本。 在PetaData第一代低成本存储体系中,融合了Apsa...

    文章 db匠 2017-03-08 3159浏览量

  • 在Aliyun E-MapReduce集群上 使用sqoop高级特性

    sqoop简介 sqoop是什么 Sqoop是一款开源的软件工具,提供了Hadoop和关系型数据库中的数据相互转移的功能。可以将一个关系型数据库(例如 : MySQL)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 在E-MapReduce集群中使用sqoop...

    文章 鸿初 2016-05-05 3191浏览量

  • 低成本历史库最佳实践

    云HBase活动福利【云HBase产品介绍】更多活动内容请参考链接背景阿里巴巴集团内为淘宝、支付宝、菜鸟提供订单、账单、物流单的历史库最佳实践方案,帮助您解决历史库的成本和扩展性问题,提供可视化的历史库链路搭建,支持水平扩展,极低的存储成本和丰富的在线查询能力。在移动互联网高度发达的今天,每天都会...

    文章 daniel.meng 2020-02-18 32320浏览量

  • <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

    算是挺全的了,有命令有真相 原文链接:http://blog.chinaunix.net/uid-354915-id-3525989.html 一、Oracle备份方式分类: Oracle有两类备份方式: (1)物理备份:是将实际组成数据库的操作系统文件从一处拷贝到另一处的备份过程,通常是...

    文章 攻城师10946 1970-01-01 660浏览量

  • 找到 OSChina 早上 8 点钟容易宕机的原因 ?

    最近一段时间,OSChina 网站在早上 8 点出头的时候很容易因为数据库连接池爆满而导致网站宕机。表现的情况是数据库处理大量的查询,堆积大量并发连接,导致无法再连接到数据库,执行一个简单的查询速度也非常慢,数据库机器的 CPU 很高。 但事实上早上 8 点并非 OSC 网站的高峰期,高峰期的时候...

    文章 developerguy 2016-08-29 858浏览量

  • PgSQL · 内核开发 · 利用一致性快照迁移你的数据

    一.背景 众所周知 PostgreSQL 的物理复制以稳定可靠著称,目前经成为默认的高可用方案。但较少有人关注到,PostgreSQL 的逻辑复制经过几个大版本迭代,已异常的强大。它结合了很多黑科技,本文就一一介绍给大家。 二. MVCC 和 snapshot 大家都知道,PostgreSQL ...

    文章 db匠 2017-12-21 1381浏览量

1 2 3 4 ... 42 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务