增量同步ODPS数据解决方法

简介:

解决方法
目前ODPS到分析型数据库之间的数据同步是离线批量同步的,不支持实时同步增量的情况。如果用户有增量同步的需求,可以考虑以下方案:
1、如果用户的数据是不更新只累加的数据,比如日志数据,可以在分析型数据库里创建表的时候设置二级分区。每次增量的数据导入到分析型数据库的一个二级分区里。
2、用户可以在ODPS里就把增量更新后的结果数据放在一个表(分区)里。这样同步只处理结果数据的全量同步,增量操作在ODPS里已经做好了。
3、用户使用实时更新的功能,自己使用SQL更新数据。这样相当于用户完全绕过了ODPS,自行实现了数据的同步。另外这样做,需要在创建表的时候设置为实时更新表。
原理解读
如果一个表是实时写入的表,则分析型数据库会支持对该表的单条数据进行Insert/Delete操作,不过由于分析型数据库不支持事务,对于Insert/Delete命令,有一些限制。
在分析型数据库中Insert语句的语法是:
INSERT [IGNORE]
INTO tbl_name (col1,col2...)
VALUES (value1, value2...), (value1, value2...)....
在分析型数据库中,能够实时插入的表一定要定义主键或组合主键,和MySQL有一个非常大的不同是,分析型数据库在进行数据插入时,若发现同主键的数据时,默认执行覆盖行为。若使用insert ignore语法,则在发现有同主键的数据时,丢弃新插入的数据,保留原有数据。但是无论如何,在主键冲突时分析型数据库无法直接返回错误给insert的执行方。
在分析型数据库中的Delete语句的语法是:
DELETE FROM tbl_name WHERE where_definition
where_definition中暂不支持函数定义。
对分析型数据库是数据插入和删除操作,原则上在分析型数据库操作返回成功后一分钟内可查(但不保证一定是一分钟的数据可见延迟),不过在表刚刚创建时的十分钟内,数据可能无法查询。
Delete语句执行后,数据会不可查询到,但不会在物理上立刻删除,原则上24小时内会自动清除掉,如果删除了大量数据想立刻生效,可以执行:
optimize table ;
执行成功一段时间后,物理上数据会被删除。
关于最终一致性:对于主键相同的数据的多次变更,分析型数据库会遵循分析型数据库返回语句执行成功的顺序进行;对于主键不同的数据的两次变更,分析型数据库不保证先执行的变更会比后执行的变更更优先的查询到。但是当业务端暂停数据写入的若干时间后,分析型数据库会保证数据的最终一致。
若希望达成数据写入速率的最大化,建议:
(1)每条insert插入多条数据,具体条数视数据列数决定。若需要极限性能,每条insert插入的数据需拥有相同的一级分区号;

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
12月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
714 14
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1158 0
|
12月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
358 14
|
12月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
369 1
|
机器学习/深度学习 监控 大数据
数据当“安全带”:金融市场如何用大数据玩转风险控制?
数据当“安全带”:金融市场如何用大数据玩转风险控制?
692 10
|
12月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
1124 1
|
11月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
823 0
|
机器学习/深度学习 自然语言处理 监控
大数据如何影响新兴市场投资决策?——数据才是真正的风向标
大数据如何影响新兴市场投资决策?——数据才是真正的风向标
316 3
|
机器学习/深度学习 传感器 大数据
大数据真能治堵吗?聊聊交通行业用数据疏通“城市血管”
大数据真能治堵吗?聊聊交通行业用数据疏通“城市血管”
423 4
|
机器学习/深度学习 人工智能 大数据
从数据到决策:政府如何用大数据把事儿办得更明白?
从数据到决策:政府如何用大数据把事儿办得更明白?
480 0

热门文章

最新文章