请教一个DataWorks的问题,问:DRDS Reade... ID=AivUPH4B1r73GM

请教一个DataWorks的问题,问:DRDS Reade... ID=AivUPH4B1r73GMJA0j_O INDEX=0 什么问题?

展开
收起
真的很搞笑 2023-04-19 21:23:46 218 分享 版权
1 条回答
写回答
取消 提交回答
  • 一致性视图问题 DRDS本身属于分布式数据库,对外无法提供一致性的多库多表视图。不同于MySQL等单库单表同步,DRDS Reader无法抽取同一个时间切片的分库分表快照信息,即DRDS Reader抽取底层不同的分表将获取不同的分表快照,无法保证强一致性。数据库编码问题 DRDS本身的编码设置非常灵活,包括指定编码到库、表、字段级别,甚至可以设置不同编码。优先级从高到低为字段、表、库、实例。建议您在库级别将编码统一设置为UTF-8。 DRDS Reader底层使用JDBC进行数据抽取,JDBC天然适配各类编码,并在底层进行了编码转换。因此DRDS Reader不需要您指定编码,可以自动获取编码并转码。 对于DRDS底层写入编码和其设定的编码不一致的混乱情况,DRDS Reader对此无法识别,该类情况的导出结果有可能为乱码。增量数据同步的方式DRDS Reader使用JDBC SELECT语句完成数据抽取工作,因此您可以使用SELECT…WHERE…进行增量数据抽取,方式如下:数据库在线应用写入数据库时,填充modify字段为更改时间戳,包括新增、更新、删除(逻辑删除)。对于这类应用,DRDS Reader只需要where条件后跟上一同步阶段时间戳即可。对于新增流水型数据,DRDS Reader在where条件后跟上一阶段最大自增ID即可。对于业务上无字段区分新增、修改数据的情况,DRDS Reader无法进行增量数据同步,只能同步全量数据。 https://help.aliyun.com/document_detail/137719.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 08:17:49
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理