实时同步数据到odps后,当天的分区数据只能第二天看到?
DataWorks是不支持实时同步的,除非您配置实时同步节点。
在进行同步任务配置时,根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置,这里看到针对ODPS的实时同步仅支持单表增量写、整库增量写,而不支持单表增量读、整库增量读,具体可以参考 官方文档地址:https://help.aliyun.com/document_detail/181656.htm,另外需要注意的是实时同步仅支持与当前工作空间同地域的自建MaxCompute数据源,跨地域的MaxCompute项目在测试数据源服务连通性时可以正常连通,但同步任务执行时,在MaxCompute建表阶段会报引擎不存在的错误。关于一键实时同步至MaxCompute更多内容可以参考文档:https://help.aliyun.com/document_detail/175676.html
实时同步数据到odps后,当天的分区数据只能第二天看到的原因就是在DataWorks上不支持实时同步,要想实时同步需要发布到生产环境中才行。
实时同步不支持在DataWorks的界面上直接运行,您需要在配置好实时同步任务后,提交并发布实时同步节点后,进入生产环境运行该节点,着急的话可以新建一个临时查询 用sql查询数据
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。