开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

实时同步数据到odps后,当天的分区数据只能第二天看到?

实时同步数据到odps后,当天的分区数据只能第二天看到?

展开
收起
游客6vdkhpqtie2h2 2022-09-22 10:41:13 786 0
5 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    DataWorks是不支持实时同步的,除非您配置实时同步节点。

    2022-11-30 22:29:28
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    在进行同步任务配置时,根据需要同步的来源与去向数据源,及DataWorks各模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置,这里看到针对ODPS的实时同步仅支持单表增量写、整库增量写,而不支持单表增量读、整库增量读,具体可以参考 image.png 官方文档地址:https://help.aliyun.com/document_detail/181656.htm,另外需要注意的是实时同步仅支持与当前工作空间同地域的自建MaxCompute数据源,跨地域的MaxCompute项目在测试数据源服务连通性时可以正常连通,但同步任务执行时,在MaxCompute建表阶段会报引擎不存在的错误。关于一键实时同步至MaxCompute更多内容可以参考文档:https://help.aliyun.com/document_detail/175676.html

    2022-11-26 20:37:07
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    实时同步数据到odps后,当天的分区数据只能第二天看到的原因就是在DataWorks上不支持实时同步,要想实时同步需要发布到生产环境中才行。

    2022-11-25 23:44:49
    赞同 展开评论 打赏
  • coder at work

    实时同步需要发布生产后才能运行, 随用随取可以先用 sql 查询

    2022-11-23 22:01:24
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    实时同步不支持在DataWorks的界面上直接运行,您需要在配置好实时同步任务后,提交并发布实时同步节点后,进入生产环境运行该节点,着急的话可以新建一个临时查询 用sql查询数据

    2022-11-23 16:00:35
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载