AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据同步Elasticsearch数据源同步odps数据量不符合预期

已解决

DataWorks数据同步Elasticsearch数据源同步odps数据量不符合预期

Elasticsearch数据量是30G左右。5月31号任务没有问题，日志在附件6月1号的任务数据，只同步了15G。

展开
收起
阿里云服务支持 2022-12-09 14:42:15 235 0
1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    推荐回答
    官方回答

    可能是ES游标过期导致的，建议把游标时间改大。 先改成10m试下。如果数据量还是少，需要进一步扩大。

    image.png

    2022-12-09 14:49:20
    赞同 展开评论 打赏
问答分类：
分布式计算 DataWorks MaxCompute 大数据开发治理平台 DataWorks 检索分析服务 Elasticsearch版 云原生大数据计算服务 MaxCompute 日志服务
问答标签：
检索分析服务 Elasticsearch版数据量 大数据开发治理平台 DataWorks数据 大数据开发治理平台 DataWorks同步 大数据开发治理平台 DataWorks odps 云原生大数据计算服务 MaxCompute数据
问答地址：
开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答
相关产品：
大数据开发治理平台 DataWorks

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
DataWorks
DataWorks开发环境修改数据同步任务的集成资源组也没问题，如何解决？
26
1
0
DataWorks中Elasticsearch数据同步到odps，同步的时候一直有数据写入怎么办？
31
1
0
DataWorks配了整库全增量（准实时）的数据同步任务 为什么今天没有在ods里创建昨天的分区呢？
45
8
0
DataWorks数据同步如何使用时间戳变量
19
1
0
DataWorks GBase8a数据同步如何实现
23
1
0
DataWorks数据同步Elasticsearch同步odps数据量不符合预期
21
1
0
DataWorks整库（即数据库变更数据同步到MaxCompute），在数据开发时也能配置内存大小啊
40
1
0
DataWorks离线同步oss文件，数据同步不进来是什么原因导致的呀？
41
2
0
DataWorks现在数据同步必须要买独立资源组了吗？
23
2
0
dataworks做数据同步的时候，这样会不会导致用户查询的时候出现无数据的情况？
48
1
0
大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关产品

  • 大数据开发治理平台 DataWorks
    文档详情 产品详情

    • 热门讨论

    热门文章

  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
    4601
  • DataWorks我该如何访问A项目安装了项目的package资源？
    1333
  • dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
    1742
  • DataWorks undefined requestID: undefined？
    635
  • Dataphin和 Dataworks 有啥区别呢？
    1335
  • DataWorks一个就是业务流程里面为空。还有一个就是在数据开发界面那边那个运行运行不了呀怎么办？
    164
  • DataWorks set tblproperties("transactional"="true？
    810
  • DataWorks Parse exception - invalid token '+'？
    1216
  • DataWorks中sql查询数字变成了科学计数 怎么转为普通数字？
    443
  • 阿里云有敏感词检测的API吗？可以用在PyODPS吗？
    887
    • 展开全部
  • DataWorks售前咨询
    6648
  • 2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
    27161
  • DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
    126
  • 数据中台的智能进化—阿里巴巴十二年数据平台发展历程
    8692
  • DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？
    9818
  • 《一站式大数据开发治理DataWorks使用宝典》官方电子书开放下载
    39185
  • DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)
    91
  • 【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级
    58897
  • 大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
    72411
  • DataWorks OpenAPI 示例（元数据模块）
    4905
    • 展开全部

    相关课程

    更多
  • 一站式大数据开发治理平台DataWorks初级课程
    1035
    11
    去学习
  • DataWorks一站式大数据开发治理平台精品课程
    8297
    35
    去学习

    • 相关文章

  • 大数据迷局：如何用PyODPS破解回归分析之门？
  • "揭秘MaxCompute大数据秘术：如何用切片技术在数据海洋中精准打捞？"
  • "大数据计算难题揭秘：MaxCompute中hash join内存超限，究竟该如何破解？"
  • 一个SQL任务的一生
  • 我在淘宝写SQL｜ODPS SQL 优化总结

    • 相关电子书

    更多
    • DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载

    相关实验场景

    更多
  • Dataworks数据建模
    1427
    2.0小时
    去实验