开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

datahub往maxcompute用Connector同步数据为啥自动生成了一个rowkey得列

datahub往maxcompute用Connector同步数据为啥自动生成了一个rowkey得列

展开
收起
游客6vdkhpqtie2h2 2022-10-02 09:07:53 1254 0
5 条回答
写回答
取消 提交回答
  • 从事java行业8年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    DataHub支持将数据同步到MaxCompute对应的数据表中,同时支持分区表和非分区表,一般情况下推荐用户使用分区表进行数据同步以方便MaxCompute数据处理;关于字段对应如图 image.png 目前DataHub并不能完全支持MaxCompute所有的数据类型,所以需要根据DataHub数据类型创建MaxCompute表结构,对于BLOB数据类型,需要要求MaxCompute表结构仅需要包含一列STRING类型的column即可,另外为了方便数据追踪和问题排查,建议用户在创建MaxCompute表结构时,增加一列__rowkey__ STRING字段,DataHub会自动将DataHub对应数据的trace信息同步到该列中,以方便后续数据排查。因此你说的增加了__rowkey__这一列,本身没有业务意义,只是在同步时为了更好的方便数据追踪和问题排查而存在的,无需理会,关于更多DataHub同步数据到MaxCompute可以参考文档:https://help.aliyun.com/document_detail/158808.html,其他同步数据至MaxCompute可以参考文档https://help.aliyun.com/document_detail/195949.html

    2022-11-26 21:40:48
    赞同 展开评论 打赏
  • 为了方便数据追踪和问题排查,建议用户在创建MaxCompute表结构时,增加一列__rowkey__ STRING字段,DataHub会自动将DataHub对应数据的trace信息同步到该列中,以方便后续数据排查。 官方参考链接

    2022-11-26 08:11:13
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    通过你的描述可以看出造成自动生成了一个rowkey的列的问题,应该是映射不正确,还有就是点位设置的问题造成的,楼主排查一下。

    2022-11-25 23:53:13
    赞同 展开评论 打赏
  • coder at work

    检查下数据列的映射是否对, 不对的情况下会自动生成一个 rowkey 列

    2022-11-23 22:17:42
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    可能原因:数据同步点位设置有误,页面创建默认从当前时间创建

    2022-11-23 16:04:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载