datahub往maxcompute用Connector同步数据为啥自动生成了一个rowkey得列

展开

收起

游客6vdkhpqtie2h2 2022-10-02 09:07:53 1279 0

5 条回答

写回答

取消提交回答

六月的雨在钉钉

从事java行业9年至今，热爱技术，热爱以博文记录日常工作，csdn博主，座右铭是：让技术不再枯燥，让每一位技术人爱上技术

DataHub支持将数据同步到MaxCompute对应的数据表中，同时支持分区表和非分区表，一般情况下推荐用户使用分区表进行数据同步以方便MaxCompute数据处理；关于字段对应如图目前DataHub并不能完全支持MaxCompute所有的数据类型，所以需要根据DataHub数据类型创建MaxCompute表结构，对于BLOB数据类型，需要要求MaxCompute表结构仅需要包含一列STRING类型的column即可，另外为了方便数据追踪和问题排查，建议用户在创建MaxCompute表结构时，增加一列__rowkey__ STRING字段，DataHub会自动将DataHub对应数据的trace信息同步到该列中，以方便后续数据排查。因此你说的增加了__rowkey__这一列，本身没有业务意义，只是在同步时为了更好的方便数据追踪和问题排查而存在的，无需理会，关于更多DataHub同步数据到MaxCompute可以参考文档：https://help.aliyun.com/document_detail/158808.html，其他同步数据至MaxCompute可以参考文档https://help.aliyun.com/document_detail/195949.html

2022-11-26 21:40:48

赞同展开评论打赏
穿过生命散发芬芳

为了方便数据追踪和问题排查，建议用户在创建MaxCompute表结构时，增加一列__rowkey__ STRING字段，DataHub会自动将DataHub对应数据的trace信息同步到该列中，以方便后续数据排查。官方参考链接

2022-11-26 08:11:13

赞同展开评论打赏
三掌柜666

十分耕耘，一定会有一分收获！

通过你的描述可以看出造成自动生成了一个rowkey的列的问题，应该是映射不正确，还有就是点位设置的问题造成的，楼主排查一下。

2022-11-25 23:53:13

赞同展开评论打赏
陈志林

coder at work

检查下数据列的映射是否对, 不对的情况下会自动生成一个 rowkey 列

2022-11-23 22:17:42

赞同展开评论打赏
魏红斌

天下风云出我辈，一入江湖岁月催，皇图霸业谈笑中，不胜人生一场醉。

可能原因:数据同步点位设置有误，页面创建默认从当前时间创建

2022-11-23 16:04:13

赞同展开评论打赏