dataworks默认支持字段的注释说明是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
目前默认支持三个属性字段的获取,也支持其他自定义写入的字段。字段名 注释说明 source 消息源 topic 消息主题 timestamp 日志时间说明LogService暂不支持MAP类型的数据。字段顺序支持无序(建议字段顺序和表中定义一致)。输入数据源为JSON形式时,注意定义分隔符,并且需要采用内置函数分析JSON_VALUE,否则就会解析失败,报错如下。 2017-12-25 15:24:43,467 WARN [Topology-0 (1/1)] com.alibaba.blink.streaming.connectors.common.source.parse.DefaultSourceCollector - Field missing error, table column number: 3, data column number: 3, data filed number: 1, data: [{"lg_order_code":"LP00000005","activity_code":"TEST_CODE1","occur_time":"2017-12-10 00:00:01"}]batchGetSize设置不能超过1,000,否则会报错。batchGetSize指明的是logGroup获取的数量。如果单条logItem的大小和batchGetSize都很大,可能会导致频繁的GC,此时需要调小该参数。 https://help.aliyun.com/document_detail/108437.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。