有 DataWorks:TableStore(OTS)配置面板说明吗?
是的,DataWorks提供了TableStore(OTS)的配置面板,以下是该面板的说明:
连接信息:在该页面上可以输入TableStore(OTS)的连接信息,包括AccessKeyId、AccessKeySecret、Host、Port等。
表管理:在该页面上可以创建、修改和删除TableStore(OTS)中的表。可以指定表的名称、数据行数、数据分区数等参数。
数据源配置:在该页面上可以配置数据源,将数据源与TableStore(OTS)中的表进行关联。可以选择使用S3数据源或自定义数据源。
增量同步:在该页面上可以配置增量同步,将源端的数据同步到TableStore(OTS)中。可以指定同步的时间间隔、同步方式等参数。
数据过滤:在该页面上可以设置数据过滤条件,只同步符合条件的数据。可以使用SQL表达式或逻辑运算符进行过滤。
调度配置:在该页面上可以配置任务调度,定时执行数据同步任务。可以指定任务的执行时间、执行频率等参数。
监控告警:在该页面上可以配置监控告警,当任务出现异常时及时通知管理员。可以设置告警规则、告警方式等参数。
以上是DataWorks中TableStore(OTS)配置面板的主要说明,可以根据实际需求进行配置和调整。
参数 注释说明 血缘表名(任务唯一) 任务中表的唯一标志,不能与任务中其他血缘表重名。 选择输出字段 要输出至Table Store表的字段列表。 实例名 实例名。 表名 表名。 数据同步 从元数据中心读取指定表名的元数据,帮助填充输出字段和其他元信息表单项。 选择输出字段 从维表中读取输出到下游组件的字段列表。 实例访问地址 实例访问地址。 AccessKey ID 读取的AccessKey ID。 AccessKey Secret 读取的AccessKey Secret。 缓存策略 可选LRU。 缓存大小 当选择LRU缓存策略后,可以设置缓存大小。 缓存超时时间 缓存超时时间,单位为毫秒。 primaryKey 指定输出字段中作为主键的字段。——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks OTS Reader插件实现了从Table Store(OTS)读取数据,通过您指定的抽取数据范围,可以方便地实现数据增量抽取的需求。目前支持以下三种抽取方式:全表抽取、范围抽取、指定分片抽取,目前OTS Reader支持所有Table Store类型,OTS Reader针对Table Store的类型转换表,如下图 对应的详细参数说明参考文档:https://help.aliyun.com/document_detail/137729.html?spm=5176.smartservice_service_robot_chat_new.0.0.15dd709aFobvzx#section-jn2-gqh-p2b
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。