DataWorks TableStore(OTS)配置面板说明是什么?

DataWorks TableStore(OTS)配置面板说明是什么?

展开
收起
真的很搞笑 2023-09-03 16:27:36 147 分享 版权
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks中的TableStore(OTS)配置面板用于配置和管理与TableStore相关的任务和数据集成。下面是一些常见的配置说明:

    1. 连接配置:在此部分,你需要提供与TableStore建立连接所需的信息,包括Endpoint(OTS服务地址)、实例名称、AccessKey和AccessKey Secret。这些信息将用于认证和授权你的DataWorks项目访问TableStore。

    2. 数据库和表:在该部分,你可以选择指定要操作的TableStore数据库和数据表。首先,你需要选择目标数据库,然后可以进一步选择具体的数据表或通过SQL语句进行查询和操作。

    3. 表结构:该部分用于展示已选择数据表的结构信息,包括字段名、类型和是否为主键等。你可以在此确认数据表结构,并根据需要对其进行调整。

    4. 数据同步和映射:在这里,你可以配置数据同步和映射相关的设置,例如选择同步方式(全量同步或增量同步)、同步策略(覆盖或追加)、字段映射关系(将源表字段映射到目标表字段)等。

    5. 高级配置:该部分提供了一些高级配置选项,例如限制同步速率、启用数据变更记录、设置时间戳字段等。这些配置能够满足更复杂的数据处理需求。

    2023-09-04 14:02:16
    赞同 展开评论
  • DataWorks TableStore(OTS)配置面板是一个用于配置和管理TableStore(OTS)表的界面。

    • 血缘表名(任务唯一):任务中表的唯一标志,不能与任务中其他表血缘表名重名。
    • 选择输出字段:要输出到TableStore表的字段列表。
    • 实例名:对应SQL中with参数instanceName。
    • 表名:对应SQL中with参数tableName。
    • 连接地址:对应SQL中with参数endPoint。
    • accessId:对应SQL中with参数accessId。
    • accessKey:对应SQL中with参数accessKey。
    • 插入的字段列名:指定插入的字段列名,多个字段以逗号分隔。
    • 去重的buffer大小:对应SQL中with参数bufferSize,控制流入多少条数据后开始去重。
    • 写超时时间:对应SQL中with参数batchWriteTimeoutMs,单位为毫秒。
    • 最大重试次数:对应SQL中with参数maxRetryTimes。
    • 重试间隔时间:对应SQL中with参数retryIntervalMs,单位为毫秒。
    • 是否忽略delete操作:对应SQL中with参数ignoreDelete,可以选择是否忽略delete操作。
    • 主键:指定输出字段中作为主键的字段。
    • 类型映射:将实时计算字段类型映射为OTS字段类型。
    2023-09-04 07:44:19
    赞同 展开评论
  • 参数 注释说明
    血缘表名(任务唯一) 任务中表的唯一标志,不能与任务中其他血缘表重名。
    选择输出字段 要输出至Table Store表的字段列表。
    实例名 实例名。
    表名 表名。
    数据同步 从元数据中心读取指定表名的元数据,帮助填充输出字段和其他元信息表单项。
    选择输出字段 从维表中读取输出到下游组件的字段列表。
    实例访问地址 实例访问地址。
    AccessKey ID 读取的AccessKey ID。
    AccessKey Secret 读取的AccessKey Secret。
    缓存策略 可选LRU。
    缓存大小 当选择LRU缓存策略后,可以设置缓存大小。
    缓存超时时间 缓存超时时间,单位为毫秒。
    primaryKey 指定输出字段中作为主键的字段。
    https://help.aliyun.com/document_detail/108574.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-03 17:07:47
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

还有其他疑问?
咨询AI助理