配置单库单表和分库分表的配置说明什么?

配置单库单表和分库分表的配置说明什么?

展开
收起
滴滴滴~ 2023-03-22 09:27:57 149 分享 版权
2 条回答
写回答
取消 提交回答
  • 配置单库单表 {"type":"job","version":"2.0",//版本号。"steps":[{"stepType":"kingbasees",//插件名。"parameter":{"column":[//列名。"id"],"connection":[{ "querySql":["select a,b from join1 c join join2 d on c.id = d.id;"], //使用字符串的形式,将querySql写在connection中。"datasource":"",//数据源。"table":[//表名,即使只有一张表,也必须以[]的数组形式书写。"xxx"]}],"where":"",//过滤条件。"splitPk":"",//切分键。"encoding":"UTF-8"//编码格式。},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"setting":{"errorLimit":{"record":"0"//错误记录数。},"speed":{"throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"concurrent":1, //作业并发数。"mbps":"12"//限流}},"order":{"hops":[{"from":"Reader","to":"Writer"}]}}配置分库分表说明 分库分表是指在KingbaseES Reader端可以选择多个KingbaseES数据表,且表结构保持一致。{"type": "job","version": "1.0","configuration": {"reader": {"plugin": "kingbasees","parameter": {"connection": [{"table": ["tbl1","tbl2","tbl3"],"datasource": "datasourceName1"},{"table": ["tbl4","tbl5","tbl6"],"da 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-22 10:31:59
    赞同 展开评论
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    分库:从单个数据库拆分成多个数据库的过程,将数据散落在多个数据库中。

    分表:从单张表拆分成多张表的过程,将数据散落在多张表内。

    根据行业惯例,通常按照 水平切分、垂直切分 两种方式进行切分,当然,有些复杂业务场景也可能选择两者结合的方式。

    分库的时候除了要考虑平时的业务峰值读写QPS外,还要考虑到诸如双11大促期间可能达到的峰值,需要提前做好预估。

    2023-03-22 10:27:49
    赞同 1 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理