开发者社区> 问答> 正文

odpscmd的数据环境准备是什么?

odpscmd的数据环境准备是什么?

展开
收起
游客gk53hfj7mlezo 2021-12-08 15:33:41 408 0
1 条回答
写回答
取消 提交回答
  • 对于使用odpscmd客户端的同学而言,往往会深度地使用shell以及一些开源的工具进行配合。这里举个例子,在业务数据库中有一张日常的业务表,可能存储了日常业务点击的日志以及新增的订单数据,那么常见场景是需要将数据同步到数据仓库,这个过程需要一些数据同步工具周期性地将数据加载到数据仓库的表里面,而且往往会需要建立相应的分区表,将相应的数据放入到相应的分区里面去。这一个任务可以通过开源工具DataX完成,实现将数据同步地插入到数据仓库表里面去。而当手工配置DataX命令时,有一些像分区字段这样的参数往往是动态的,所以也需要动态地放入到DataX脚本的参数当中。

    2021-12-08 15:35:06
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
MaxCompute客户端 - odpscmd操作使用 立即下载
HareQL:快速HBase查询工具的发展过程 立即下载
MaxCompute2.0外表对接异构存储源和支持非结构化数据介绍 立即下载