开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何配置从开源数据库同步抽取数据到本地?

DataWorks如何配置从开源数据库同步抽取数据到本地?

展开
收起
真的很搞笑 2023-10-15 19:52:11 37 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    在 DataWorks 中,你可以使用数据同步功能将开源数据库的数据同步到本地。具体步骤如下:

    1. 在 DataWorks 中,点击左侧菜单栏的“数据开发”选项。
    2. 在“数据开发”页面中,点击“新建数据源”按钮,创建一个新的数据源。
    3. 在“新建数据源”页面中,设置数据源的名称、描述和连接信息等信息。
    4. 点击“保存”按钮,创建数据源。
    5. 在“数据开发”页面中,点击“数据开发”选项卡,然后点击“新建任务”按钮,创建一个新的数据开发任务。
    6. 在“新建任务”页面中,选择数据源,并设置任务的名称、描述和数据处理逻辑等信息。
    7. 点击“保存”按钮,创建数据开发任务。
    8. 在“数据开发”页面中,点击“运行”按钮,运行数据开发任务,将开源数据库的数据同步到本地。
    2023-10-15 22:54:37
    赞同 展开评论 打赏
  • 配置一个从OpenTSDB数据库同步抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置任务。{"order": {"hops": [{"from": "Reader","to": "Writer"}]},"setting": {"errorLimit": {"record": "0"},"speed": {"concurrent": 1,"throttle": true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"mbps":"12"//限流}},"steps": [{"category": "reader","name": "Reader","parameter": {"endpoint": "http://host:4242","column": ["xc"],"beginDateTime": "20190101000000","endDateTime": "20190101030000"},"stepType": "opentsdb"},{"category": "writer","name": "Writer","parameter": {},"stepType": ""}],"type": "job","version": "2.0"}
    https://help.aliyun.com/document_detail/137748.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-15 22:45:26
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
    云时代的数据库技术趋势 立即下载
    超大型金融机构国产数据库全面迁移成功实践 立即下载