开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks如何本地数据库数据同步到maxcompute?

DataWorks如何本地数据库数据同步到maxcompute?

展开
收起
真的很搞笑 2023-10-15 19:52:11 44 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,你可以使用数据同步功能将本地数据库的数据同步到 MaxCompute 中。具体步骤如下:

    1. 在 DataWorks 中,点击左侧菜单栏的“数据开发”选项。
    2. 在“数据开发”页面中,点击“新建数据源”按钮,创建一个新的数据源。
    3. 在“新建数据源”页面中,设置数据源的名称、描述和连接信息等信息。
    4. 点击“保存”按钮,创建数据源。
    5. 在“数据开发”页面中,点击“数据开发”选项卡,然后点击“新建任务”按钮,创建一个新的数据开发任务。
    6. 在“新建任务”页面中,选择数据源,并设置任务的名称、描述和数据处理逻辑等信息。
    7. 点击“保存”按钮,创建数据开发任务。
    8. 在“数据开发”页面中,点击“运行”按钮,运行数据开发任务,将本地数据库的数据同步到 MaxCompute 中。
    2023-10-15 22:54:38
    赞同 展开评论 打赏
  • 配置一个从OpenTSDB数据库同步抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置任务。{"order": {"hops": [{"from": "Reader","to": "Writer"}]},"setting": {"errorLimit": {"record": "0"},"speed": {"concurrent": 1,"throttle": true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。"mbps":"12"//限流}},"steps": [{"category": "reader","name": "Reader","parameter": {"endpoint": "http://host:4242","column": ["xc"],"beginDateTime": "20190101000000","endDateTime": "20190101030000"},"stepType": "opentsdb"},{"category": "writer","name": "Writer","parameter": {},"stepType": ""}],"type": "job","version": "2.0"}
    https://help.aliyun.com/document_detail/137748.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-15 22:45:27
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载