开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

使用DataWorks数据集成从MySQL导入数据到GDB配置同步任务脚本?

使用DataWorks数据集成从MySQL导入数据到GDB配置同步任务脚本?

展开
收起
cuicuicuic 2023-09-30 08:28:57 31 0
1 条回答
写回答
取消 提交回答
  • 在DataWorks对应工作空间(相同区域)的数据开发环境,创建离线同步节点,创建方法请参见创建离线同步节点。image.png
    在选择数据源>数据来源步骤选择数据源为MySQL和您配置好的MySQL数据源,以及需要导入到GDB中的数据库表。在选择数据源>数据去向步骤选择GDB和您配置好的GDB数据源。目前GDB只支持通过脚本模式配置任务,单击工具栏中的转换脚本再编辑同步任务参数。以下示例配置是同步数据源mysql_loader中数据表comment到GDB数据源gdb_loader中,将表数据转换成GDB的点,表中部分列映射为点的属性。
    {"type": "job","steps": [{"stepType": "mysql", // 数据来源类型"parameter": {"datasource": "mysql_loader", // mysql数据源"column": [ // 读取的数据表列名"node_id","node_label","m_id","imagefile","creationDate"],"connection": [ // 连接信息{"datasource": "mysql_loader","table": [ // 读取的数据库表"post"]}],"where": "","splitPk": "","encoding": "UTF-8"},"name": "Reader","category": "reader"},{"stepType": "gdb", // 数据去向类型"parameter": {"datasource": "gdb_loader", // gdb数据源"session": true, // 使用GDB的批量事务模式"column": [ // 到GDB数据的映射规则{"columnType": "primaryKey", // 主键ID映射"name": "id","type": "string", // 主键值类型,配置为非string类型会导致异常。"value": "#{0}" // 主键映射列序号},{"columnType": "vertexProperty
    https://help.aliyun.com/document_detail/179044.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-30 11:18:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关镜像