开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks 离线同步 Doris数据源到mysql,doris的reader 属性是什么?

dataworks 离线同步 Doris数据源到mysql,doris的reader 属性是什么?目前只看到了write参数image.png
image.png
现在的数据集成创建读可以选择doris了,深圳

展开
收起
真的很搞笑 2023-07-16 14:48:27 224 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    离线同步Doris数据源到MySQL,需要使用DataWorks数据集成功能中的Doris Reader插件进行数据读取和同步。Doris Reader插件可以根据用户配置的参数,读取Doris中的数据并写入到MySQL中。

    Doris Reader插件的常用参数包括:

    reader.parameter.username:Doris数据库的用户名。

    reader.parameter.password:Doris数据库的密码。

    reader.parameter.jdbcUrl:Doris数据库的JDBC连接URL。

    reader.parameter.querySql:需要读取的Doris数据的SQL语句。

    reader.parameter.splitPk:用于数据分片的字段名,可选参数。

    reader.parameter.partition:用于数据分片的分片数,可选参数。

    reader.parameter.sessionInitSql:初始化Doris数据库会话的SQL语句,可选参数。

    reader.parameter.fetchSize:每次读取数据的行数,可选参数。

    需要注意的是,Doris Reader插件的参数设置需要根据实际的Doris数据库和MySQL数据库环境进行配置,确保参数正确和有效。同时,在使用Doris Reader插件进行数据读取和同步时,还需要关注数据的一致性和准确性等问题,避免数据丢失或错误。

    2023-07-21 20:06:32
    赞同 展开评论 打赏
  • 在DataWorks中,离线同步Doris数据源到MySQL可以使用ODPS SQL节点进行操作。当使用ODPS SQL节点进行数据同步时,需要使用Doris的Reader属性指定Doris数据源的连接信息和读取属性。

    具体而言,Doris数据源的Reader属性包括以下几个参数:

    • databasename:指定Doris数据库名称。
    • tablename:指定要读取的Doris表名称。
    • username:指定连接Doris的用户名。
    • password:指定连接Doris的密码。
    • dorishosts:指定Doris集群的地址,多个地址之间使用逗号分隔。

    下面是一个示例SQL语句,展示了如何使用Doris的Reader属性来进行数据读取:

    -- 在DataWorks的ODPS SQL节点中使用Doris的Reader属性
    INSERT INTO target_mysql_table
    SELECT *
    FROM (
        SELECT * FROM source_doris_table
            PROPERTIES (
                'odps.sql.catalog.odps.useinstanceid'='true',
                'odps.sql.catalog.odps.reader.databasename'='doris_database',
                'odps.sql.catalog.odps.reader.tablename'='doris_table',
                'odps.sql.catalog.odps.reader.username'='doris_username',
                'odps.sql.catalog.odps.reader.password'='doris_password',
                'odps.sql.catalog.odps.reader.dorishosts'='doris_host1,doris_host2,doris_host3'
            )
    ) AS subquery_alias;
    

    在上述示例中,你需要将目标MySQL表名替换为target_mysql_table,源Doris表名替换为source_doris_table,以及相应的Doris数据库名称、连接用户名、密码和集群地址。

    2023-07-18 14:25:18
    赞同 展开评论 打赏
  • 仅支持离线写入Dorishttps://help.aliyun.com/document_detail/181656.html?spm=a2c4g.611489.0.0读应该是不支持的 这个显示问题我反馈对应同学帮忙看下哈,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 15:02:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关镜像