开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

如何同步opds 表数据 同步到 阿里elasticsearch

表字段带json

展开
收起
游客6vdkhpqtie2h2 2022-09-23 10:34:19 778 0
6 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    通过阿里的数据传输服务DTS即可完成,通过它可以实时将数据同步到阿里elasticsearch,DTS文档地址:https://help.aliyun.com/document_detail/26592.html

    2022-11-28 09:50:06
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    在配置同步任务时首先需要了解支持的数据源与读写能力,官方文档地址:https://help.aliyun.com/document_detail/181656.htm,根据官方文档描述Elasticsearch支持离线同步的单表读、单表写;支持实时同步的单表增量写;支持同步解决方案的整库离线写、单表/整库全增量实时写, image.png 在配置数据集成同步任务前,需要配置好需要同步的源端和目的端数据库相关信息,以便在配置同步任务时,您可以通过选择数据源名称来确定同步任务读取和写入的数据库,具体配置内容详情参考:https://help.aliyun.com/document_detail/442151.htm,具体同步任务的操作可以参考文档同步数据至ElasticSearch,根据个人需求选择是整库离线同步至Elasticsearch还是一键实时同步至Elasticsearch,具体操作文档参考https://help.aliyun.com/document_detail/198905.html

    2022-11-26 20:55:37
    赞同 展开评论 打赏
  • 在DataWorks数据集成界面下,新建同步任务,再通过完成“设置同步来源和规则”、“设置目标表”、“DDL消息处理规则”、“运行资源设置”这样4步简单的产品hu化配置,就可以将指定类型的数据库中的全部表或者部分表的数据实时同步到Elasticsearch里。 image.png

    详细可以参考链接

    2022-11-26 00:14:13
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,根据你的描述,可以知道要想表字段带json同步到elasticsearch,需要使用阿里云的DTS服务把数据同步到elasticsearch上才行。

    2022-11-25 23:50:30
    赞同 展开评论 打赏
  • coder at work

    阿里云的 DTS服务 了解一下~

    2022-11-23 22:02:10
    赞同 展开评论 打赏
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    通过DTS将PolarDB MySQL数据同步至阿里云Elasticsearch,数据传输服务DTS是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。

    2022-11-22 20:04:11
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
EYou—阿里云Elasticsearch智能优化运维工具分享 立即下载
阿里云Elasticsearch体系架构与特性解析 立即下载
开源与云:Elasticsearch应用剖析 立即下载