开发者社区> DataWorks团队> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

一键实时/离线同步至Elasticsearch,数据集成再添新功能!

简介: 企业的实时数据除了存储在大数据引擎中,还有很多非结构化的日志数据,通过阿里云的Elasticsearch,用全托管的方式提供低成本的冷热存储方案,轻松助力企业搭建统一的云上全观测运维监控平台,实现海量数据的实时监控分析,提高自动化运维管理效率。DataWorks数据集成提供了 “MySQL一键实时同步至Elasticsearch” 的解决方案,可以将MySQL中的数据库,通过一次性的简单配置,全增量一体化同步到Elasticsearch,达到数据实时落入ElasticSearch,实时可以用于分析的效果。也可以将MySQL数据库离线全量或者增量搬迁到Elasticsearch中
+关注继续查看

企业的实时数据除了存储在大数据引擎中,还有很多非结构化的日志数据,通过阿里云的Elasticsearch,用全托管的方式提供低成本的冷热存储方案,轻松助力企业搭建统一的云上全观测运维监控平台,实现海量数据的实时监控分析,提高自动化运维管理效率。DataWorks数据集成提供了 “MySQL一键实时同步至Elasticsearch” 的解决方案,可以将MySQL中的数据库,通过一次性的简单配置,全增量一体化同步到Elasticsearch,达到数据实时落入ElasticSearch,实时可以用于分析的效果。如果您只需要将业务库数据离线全量或者增量搬迁到Elasticsearch中,也可以将MySQL数据库,通过一次性的简单配置,全增量一体化离线同步到Elasticsearch中。DataWorks数据集成采用自研高性能引擎,在相同的机器规格情况下,同步性能更高,价格更优惠!

目前独享数据集成资源组首月5折!立即前往购买>>

数据集成问题答疑请钉钉扫码加群咨询:

数据集成答疑群二位码.png

方案简介

本方案是整库全增量实时/离线同步 至Elasticsearch(目前支持的源数据库类型为MySQL,后续更多类型持续增加中)。在DataWorks数据集成界面下,单击 “一键实时同步至Elasticsearch” 新建同步任务,再通过完成“设置同步来源和规则”、“设置目标表”、“DDL消息处理规则”、“运行资源设置”这样4步简单的产品化配置,就可以将指定类型的数据库中全部表或者部分表的数据实时同步到Elasticsearch里。或者单击“整库离线同步至Elasticsearch”新建离线同步任务,再通过完成“设置同步来源和规则”、“设置目标索引”、“同步规则设置”、“运行资源设置”实现数据离线同步到Elasticsearch里。

适用场景

“一键实时同步至Elasticsearch”适用于业务库需要保持业务数据库数据实时更新至ElasticSearch的场景,供上层应用做实时数据检索分析或者后续数据开发。“整库离线同步至Elasticsearch”适用于将业务库数据全量或者增量搬迁到Elasticsearch中。

优势特点

整库级别同步:

  • 不需要一个个建立表到索引的同步,支持以库为单位,选择其中所有表或者部分表进行同步

高效实时同步:

  • 支持数据实时同步至ElasticSearch,灵活配置DDL规则

多种同步方式:

  • 离线同步支持全量、增量以及全量和增量结合的方式,同时支持周期性调度设置

配置简单:

  • 避开纷繁复杂的同步任务、建索引配字段、相互依赖、参数对齐等操作,只需简单的产品化的功能配置。

操作步骤

步骤一:创建同步解决方案任务(实时/离线)

1.登录并进入"数据集成"页面,单击“一键实时同步至Elasticsearch”新建实时同步任务或者单击“整库离线同步至Elasticsearch”新建离线同步任务。

数据集成1.png

2.完成方案名称等基本信息配置。在基本配置区域,配置各项参数。

参数 描述
方案名称 同步解决方案的名称,最多支持50个字符。
描述 对当前方案进行简单描述,最多支持50个字符。
目标任务存放位置 默认创建一个新的业务流程,所有任务均以clone_database_源端数据源名称+to+目标数据源名称的命名方式存放至数据集成目录下。您也可以取消自动建立工作流程,在选择位置下拉列表中指定存放目标任务的路径。

步骤二:选择来源数据源并配置同步规则

1.在数据来源区域,选择类型数据源(仅支持选择MySQ类型的数据源)

2.在选择同步的源表区域,选中需要同步的源表 图标,将其移动至已选源表

该区域会为您展示所选数据源下所有的表,您可以选择整库全表或部分表进行同步。

注意 如果选中的表没有主键,将无法进行实时同步。

3.在设置同步规则区域,单击添加规则,选择相应的规则进行添加。同步规则包括表名转换规则目标表名规则

  • 表名转换规则:转换表名为目标表名,进行字符串替换。
  • 目标表名规则:支持对转换后的表名添加前缀和后缀。

4.单击下一步

步骤三:选择目标数据源并配置目标表格式

1.在设置目标表/设置目标索引页面,选择目标**Elasticsearch数据源**。

2.单击刷新源表和**Elasticsearch索引映射**,创建需要同步的源表和目标Elasticsearch索引的映射关系。
3.查看任务的执行进度和表来源。

数据集成3-1.png

序号 描述
显示映射关系的创建进度。说明 如果同步的表数量较多,会导致执行进度较慢,请耐心等待。
②③ 如果来源库有主键则会直接使用此主键。如果没有,则会显示编辑标志,允许自定义主键(支持联合主键)
④56 选择的索引建立方式:- 当索引建立方式选择自动建索引时,显示自动创建的Elasticsearch索引名称。您可以单击表名称,修改建索引的配置。- 当索引建立方式选择使用已有索引时,请在下拉列表中选择需要的索引。

4.单击下一步

步骤四:DDL消息处理规则/同步规则设置

1.如果是“一键实时同步至Elasticsearch”任务,那么这一步是配置DDL消息处理规则,如下图配置要同步的方式和参数。

数据集成4-1.png

2.处理规则说明:

处理方式 解释
正常处理 此DDL消息将会继续下发给目标数据源,由目标数据源来处理,不同目标数据源处理策略可能会不同。比如“增加列”对于MaxCompute来说就是个错误,但是对于Hologres来说就可以正常增加一列。
忽略 丢弃掉此DDL消息,不再向目标数据源发送此消息。
告警 在日志中发送告警信息,同时丢弃掉此DDL消息。
出错 直接让实时同步任务以出错状态终止运行。

3.如果是“整库离线同步至Elasticsearch”任务,那么这一步应该是配置同步规则设置,如下图配置要同步的方式和参数。

数据集成4-2.png

4.方案选择:

方案 解释
全量一次性同步后周期增量 先将源端所有数据全量拉取到Elasticsearch后,再按照指定的过滤条件和重复周期,每次循环将增量数据拉取到Elasticsearch中。
只全量一次性同步 只进行一次同步,将源端所有数据全量拉取到Elasticsearch。
只增量一次性同步 只进行一次同步,按照指定的过滤条件将源端的增量数据拉取到Elasticsearch中。
周期性全量同步 按照指定的重复周期,每次循环都将源端所有数据拉取到Elasticsearch中。
周期性增量同步 按照指定的过滤条件和重复周期,每次循环将增量数据拉取到Elasticsearch中。

步骤五:运行资源设置

运行资源设置页面,配置各项参数。目前解决方案仅支持使用独享数据集成资源组,该资源组可以在DataWorks官网下“单独产品”购买处点击购买(注意是“独享数据集成资源”,不是调度资源),资源组详情也可参见资源规划与配置文档。

1.如果是“一键实时同步至Elasticsearch”任务,这一步配置界面如下:

数据集成5-1.png

2.如果是“整库离线同步至Elasticsearch”任务,这一步配置界面如下:

数据集成5-2.png

参数 描述
离线任务名称规则 全量同步时的离线任务名称。创建解决方案后,会先生成一个离线任务用于读取全量数据,再生成实时任务持续读取实时增量数据。
选择实时任务独享资源组 分别选择实时任务和全量离线任务需要使用的独享资源组。目前解决方案仅支持使用独享数据集成资源组,此处可配置为准备操作中已购买并配置的独享数据集成资源组,详情可参见资源规划与配置
选择全量离线任务独享资源组
选择调度资源组 选择运行任务时使用的调度资源组。
来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。

3.单击完成配置,完成数据同步解决方案任务创建。

查看运行状态及结果

解决方案任务列表页面,单击已运行任务后的执行详情,查看当前解决方案数据同步过程中各子任务节点的运行详情。
单击子任务节点后的执行详情,可在弹窗中单击任务链接进入子节点的数据开发页面。

管理数据同步解决方案任务

查看或编辑任务。在解决方案任务列表页面,单击相应任务后的任务配置,可以查看或编辑任务。
仅单击未运行状态后的任务配置,您可以编辑任务。其它状态下的任务配置页面,仅支持查看。

删除任务:单击相应任务后的删除。在删除对话框中,单击确定(仅删除当前任务的配置记录,已经生成的表和任务不受影响)。

数据集成6.png

总结

以上就是Elasticsearch实时同步解决方案的全部内容,数据同步到Elasticsearch之后,您可以很方便地做实时分布式的搜索与分析,Elasticsearch构建在Elastic Stack开源生态矩阵中,包括Beats(轻量级数据采集工具)、Logstash(收集、过滤、传输数据的工具)、Elasticsearch、Kibana(灵活的可视化工具)。您可以很方便地利用丰富的工具快速搭建您的数据检索或者实时监控运维应用。

如果您对本次方案感兴趣的话,可以到Elasticsearch和DataWorks的官网查看具体产品信息:
数据集成产品介绍:https://help.aliyun.com/document_detail/199008.html
Elasticsearch产品官网:https://www.aliyun.com/product/bigdata/product/elasticsearch
DataWorks产品官网:https://www.aliyun.com/product/bigdata/ide

数据集成问题答疑请钉钉扫码加群咨询:

数据集成答疑群二位码.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
玩转 Elasticsearch 的 SQL 功能
  最近发布的 Elasticsearch 6.3 包含了大家期待已久的 SQL 特性,今天给大家介绍一下具体的使用方法。   首先看看接口的支持情况   目前支持的 SQL 只能进行数据的查询只读操作,不能进行数据的修改,所以我们的数据插入还是要走之前的常规索引接口。
73 0
探究 | Elasticsearch 与传统数据库界限
现在几乎网上所有资料都说数据存储在传统数据库,再在 es 中同步一份数据作为检索使用,但是也都没有很详细的说明为什么要这么做,而且在 es 本身可以存储数据的情况下,存储两份数据是不是没有必要?还会引起别的问题。 虽然收费而且支持的语法不完全,但是在现在 es 已经支持 sql 的情况下,我越来越搞不清楚 es 和数据库之间的界限。 es 不支持事务但是能够确保单条数据的写入,这样事务可以通过代码实现。很难进行联合查询可以像其他 nosql 一样用宽表实现。实时性可以通过配置调整,而在扩展性能和复杂统计上肯定 es 更优。 基于以上疑问,请问现阶段 es 与数据库的区别或者说界限到底在哪
62 0
Elasticsearch 如何实现相似推荐功能?
1、什么是相似推荐? 拿我们身边的算法“投喂”为主的头条、抖音、微信视频号等举例,如果你喜欢乒乓球,每天推送给你的都是乒乓球比赛视频集锦;如果你喜欢成功人士演讲,每天都是马云、马化腾、刘强东等商业巨鳄的演讲。 再拿电商的示例如下:比如我近期购买的吴军老师推荐的科普经典巨著《从一到无穷大》,京东会给我推荐樊登读书带火的书《微积分原理》。
202 0
运用 makelogs 创建合适的 Elasticsearch 测试数据
我们在使用 Elasticsearch 时,经常想找一些数据来进行测试,比如我们想试一下 Kibana 的可视化工具。我们有时想有很多的数据,但是有时就是找不到合适的数据。那么我们该怎么办呢?当然,我们有一种简单的办法就是使用 Kibana 给我们提供的测试数据,但是它可能也有很多的局限性:
10390 0
400+ 节点的 Elasticsearch 集群运维
Elasticsearch 用于支持我们的主要媒体监控应用,客户通过该应用可以检索和分析媒体数据,比如新闻文章、(公开的)Facebook帖子、Instagram帖子、博客和微博。我们通过使用一个混合API来收集这些内容,并爬取和稍作加工,使得它们可被 Elasticsearch 检索到。
1938 0
400+节点的 Elasticsearch 集群运维
本文翻译自 Meltwater 的工程师通过官方技术博客分享的他们如何运行和维护400+节点的Elasticsearch集群。
1095 0
Elasticsearch 6.3.0 SQL功能使用案例分享
The best elasticsearch highlevel java rest api-----bboss       Elasticsearch 6.3.0 官方新增的SQL功能非常不错,本文以实际案例来介绍其使用方法: 通过sql实现检索功能(代码中直接操作sql,从配置中加...
1607 0
Elasticsearch 跨集群同步
## 高可用架构 ZSearch是目前公司内最大的Elasticsearch服务平台,随着业务的深入,越来越多的关键链路用户对数据的可用性和容灾能力提出更高的需求,而在这块领域 社区一直没有完整的解决策略,原生的 Snapshot And Restore 只能做快照的恢复,不能做到实时同步;业内主流的队列分发模式(通过消息队列缓存请求数据,多个集群消费数据实现请求复制)也只能做到请求的同步
9022 0
+关注
DataWorks团队
DataWorks团队号,一站式大数据开发治理平台
91
文章
1
问答
来源圈子
更多
+ 订阅
相关文档: DataWorks
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载