开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

想请教下各位一个问题 .同步到es 的时候 如何做到近实时的更新, 比如前一秒是 insert 一

想请教下各位一个问题 .同步到es 的时候 如何做到近实时的更新, 比如前一秒是 insert 一条数据, 马上进来一条是 update的binlog 消息 ,如何能确保更新成功.

展开
收起
游客3oewgrzrf6o5c 2022-07-15 13:27:53 272 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    要实现近实时的更新,可以采用以下方法:

    使用Flink的实时任务来读取binlog,并将更新操作写入到ES中。Flink的实时任务可以定时执行或者根据事件触发执行,可以保证数据的实时性。
    使用Flink的流处理模式来读取binlog,并将更新操作写入到ES中。流处理模式可以处理实时流数据,可以保证数据的实时性。
    使用ES的动态 mapping 功能,将数据更新操作写入到ES中。动态 mapping 功能可以使得ES在数据更新时自动更新数据结构,保证数据的实时性。
    使用ES的 snapshot 功能,将数据更新操作写入到ES中。snapshot 功能可以使得ES在数据更新时自动创建快照,保证数据的实时性。
    需要注意的是,不同的方法可能需要不同的配置和开发,需要根据具体情况选择最适合的方法。另外,在实时更新数据时,还需要考虑数据的一致性和事务性,以确保数据的正确性。

    2023-08-04 12:00:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
李劲松|Flink Table Store 典型应用场景 立即下载
事务、全局索引、透明分布式 立即下载
俞航翔|基于Log的通用增量Checkpoint 立即下载