FlinkStreaming(Scala) + FlinkCDC2.0

简介: 备忘录
def main(args: Array[String]): Unit = {

    val debeziumProperties = new Properties
    debeziumProperties.put("snapshot.locking.mode", "none") // do not use lock
    import org.apache.flink.streaming.api.scala._
    val sourceFunction = MySqlSource
      .builder()
      .hostname("cm1")
      .port(3306)
      .databaseList("db")
      .tableList("db.dim_tbl_config_info")
      .username("root")
      .password("123456")
      .deserializer(new JsonDebeziumDeserializationSchema)
      .debeziumProperties(debeziumProperties)
      .build()
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.enableCheckpointing(3000)
    env.setParallelism(1)
    env.fromSource(sourceFunction, WatermarkStrategy.noWatermarks(), "test").print()
    
    env.execute()

  }
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
|
API
时间操作[取当前北京时间]免费API接口教程
该接口用于获取当前北京时间,支持时间戳等多种格式。请求方式为POST或GET,需提供用户ID、用户KEY及返回格式类型。接口免费,建议使用个人ID与KEY以独享调用频次。返回数据包含状态码和时间信息,支持多种时间格式输出。详情参见:https://www.apihz.cn/api/timeget.html
4251 4
|
算法 程序员
如何提高编程能力?
其实很多人学编程都会遇到困难,我觉得其中一个根本原因是他们没搞明白学编程到底是学什么。   编程不是一种知识,而是一门手艺。   我们从小到大的学习都是学习知识,流程一般是课前看书预习,上课听讲,下课做作业,然后复习考试。
1659 0
|
3天前
|
云安全 人工智能 算法
以“AI对抗AI”,阿里云验证码进入2.0时代
三层立体防护,用大模型打赢人机攻防战
1305 3
|
3天前
|
机器学习/深度学习 安全 API
MAI-UI 开源:通用 GUI 智能体基座登顶 SOTA!
MAI-UI是通义实验室推出的全尺寸GUI智能体基座模型,原生集成用户交互、MCP工具调用与端云协同能力。支持跨App操作、模糊语义理解与主动提问澄清,通过大规模在线强化学习实现复杂任务自动化,在出行、办公等高频场景中表现卓越,已登顶ScreenSpot-Pro、MobileWorld等多项SOTA评测。
621 3
|
4天前
|
人工智能 Rust 运维
这个神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
加我进AI讨论学习群,公众号右下角“联系方式”文末有老金的 开源知识库地址·全免费
|
10天前
|
编解码 人工智能 自然语言处理
⚽阿里云百炼通义万相 2.6 视频生成玩法手册
通义万相Wan 2.6是全球首个支持角色扮演的AI视频生成模型,可基于参考视频形象与音色生成多角色合拍、多镜头叙事的15秒长视频,实现声画同步、智能分镜,适用于影视创作、营销展示等场景。
740 5