阿里云支持与服务

分享阿里云全球技术服务部(GTS)团队最佳实践、经典案例与故障排查。

作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。

Flink对numeric1的小数部分以截断的方式取整,取整的位数由numeric2决定,需使用TRUNCATE函数,详情请参考官方文档

● 如果参数为 NULL,则结果也是 NULL。

● 如果 numeric2 为0或不填,则结果没有小数部分。numeric2 可为负数,此时对整数部分取整。

○ 例如 TRUNCATE(41.231, 2) 返回41.23;TRUNCATE(41.231) 返回41.0;TRUNCATE(41.231, -1) 返回40.0。

阿里云服务支持 评论 0

1

回答

阿里云服务支持 评论 0

1

回答

阿里云服务支持 评论 0

MQ开发可以参考RocketMQ DataStream Connector,相关的with参数设置可以参考sql的消息队列RocketMQ版源表

RocketMQ的连接配置信息,与对应SQL配置完全相同的。

阿里云服务支持 评论 0

1

回答

阿里云服务支持 评论 0

该报错的原因是作业处理的速度追不上binlog产生的速度,导致正在读的位点被清理了。 目前只能清理状态重启。

● 场景1: rds做了内部迁移操作,flink jar作业使用mysql cdc消费mysql数据。

报错原因:是作业处理的速度追不上mysql binlog 产生的速度,导致正在读的位点被清理了。

排查思路:

先确认rds的地址和binlog文件位点和迁移前是否一致:

(1)rds 地址不会变化

(2)如果节点有变化,binlog文件位点会变化。如果是从远程拉取的oss中的binlog,binlog是固定的。

解决方案:

(1)重新读取:flink cdc不会到oss上拉文件,是直链mysql服务器(无状态重启)。

(2)绕行方案:从只读库拉取数据。 

注意事项:

(1)从库读是支持的,从库延时比主库大点。注意RDS MySQL 5.6不支持,5.7之后的版本都支持,因为RDS MySQL 5.6 只读实例的binlog文件是简化过的,没有数据。

(2)主库风险也还好,flink cdc 只有读的权限,不会加锁和写的权限。如果rds配置了HA,即多主实例,用户同时开启了GTID,然后通过VIP/DNS下挂rds的几个多主实例地址,这样flink cdc /canal 这些同步工具通过访问 VIP/DNS 链接rds时才能实现不中断。

● 场景2:RDS有日志保留策略,最长18个小时,最大占用30%存储空间,两个条件谁先满足都会触发删除,如果写入特别多,超过30%的存储空间,可能binlog日志1小时就删除了。注意:rds页面上还有一个7天的binlog文件保存,这个是rds后台转存到oss上的,flink cdc目前是没有去转存后oss上去读取这些文件的。

● 场景3:volvo通过只读实例消费CDC数据,RDS的只读实例不保证binlog(本地只保留10s,上传oss),所以flink cdc侧不建议连接 RDS 的只读实例。只读实例一旦作业 Failover 10s 内恢复不过来,就会有这个异常只读实例判定,rr开头的就是只读实例rm开头的就是正常的实例。

阿里云服务支持 评论 0
阿里云服务支持 评论 0

0

回答

可以参考调优步骤:

第一步:优化SQL/datastream代码,详情请高性能Flink SQL优化技巧

第二步:优化上下游with参数,详情请DDL数据定义语句

第三步:优化作业参数,详情请点击高性能Flink SQL优化技巧

第四步:资源调优:

AutoPilot 自动调优

手动调优

阿里云服务支持 评论 0

1

回答

阿里云服务支持 2022-12-19 313浏览量 回答数 1
阿里云服务支持 评论 0

公告

凝聚阿里云多年服务经验,携手合作伙伴与业界专家,匠心打造云服务技术共享!

展开