求教：动态字段的处理怎么做？
现状： 目前实时数仓的存储和对外数据服务使用hbase，列是不固定的。 举个例子，如果用户新增了一个指标并生成了数据，来源系统的数据总线(kafka)会把生成的数据发送过来（没有声明是新的指标）， hbase中需要增加一个指标名称的列并保存和更新相应数据。(实际场景比这个复杂一些) 之前是用python脚本（数据平台完全是python开发的）实现的，实现很简单，但是性能上有一些瓶颈。现在想切换到pyflink，不知道有没有好的方式。 python脚本优化过后（消费kafka->逻辑加工->写入hbase）大概3000条/秒，能勉强满足现有数据的峰值处理。但是数据一直在增长，可见的未来性能一定跟不上了。 请问有没有处理过类似问题的专家方便解答一下？*来自志愿者整理的flink邮件归档
写回答
-
由于你的DDL是变化的，无法提前预知所有字段，所以首先可以确定的是这个场景无法使用Flink SQL解决。
如果使用DataStream解决的话是可行的，唯一可能存在的问题就是目前社区没有提供DataStream的HBase sink。
如果你需要在DataStream中使用HBase sink的话，可能需要你自定义一个HBase sink或者基于社区的HBase SQL connector做一些更改。不过这些更改是需要在Java代码层面的。
至于其他的处理逻辑可以用pyFlink很方便的改写。*来自志愿者整理的flink邮件归档
2021-12-01 16:59:24赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
