开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

【百问百答】Flink数据源问题合集

1、Flink中如果数据源为kafka,每条数据格式为结构化的csv格式,把接收到的数据?

2、flink datastream api支不支持,把B数据源放到slot2,C数据源放?

3、为什么Flink中我的这个滑动窗口不支持变更流?数据源是canal-json

4、Flink中和各位大哥请教一下, 自定义redis数据源,定时扫描key,然后供下游使用, 请问下多并行度意义不大吧 ?

5、flink中jdbc insert es,为何数据源一条数据删除了,es里面的没有?

6、flink在提交任务后,在源端数据库会有一个进程 , 这个进程是在干嘛呢?

7、实时计算 Flink版ScanTableSource会扫描数据源所有行嘛?

8、flink 读取kafka 源的数据, 要对该数据进行过滤,过滤条件可以从外部的配置表中动态加载吗

9、实时计算 Flink版ScanTableSource会扫描数据源所有行嘛?

10、实时计算 Flink版hive能作为数据源source实时读取吗??

11、用flinksql同步数据,后续如果源表有删数据的操作,结果表不会删除怎么办?

12、实时计算Flink支持哪些数据源表

13、Flink无法读取源数据如何解决

14、实时计算Flink sls源表里面的数据没有时间字段如何设置watermark

15、FlinkSQL多数据源source时,最多只能source5个不同的吗。超过5个就source不到

16、flink 1.16.0没捕获到源mysql表数据的变化,请问又可能是什么原因呢?

17、Flink源表物理表数据删除有什么影响

18、flink任务,连接多个 kafka的 topic作为数据源,报类型转换异常。为什么?

19、请问flink sql-client.sh界面中写的源和目标sql是基于binglog捕获数据变更的吗

20、一个flink job里面可以放多个flink cdc数据源吗?能放的话怎么放啊

21、flink有大佬遇到过同步之后源和目标的数据记录对不上的情况,但是又没有报错的日志吗?

22、使用flink standalone模式同步数据的时候,源端数据量有300多w,sql脚本里面的select语句查不到数据,但是如果把select语句后加上limit 100w的话,就可读到了,这个原因是啥? 在读不到数据的时候,taskmanager的内存会慢慢的涨,一直到oom

23、同一个oracle cdc表,如果flink job重新提交,是会全量读取一遍源数据还是增量呢?

24、利用flink做定时调度(窗口在flinkSQL里,不能对kafka这种数据源进行聚合),这种做法合规嘛

25、flink table使用cdc读取mysql数据源报错 unknown error 1227. mysql用户也有replicarion slave 还有replication client权限,请问下这个问题还有可能是什么原因引起的呢?

26、linksql读取tidb全量数据的时候,没有读全,源有1000w+数据,只读了100w+,但是程序也没挂, 看日志,有这么一行,感觉是切分主键的时候乱码了, cdc源表是string类型的主键, , 这种表没读全的,一般是什么原因呢,

27、flink数据sum后结果超过源数据

28、flink流批一体有啥条件,数据源是从mysql批量分片读取,为啥设置成批量模式就不行

29、如何定位Flink无法读取源数据的问题?

30、flink中创建hologres的数据源表table1,参数cdcmode=true binlog=true ,那表table1中的数据是对应hologres中table1所有的数据还是当前binlog中的数据?

31、请问下flinksql 使用ddl创建kafka数据源,format.type格式支持哪些啊?允许自定义吗?

32、flink sql 空闲数据源场景如何配置?

33、在flink作业中从kafka数据源获取数据,没有获取到oldest数据怎么办?

34、flink如何读取redis数据并对数据源为kafka的数据进行校验呢?

35、flink能接入开源kafka作数据源吗?

36、flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢?

37、flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢?

38、flink用于风控场景下如何在线对接各种外部数据源而不用重新部署流处理?

39、FLink SQL读取source的时候去指定水位线的时间字段,如果指定的这个字段中格式不满足要求的格式,在不改变源数据格式的前提下,有什么办法可以清洗成想要的类型吗?

40、flink sql如何处理脏数据?

41、linksql 如何保证我的维度表是新的维度表呢?就是比如我的数据源是 hive, 每天处理一次,flinkstreaming join 的表 就是 T-1 的维度表,运行到第T+1 天怎么确保,我join 的维度表是 T 天的维度表

42、flink使用hive作为维表,kafka作为数据源,join时候报错怎么办?

43、flink-1.11 hive-1.2.1 ddl 无法写入数据

44、flink sql聚合后collect收集数据问题

45、Flink SQL 如何在流式数据上使用LAG和LEAD函数

46、flink sql 1.9 可以通过sql的方式 join 关联外部数据源吗?

47、Flink sql 支持在流式数据上使用LAG和LEAD函数吗

48、flink table使用cdc读取mysql数据源报错 unknown error 1227. mysql用户也有replicarion slave 还有replication client权限,请问下这个问题还有可能是什么原因引起的呢?

49、linksql读取tidb全量数据的时候,没有读全,源有1000w+数据,只读了100w+,但是程序也没挂, 看日志,有这么一行,感觉是切分主键的时候乱码了, cdc源表是string类型的主键, , 这种表没读全的,一般是什么原因呢,

50、flink数据sum后结果超过源数据

展开
收起
提个问题 2023-06-13 15:54:47 112 0
1 条回答
写回答
取消 提交回答
  • CSDN全站铁粉总数Top1、粉丝总数前5,深受30万粉丝喜爱的技术博主。专注前沿技术、行业资讯、科技热点、产品测评、工具推广,多个平台专家博主,交流合作私信+

    在Flink中,可以使用Kafka作为数据源,同时可以使用Flink提供的CSV解析器将接收到的结构化CSV数据转换为Flink中的数据格式,例如:

    DataStream<String> kafkaStream = env.addSource(new FlinkKafkaConsumer<>("topic", new SimpleStringSchema(), properties));
    
    DataStream<Row> dataStream = kafkaStream
        .map(new MapFunction<String, Row>() {
            @Override
            public Row map(String value) throws Exception {
                String[] fields = value.split(",");
                return Row.of(fields[0], fields[1], Integer.parseInt(fields[2]));
            }
        })
        .returns(Types.ROW(Types.STRING, Types.STRING, Types.INT));
    

    这段代码中,首先使用FlinkKafkaConsumer从Kafka中读取数据,然后使用map函数将每条数据转换为Flink中的Row类型数据,最后使用returns方法指定Row中每个字段的数据类型。在这个例子中,假设CSV格式为"string,string,int",则Row中的第一个字段和第二个字段为字符串类型,第三个字段为整型。

    2023-06-15 17:58:46
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载