开发者社区> 问答> 正文

flinksql消费kafka写入doris中文乱码怎么办

我使用flinksql消费kafka并将数据写入doris,但出现中文乱码。

SQL如下:

CREATE TABLE datacollect_business_kafka ( id varchar(36), chain_id varchar(36), app_id varchar(32) , ... CHARACTER SET UTF-8 ) WITH ( 'connector' = 'kafka', 'topic' = 'datacollect_business_stage', 'properties.bootstrap.servers' = 'XXX', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' );

CREATE TABLE datacollect_business_doris ( id varchar(36), chain_id varchar(36), app_id varchar(32) , ... CHARACTER SET UTF-8 ) WITH ( 'connector' = 'doris', 'fenodes' = 'XXX', 'table.identifier' = 'stage_datacollect.datacollect_business', 'username' = 'XXX', 'password' = 'XXX', 'sink.batch.size' = '1' );

insert into datacollect_business_doris select * from datacollect_business_kafka;

在网上查找信息,flink-conf.yaml文件中添加:env.java.opts: "-Dfile.encoding=UTF-8”

flink版本:1.12.4 部署模式:on yarn*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-02 11:41:38 2009 0
1 条回答
写回答
取消 提交回答
  • 你可以先用 print 的 connector 把消费到的数据打印一下看是否乱码? 还是写入到 doris 后出现的乱码?

    *来自志愿者整理的FLINK邮件归档

    2021-12-02 11:56:46
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载