Flink有个大json文件，一个文件1，2g，请教下这种flink sql咋读出来？
Flink有个大json文件，一个文件1，2g，文件里面是一个json列表[]，里面每行是一条数据，[ ]中括号是单独两行，请教下这种flink sql咋读出来？
展开
收起
1
条回答
写回答
写回答
-
这种直接用json格式读都会报OOM吧，之前用spark sql遇到过相同场景一个文件2g，指定特殊分割符，按照txt格式读取，把数组中的json对象拆分成一行，然后在把一行行数据解析成json,此回答整理自钉群“【②群】Apache Flink China社区”
2024-04-09 09:48:55赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
flink1.15启动后无法访问webui的问题有人遇到过吗
9842
Flink CDC3.x版本依赖flink哪个版本？
67
Flink这个未授权访问漏洞有什么解决方案吗？
527
Flink CDC有遇见这个问题的吗？
505
Flink CDC里mysql同步到mysql的例子，在哪里有呢？
34
Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
439
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
1843
Flink CDC中我使用了自定义聚合函数，但是报错这个需要怎么解决呢？
377
Flink-CDC 文档网站地址是什么？
18207
Flink CDC中SQL server CDC这种报错有什么解决方式嘛？
469
展开全部
权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
22177
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
21533
阿里云实时计算产品案例&解决方案汇总
25252
Flink SQL 功能解密系列 —— 数据去重的技巧和思考
10579
日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
7664
【阿里内部应用】基于Blink为新商业调控打造实时大数据交互查询服务
6382
开篇 | 揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？
7023
基于 Flink 的实时数仓生产实践
5496
年度回顾 | 2019 年的 Apache Flink（文末有福利）
4205
如何分析及处理 Flink 反压？
14269
展开全部
相关电子书
更多
