Flink：如何在csv中实现没有实际列数的TypeInformation
我正在通过flink读取一个csv文件。csv文件具有特定数量的列。
我已经定义了
RowCsvInputFormat format = new RowCsvInputFormat(filePath,
new TypeInformation[]{
BasicTypeInfo.STRING_TYPE_INFO,
BasicTypeInfo.STRING_TYPE_INFO,
BasicTypeInfo.STRING_TYPE_INFO,
BasicTypeInfo.STRING_TYPE_INFO
});如果在文件中所有行都有适当的4列，则代码可以正常工作。
我想处理一个场景，当文件中的几行没有4列或几行中有任何其他问题。
我怎样才能在flink中实现这一目标。
展开
收起
1
条回答
写回答
写回答
-
flink小助手会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关flink的问题及回答。如果你看一下wikipedia或rfc4180上的规范，似乎CSV文件应该只包含具有相同列数的行。因此，RowCsvInputFormat不会想到这一点。
您可以使用readTextFile（path）读取文件，然后在flatMap()运算符中将字符串解析为Row对象（如果连续存在问题则忽略）
env.readTextFile(params.get("input"))
.flatMap(someCsvRowParseFunction())2019-07-17 23:18:38赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
