大佬们，请教个问题，spark 2.4对接的kafka消费者低级api是不是去除了？
大佬们，请教个问题，spark 2.4对接的kafka消费者低级api是不是去除了？
本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
Spark 2.4 版本并没有完全去除对接 Kafka 消费者的低级 API，但是从 Spark 2.3 开始，推荐使用高级数据源（Structured Streaming 或者 DataFrame/Dataset API）来处理 Kafka 数据，因为这些高级 API 提供了更丰富的功能和更好的性能。
对于低级 API，主要指的是使用 Direct Kafka Approach 之前的 Receiver-based Approach，这种模式在 Structured Streaming 引入后逐渐被视为过时。尽管如此，如果你依然需要使用低级API（比如原生的KafkaConsumer），你可以在Spark作业中直接引入Kafka客户端库并编写自定义的逻辑来消费和处理消息，但这已经不属于Spark直接提供的集成方式了。
总结来说，Spark 2.4及之后的版本更加鼓励使用Structured Streaming或DataFrame/Dataset API与Kafka集成，以获得更好的体验和性能，但并不意味着完全不能使用低级API，只是需要通过更手动的方式来实现。
