话说,请问大佬们,flink kafka sink 是不是不支持 auth 呀?使用 SASL/PLAIN 认证各种报错
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink Kafka Sink实际上是支持SASL/PLAIN以及其他多种认证方式的,以确保与配置了安全认证的Kafka集群能够正常交互。根据提供的参考资料,您可以通过在Flink作业的SQL WITH
参数中设置特定的配置项来实现SASL/PLAIN认证。这里有一个示例配置,展示了如何配置Flink作业连接到启用了SASL_PLAINTEXT安全协议和PLAIN机制的Kafka集群:
CREATE TABLE KafkaTable (
`user_id` BIGINT,
`item_id` BIGINT,
`behavior` STRING,
`ts` TIMESTAMP_LTZ(3) METADATA FROM 'timestamp'
) WITH (
'connector' = 'kafka',
...
'properties.security.protocol' = 'SASL_PLAINTEXT',
'properties.sasl.mechanism' = 'PLAIN',
'properties.sasl.jaas.config' = 'org.apache.flink.kafka.shaded.org.apache.kafka.common.security.plain.PlainLoginModule required username="username" password="password";'
)
请注意以下几点以避免认证时遇到问题:
properties.sasl.jaas.config
中的配置格式正确无误,包括用户名和密码的正确引用。SASL_PLAINTEXT
或SASL_SSL
)与Flink作业配置中的properties.security.protocol
值相匹配。usrlib
目录下,并正确引用它们的路径。如果您按照上述步骤操作后仍然遇到报错,请检查错误日志的具体内容,这有助于定位是配置错误、版本不兼容还是网络权限等问题。务必确保所有涉及安全认证的参数都已正确且完整地配置。您可以复制页面截图提供更多信息,我可以进一步帮您分析问题原因。