DataWorks有没有 datahub 的 flink sql connector ??
DataWorks中确实支持使用Flink SQL connector来读取和写入DataHub数据库,提供了双向通道以快速解决海量数据的计算问题。您可以在Flink SQL中使用CREATE TEMPORARY TABLE语句来定义一个datahub源表,示例如下:
CREATE TEMPORARY table datahub_source( name VARCHAR ) WITH ( 'connector'='datahub', 'endPoint'='<br>', 'project'='<yourProjectName>',
其中,'endPoint'是您的DataHub实例的终端节点,'project'是您的DataHub项目名称。
此外,阿里云实时计算Flink版也支持通过Flink SQL对上下游存储进行映射或使用Datastream API进行连接来实现读写。但需要注意的是,虽然DataHub作为Flink程序的输入输出消息队列在使用上成本较低,且在阿里云平台上表现良好,但因为DataHub属于阿里云的云产品,其周边生态可能并不完善,例如Flink Stream的Connector并没有开源出来。
DataWorks是一个提供各种数据开发和数据分析功能的大数据分析平台,而Flink是一个开源的大规模分布式处理框架。虽然DataWorks本身并未直接提供DataHub Flink SQL Connector的功能,但您可以自行使用Flink SQL API来进行对接,并在Flink中利用它的Sink Connector来发送数据到DataHub。
具体而言,您可以按照以下步骤完成:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。