写入OSS-HDFS服务并不需要专门开通oss-hdfs服务,但是需要满足一些前提条件。首先,您已经开通并授权访问OSS-HDFS服务。其次,已自行下载并安装开源版本Flink,且版本不低于1.10.1。最后,如果使用实时计算Flink完成OSS-HDFS服务读写需求,那么必须已开通Flink全托管。
在满足这些条件后,您可以进行以下步骤来写入OSS-HDFS服务:通过配置OSS或者OSS-HDFS连接器的输入属性,实时计算Flink会自动从指定的路径读取数据,并将其作为实时计算Flink的输入流,然后将计算结果按照指定格式写入到OSS或者OSS-HDFS的指定路径。基于JindoFS,您可以在Flink作业中,将数据以流式的方式写入OSS中(路径需要以 oss:// 为前缀)。
不一定必须开通OSS-HDFS服务才能使用Flink将数据写入OSS。
Flink提供了阿里云OSS的连接器(Apache Flink Alibaba Cloud OSS Connector),可以直接将数据写入OSS。这个连接器并不依赖于OSS-HDFS服务。
但是,如果你希望在Flink中使用Hadoop FileSystem API来操作OSS,那么就需要开通OSS-HDFS服务。开通该服务后,OSS可以模拟HDFS的行为,使得现有的基于Hadoop的系统能够无缝地与OSS进行交互。
所以,是否需要开通OSS-HDFS服务取决于你的具体需求和使用场景。如果只是单纯地想用Flink将数据写入OSS,那么可以直接使用Flink的OSS连接器;如果还想利用Hadoop FileSystem API进行更复杂的操作,那么就需要开通OSS-HDFS服务。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。