开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

String outputPath = "oss://<user-defined-oss-bucke

String outputPath = "oss:// / " StreamingFileSink sink = StreamingFileSink.forRowFormat( new Path(outputPath), new SimpleStringEncoder ("UTF-8") ).build(); outputStream.addSink(sink);

大佬,如果用flink的standlone的会话模式,把endpoint, accessKeyId, accessKeySecret,写入flink-conf.yaml中,lib中放入jindo-flink-sink-3.7.0.jar jindofs-sdk-3.7.0.jar,这2个jar包放在lib目录下可以吗? outputPath = "oss://dataengine-bigdata-dw/yb/car_id=" + mapFunction.vin +"/data.txt" outputpath可以这样写吗,第一次加载,是全部写完,才会在阿里oss上显示吗,求大佬,大哥帮助下,谢谢

展开
收起
游客3oewgrzrf6o5c 2022-08-01 10:19:21 827 0
1 条回答
写回答
取消 提交回答
    1. 这两个 jar 是需要放在 Flink lib 目录下的。conf 可以命令行提交的时候设置,也可以写在配置文件里,都是 OK 的。

    2. Flink 写文件有多种 API,文档示例里提供的是 streaming file sink API,output path 需要是一个目录,此时文件会在这个目录下滚动生成。如果希望写单个文件,最好是使用其他的 API。对于写 OSS 而言,因为 OSS 是对象存储,如果是写单个文件,那么通常在作业结束后才会在 OSS 上显示出来。(此答案整理自JindoData 用户交流群)

    2022-08-01 10:32:34
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
Data Outsourcing in Cloud Comp 立即下载
Data WareHouse, Data Lakes Wha 立即下载
低代码开发师(初级)实战教程 立即下载