flink on k8s 的application模式怎么从保存点重启的呀?
在Flink on Kubernetes中,可以通过以下步骤从保存点重新启动应用程序:
配置保存点:在应用程序代码中使用StateBackend将状态保存到指定的位置。例如,在使用RocksDBStateBackend时,可以设置state.backend.rocksdb.checkpoint-directory属性来指定保存点目录。
生成保存点:当应用程序正在运行时,可以使用Flink的REST API调用/jobs/:jobid/savepoints接口生成保存点。例如,可以使用以下命令向正在运行的Flink集群生成一个保存点:
curl -X POST http://:8081/jobs//savepoints 其中,是Flink REST API服务器的地址,是要生成保存点的应用程序的ID。
下载保存点:在生成保存点之后,可以使用同样的REST API调用下载保存点。例如,可以使用以下命令从Flink集群下载保存点:
curl -X GET http://:8081/savepoints/ -o 其中,是保存点的路径,是要保存到本地文件系统的文件路径。
启动应用程序:在下载保存点后,可以使用flink run命令启动应用程序,并使用-s参数指定保存点的路径。例如:
flink run -s file:///path/to/savepoint 其中,file:///path/to/savepoint是保存点的本地文件路径,是应用程序代码的JAR包路径。
需要注意的是,在使用Flink on Kubernetes时,还需要将Flink作业管理器和任务管理器部署到Kubernetes集群中,并使用Kubernetes Operator来配置和管理Flink作业。具体操作方式可以参考Flink官方文档和Kubernetes官方文档。
楼主你好,flink on k8s 的application模式很简单,你可以通过一条命令就可搞定:
./bin/flink run-application -p 2 -t kubernetes-application \
-Dkubernetes.cluster-id=app-cluster-demo \
-Dtaskmanager.memory.process.size=1024m \
-Dkubernetes.taskmanager.cpu=2 \
-Dtaskmanager.numberOfTaskSlots=2 \
-Dkubernetes.container.image=demo-flink-app:1.12.1 \
-pyfs /opt/python_codes \ -pym _word_count
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。