Flink Forward Asia 2021 有奖问答专场汇总
阿里超大规模 Flink 集群运维体系介绍
王华|阿里云实时计算高级运维专家
Flink 引擎在快手的深度优化与生产实践
刘建刚|快手实时计算团队技术专家
大规模作业的稳定性优化实践
邱从贤|腾讯数据平台高级开发工程师,Apache Flink Committer
小米基于 Flink 的稳定性优化与实践
张蛟|小米大数据部高级软件工程师,Apache Flink Contributor
美团 Flink 大作业部署与状态稳定性优化实践
冯斐|美团数据平台计算引擎组工程师
王非凡|美团数据平台计算引擎工程师,Apache Flink Contributor
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
美团 Flink 大作业部署与状态稳定性优化实践
您好老师请教下:
1.首先请教下目前贵司 flink 部署到yarn 还是k8s 上的?
2.如果在yarn 上大作业taskmanager cpu和内存占比在机器上肯定会比较高,是如何做到资源隔离的,同一个节点上的contanier 不相互影响?
3.如果是在k8s pod 资源隔离的情况下,大作业有哪些可以优化的参数配置想借鉴一下.
4.对于大作业,肯定state的size也很大,面对超大size 是采用云存储还是hdfs? 面对上百G 的ck 以及上T 的state 有什么可以提高ck 的速度和比较好的实践吗?
评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。
评论
全部评论 (0)