写回答
-
推荐回答京东对容器化方案进行了升级，支持弹性资源模式。这是采用资源按需分配的方式，如上图所示。它需要用户在创建时指定好所需要管理节点 JobManager 的个数和规格，以及运行节点TaskManager的规格，而TaskManager的个数可以不指定。点击创建集群后，JRC平台会通过K8s客户端向K8s Master发出请求，创建JobManager的Deployment以及可选地预创建指定数量TaskManager Pod。
平台提交任务后，由 JobMaster 通过 JDResourceManager 向 JRC 平台发出申请资源的 rest 请求，然后平台向 K8s Master动态申请资源去创建运行askManager 的Pod。在运行过程中，如果发现某个TaskManager长时间 空闲，可以根据配置动态释放资源。这里通过平台与K8s交互进行资源的创建和销毁，主要是为了保证计算平台对资源的管控，同时避免了集群配置和逻辑变化对镜像的影响；通过支持用户配置TaskManager个数进行资源的预分配，可以做到与资源静态分配同样快速的任务提交速度；同时通过定制资源分配策略，可以做到兼容原有slot分散分布的均衡调度。在 Flink on K8s 的环境中，日志和监控指标是非常重要的，它可以辅助观察整个集群、容器、任务的运行情况， 根据日志和监控快速定位问题并及时处理。
日志采集采用京东的 Logbook 服务，它的基本机制是在每个 Node 上会运行一个 log agent，用于采集指定 路径的日志；然后 Jobmanager 或 Taskmanager 会按照指定规则输出日志到指定目录，之后日志就会被自动 采集到 Logbook 系统；最后可以通过计算平台进行实时日志和历史日志的检索和查询。
以上内容摘自《Apache Flink 案例集（2022版）》电子书，点击https://developer.aliyun.com/ebook/download/7718 可下载完整版
2022-08-31 13:04:28赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
