邀您参与 | 阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
可观测链路 OpenTelemetry 版,每月50GB免费额度
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: 2020 年 7 月 15 日上午 10:00,《阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?》主题线上网络研讨会即将召开。

1.png

随着 Kubernetes 的广泛应用,越来越多的开发人员尝试使用 Kubernetes 运行和管理 Web 应用和微服务以外的工作负载。典型场景包括深度学习任务,高性能计算作业,基因计算工作流,甚至是传统的大数据处理任务。

围绕 Kubernetes 容器平台,统一管理各种异构算力资源,高效调度AI、大数据、高性能计算任务,已然成为云原生技术带来变革的领域之一。

阿里云容器服务团队结合多年 Kubernetes 产品与客户支持经验,基于 Kubernetes scheduling framework 对调度器进行了大量扩展和改进,使其在多种场景下依然能稳定、高效地调度复杂工作负载类型,为用户使用 Kubernetes 同时管理在线应用和离线任务提供了基础技术支撑。

2020 年 7 月 15 日上午 10:00,《阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?》主题线上网络研讨会即将召开。

2020 年 7 月 15 日网研会邀你参加

  • 题目:阿里巴巴如何扩展 K8s 调度器支持 AI 和大数据任务?
  • 时间:2020 年 7 月 15 日(10:00 AM)
  • 语言:中文

2.jpg

议题介绍

本次研讨会将介绍 Kubernetes Scheduling Framework 的发展现状,以及阿里云 Kubernetes 服务支持调度 AI、大数据等复杂工作负载和 GPU 等异构计算资源的实践经验。还将详细介绍如何实现 Coscheduling/Gang Scheduling、Capacity Scheduling 等任务级调度特性。

问题聚焦

  1. 了解 Kubernetes Scheduling Framework 当前进展与未来发展方向
  2. 了解阿里云扩展 Scheduling Framework 支持任务级调度的开发经验
  3. 尝试构建自己的 Scheduling Framework 插件

报名方式

点击即可报名

什么是 SIG Cloud-Provider-Alibaba?

Cloud Provider SIG 是 Kubernetes 的云厂商兴趣小组,致力于让 Kubernetes 的生态系统往厂商中立的方向演进,他会负责协调不同厂商尽可能以统一的标准来满足开发者的需求。阿里云作为国际有影响力的云厂商,作为国内首个加入 Cloud Provider SIG 的云厂商也在推动 Kubernetes 的进一步标准化,并进一步和横向云厂商如 AWS、Google、Azure 进行技术协同,优化云和 Kubernetes 连接,并统一不同组件的模块化和标准化协议。

前三期网研会回顾

如何参与共建?

Kubernetes 作为云原生时代的应用操作系统,已经成为事实上的标准。阿里云在 Kubernetes 实践的过程中开源了众多的项目,如位于底层的计算、存储、网络、安全等相关的 5 个大的类别和上层领域相关的 AI、应用管理、迁移、Serveless 等 5 个大的类别,为用户应用提供全栈式生命周期管理。

3.jpg

希望对 Kubernetes 感兴趣的开发者可以找到对应的开源项目。我们非常期待与大家一起来共建,无论是提 PR 或 Issue,还是对 Roadmap 提出建议。后续,SIG Cloug Provider Alibaba 也会针对具体的组件分享原理、最佳实践。

4.jpg

点击即可报名

CNCF网研会海报.jpg

阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的公众号。”

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
2月前
|
SQL 分布式计算 运维
如何对付一个耗时6h+的ODPS任务:慢节点优化实践
本文描述了大数据处理任务(特别是涉及大量JOIN操作的任务)中遇到的性能瓶颈问题及其优化过程。
|
21天前
|
人工智能 Kubernetes 监控
Kubernetes 故障诊断 AI 助手
【10月更文挑战第6天】
|
3月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何开发ODPS Spark任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
缓存 分布式计算 NoSQL
大数据-43 Redis 功能扩展 Lua 脚本 对Redis扩展 eval redis.call redis.pcall
大数据-43 Redis 功能扩展 Lua 脚本 对Redis扩展 eval redis.call redis.pcall
25 2
|
1月前
|
SQL 分布式计算 NoSQL
大数据-42 Redis 功能扩展 发布/订阅模式 事务相关的内容 Redis弱事务
大数据-42 Redis 功能扩展 发布/订阅模式 事务相关的内容 Redis弱事务
24 2
|
1月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
82 0
|
3月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
3月前
|
SQL 监控 大数据
"解锁实时大数据处理新境界:Google Dataflow——构建高效、可扩展的实时数据管道实践"
【8月更文挑战第10天】随着大数据时代的发展,企业急需高效处理数据以实现即时响应。Google Dataflow作为Google Cloud Platform的强大服务,提供了一个完全托管的流处理与批处理方案。它采用Apache Beam编程模型,支持自动扩展、高可用性,并能与GCP服务无缝集成。例如,电商平台可通过Dataflow实时分析用户行为日志:首先利用Pub/Sub收集数据;接着构建管道处理并分析这些日志;最后将结果输出至BigQuery。Dataflow因此成为构建实时数据处理系统的理想选择,助力企业快速响应业务需求。
188 6
|
3月前
|
人工智能 运维 Kubernetes
智能化运维:KoPylot为k8S带来AI监控诊断
智能化运维:KoPylot为k8S带来AI监控诊断
|
3月前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

相关产品

  • 容器服务Kubernetes版
  • 下一篇
    无影云桌面