【阅读原文】戳:阿里云2024 KCD雅加达之旅精彩回顾
2024年11月30日,Kubernetes Community Day(KCD)在印度尼西亚雅加达顺利开展。本场科技盛宴涵盖了Kubernetes生态的主题演讲与动手实践,吸引了来自各行各业的开发者与技术达人。阿里云作为本场活动的赞助商之一,在「分享知识、激发创意」的主旨下,与印尼蓬勃发展的科技生态体系链接,由4位来自阿里云的容器及可观测专家,分别为350余名与会者带来了1场主论坛演讲和3场分论坛技术分享。
接下来让我们一起回顾精彩演讲!
主论坛上,容器技术专家徐之浩分享了在Kubernetes上使用开源项目弹性扩展生成式AI应用的最佳实践。
随着生成式AI(Generative AI)新晋为当下网络的热词,其影响力逐步拓展到诸多行业,以Kubernetes作为管理GPU实例的编排平台已是企业及开发者的主流选择。然而,在Kubernetes上运行生成式AI应用仍面临诸多挑战,包括可扩展性、模型管理、用户体验和数据访问等问题。本次演讲分享了如何使用阿里云容器服务Kubernetes版ACK(以下简称ACK),和开源项目解决上述挑战。
使用ACK+Kubeflow/Arena,可支持数据科学家、机器学习工程师轻松管理所有AI训练和推理的工作负载;使用ACK+Kserve可实现生成式AI推理业务编排和扩展;使用ACK+MLflow模型仓库允许用户使用额外的元数据(如versions、alias、lineage等)来管理模型;而通过ACK+Fluid可以缩短Kubernetes环境访问云端数据的时间,并大幅缩短生成式AI应用的启动过程。
分论坛上,容器技术专家李博康分享了阿里云弹性RDMA网络产品力为用户所带来灵活且强大的网络加速功能。
eRDMA(Elastic Remote Direct Memory Access),是阿里云自研的云上弹性RDMA网络,其兼具传统RDMA网络高吞吐、低延迟的特性,同时支持秒级的大规模RDMA组网。随着eRDMA在阿里云服务器的广泛应用和普及,其高性能、普惠性以及与RDMA生态系统的良好兼容性已经受到了广大用户的一致好评。eRDMA提供的巨大优势,包含但不仅限于加速数据传输并降低延迟,这对于高性能应用和服务起到了至关重要的作用。而eRDMA Controller作为专为阿里云容器服务Kubernetes版(ACK)设计的一个组件,它负责在容器环境中管理eRDMA,实现Pod网络配置的eRDMA功能,其现已由阿里云开源。该组件简化了用户在ACK环境中调用eRDMA能力的过程,同时eRDMA Controller提供的简便管理和配置体验,可大幅提高用户在ACK集群中有效利用eRDMA,从而增强整体应用的性能和可扩展性。
随后,阿里云容器技术专家伍恒昱就容器安全问题展开技术分享。
随着云原生时代下容器技术的普及与广泛应用,容器安全已是行业内关注的焦点。基于阿里云容器服务ACK的安全管理能力,阿里云构建了一个综合的OCI制品签名验证解决方案,该方案结合了Gatekeeper策略控制器、Ratify组件以及Notation-AlibabaCloud-Secret-Manager插件,以确保容器应用镜像的完整性和安全性。
在该解决方案中,阿里云容器服务开源了Notation-AlibabaCloud-Secret-Manager插件,并将其与阿里云KMS(密钥管理服务)集成,以完成对容器镜像的签名。该方案还结合了Gatekeeper和Ratify实现了签名验证和准入控制的能力,使用户能够在部署工作负载时动态验证容器镜像的完整性并进行实时准入控制,从而提升用户软件供应链安全水位。
阿里云可观测高级产品专家曹剑围绕容器可观测能力,在分论坛上对阿里云可观测链路OpenTelemetry版作出能力分享。
在Kubernetes的传统监控方式存中,仅拥有对于已知问题的报警能力已无法满足日益壮大的生产需求。而从传统监控面向全面可观测性的转变,离不开一个高成熟度的模型:OpenTelemetry。该模型不仅拥有传统监控中的系统健康追踪能力,还能凭借AI的敏锐洞察力,在问题造成大范围影响之前做出准确预测并迅速处理,帮助开发者更好地理解复杂系统的行为,快速定位和解决问题。
为应对在管理复杂Kubernetes集群过程中所面临的诸多挑战,阿里云提出了统一数据摄取、处理和存储的方法,即利用OpenTelemetry标准,并结合现有的工具Jaeger、Prometheus(如利用Jaeger进行追踪,使用Prometheus进行度量集成),共同构成了现代云原生应用的可观测性能力。这一战略的根基是部署一个智能的可观测性代理,它不仅能收集遥测数据,同时还能应用AI算法进行异常检测、根本原因分析和采取自动补救措施。由Qwen提供支持的语义搜索能力,进一步赋予开发人员和运维人员轻松查询和解释庞大数据集的能力,这标志着我们向完全自动化的云操作迈出了重要一步。
精彩瞬间
我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。
获取关于我们的更多信息~