云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下，尤其是Kubernetes和容器技术的发展，对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制，包括HPA和CronHPA，以及针对传统弹性扩展“滞后”问题提出的AHPA（高级弹性预测）。此外，文章重点介绍了Fluid项目，它通过分布式缓存优化了模型加载的I/O操作，显著缩短了推理服务的冷启动时间，特别是在处理大规模并发请求时表现出色。通过实际案例，展示了Fluid在vLLM和Qwen模型推理中的应用效果，证明了其在提高模型推理效率和响应速度方面的优势。
阿里云容器服务在AI智算场景的创新与实践
本文源自张凯在2024云栖大会的演讲，介绍了阿里云容器服务在AI智算领域的创新与实践。从2018年推出首个开源GPU容器共享调度方案至今，阿里云容器服务不断推进云原生AI的发展，包括增强GPU可观测性、实现多集群跨地域统一调度、优化大模型推理引擎部署、提供灵活的弹性伸缩策略等，旨在为客户提供高效、低成本的云原生AI解决方案。
