容器服务Kubernetes版

首页 标签 容器服务Kubernetes版
ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践
本文介绍了如何利用阿里云容器服务ACK推出的ACK Gateway with Inference Extension组件,在Kubernetes环境中为多机分布式部署的LLM推理服务提供智能路由和负载均衡能力。文章以部署和优化QwQ-32B模型为例,详细展示了从环境准备到性能测试的完整实践过程。
|
5月前
| |
来自: 云原生
Nacos-Controller 2.0:使用 Nacos 高效管理你的 K8s 配置
无论是使用 Nacos-Controller 实现配置的双向同步,还是直接在应用中接入 Nacos SDK 以获得更高级的配置管理特性,都能显著提升配置管理的灵活性、安全性和可维护性。使用 Nacos,您能够更好地管理和优化您的应用配置,从而提高系统的稳定性和可靠性。
|
5月前
|
Kubernetes一键安装部署K8S,附带Kubernetes Dashboard的使用
至此,你已经成功安装并配置了Kubernetes和Dashboard。你现在可以开始使用Kubernetes来部署和管理你的容器化应用程序了。
|
5月前
|
CentOS 7.8下使用kubeadm安装Kubernetes 1.26
这就是所有的前线报告,冒险家们,你们已经做好准备,开始在CentOS 7.8上通过Kubeadm安装Kubernetes 1.26的挑战了吗?走上这段旅程,让你的代码飞翔吧。
|
5月前
|
Kubernetes 1.28:StorageClass动态生成PV与SelfLink问题解决
总结起来,在Kubernetes 1.28版本下处理StorageClass动态生成PV与SelfLink问题主要包括两方面:首先要充分利用StorageClass进行灵活高效地管理存储卷;其次要适应SelfLink的移除,通过其他方式获取和管理资源对象信息。这两个方面的处理都是为了提高Kubernetes集群管理的效率和安全性,是每个Kubernetes管理员都需要掌握的重要知识。
AllData数据中台升级发布 | 支持K8S数据平台2.0版本
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
突破地域限制,实现算力无限供给 -- 阿里云ACK One注册集群开启多地域Serverless算力调度
传统单地域算力难以支撑AI推理场景的高并发实时响应、突发高流量的要求,阿里云容器服务ACK One注册集群推出多地域Serverless算力调度方案完美解决此问题。
|
5月前
|
在Rancher平台上部署K8S集群的方法
以上就是在Rancher平台上部署Kubernetes集群的方法,这个过程就像一次航行,惊险而又充满乐趣。希望这篇导航能够帮助您在容器化的海洋中畅行无阻!
免费试用