Kubernetes

首页 标签 Kubernetes
# Kubernetes #
关注
19035内容
133_云端扩展:Kubernetes scaling - 设置自动缩放的阈值与LLM部署最佳实践
在大语言模型(LLM)部署的时代,如何高效地管理计算资源、应对动态负载并优化成本,成为了每个AI工程师必须面对的挑战。随着LLM应用的普及,用户请求模式变得日益复杂且难以预测,传统的静态资源配置方式已无法满足需求。Kubernetes作为云原生时代的容器编排平台,其强大的自动扩展能力为LLM部署提供了理想的解决方案。
77_自动化脚本:Makefile与Airflow
在当今AI大模型时代,高效的工作流管理对于模型训练、推理和部署至关重要。随着大模型规模的不断增长和复杂度的提升,传统的手动脚本管理方式已无法满足需求。自动化脚本和工作流调度系统成为构建健壮、可重复、可扩展的LLM Pipeline的关键工具。其中,Makefile作为经典的自动化构建工具,与Airflow作为现代工作流调度平台的结合,为LLM开发团队提供了强大的工作流管理能力。
|
2月前
|
Kubernetes提示:解决资源大小超限问题的 --server-side参数使用
总结而言 , 利用 '-- server- side ' 参数进行服务端 应 甚至 解 决 超出 请求 大小 的 挑战 , 同时也带来了 更高效率 和 更精细 控 制 。 不过 , 这种方法也需要开发人员 对 其 工作 原 理 具 备 清晰 计划 并 根据 实际 场景 妥善 应 。
|
2月前
|
还没搞懂Docker? Docker容器技术实战指南 ! 从入门到企业级应用 !
蒋星熠Jaxonic,技术探索者,以代码为笔,在二进制星河中书写极客诗篇。专注Docker与容器化实践,分享从入门到企业级应用的深度经验,助力开发者乘风破浪,驶向云原生新世界。
|
2月前
|
云计算与云原生技术探索
🌟蒋星熠Jaxonic,云原生探索者!以代码为舟,遨游技术星河。专注容器化、微服务、K8s与DevOps,践行GitOps理念,拥抱多云未来。用架构编织星辰,让创新照亮极客征途!
深入 Kubernetes:从零到生产的工程实践与原理洞察
🌟蒋星熠Jaxonic带你深入Kubernetes核心:从控制回路到生产落地,详解部署、弹性、安全与可观测性。用代码绘制云原生星图,让每次发布如深空机动般精准可控。🚀
|
3月前
|
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
|
3月前
|
Kubernetes Ingress与OpenShift Router的比较分析
总结起来,Kubernetes Ingres 和 OpenShfit Route 都能够有效地将入站连接导向内部服务。选择哪个取决于你所使用平台(标准k8s或者openshitf), 对高级网络路由需求复杂程度以及是否偏好某个产品深层次整合带来便利.
|
3月前
| |
来自: 倚天
K8s
Kubernetes,源自Google的开源容器编排平台,被誉为数字时代的“隐形操作系统”。它以声明式API和控制器模式为核心,实现应用的自动化部署、扩缩容与自愈,支撑全球企业云原生转型。从微服务到AI、边缘计算,K8s正构建统一的分布式应用基石,重塑软件交付与运维范式,成为数字化世界的底层引擎。(238字)
单机扛不住,我把爬虫搬上了 Kubernetes:弹性伸缩与成本优化的实战
本文讲述了作者在大规模爬虫项目中遇到的挑战,包括任务堆积、高失败率和成本失控。通过将爬虫项目迁移到Kubernetes并使用HPA自动伸缩、代理池隔离和Redis队列,作者成功解决了这些问题,提高了性能,降低了成本,并实现了系统的弹性伸缩。最终,作者通过这次改造学到了性能、代理隔离和成本控制的重要性。
免费试用