containerd 节点 GPU 镜像预热记录
本次在GPU节点复现推理环境时,首遇镜像拉取失败(ImagePullBackOff),Pod卡在ContainerCreating状态。通过`crictl pull`逐源验证并预热vLLM、CUDA、Prometheus及pause镜像,明确分离镜像问题与模型问题,提升排障效率。(239字)
可观测性工程 —— 日志、指标、追踪的三位一体
传统监控回答“系统是否工作”,可观测性更进一步回答“为什么不工作”。它通过三类数据(Telemetry)实现:日志(Logs)、指标(Metrics)、追踪(Traces)。三者互补,缺一不可。
智能驾驶感知环境容器镜像预检记录
本文介绍智能驾驶感知环境部署前的镜像预检实践:针对CUDA、ROS2、PyTorch、Prometheus、K8s等多源异构镜像,通过Docker Compose预拉取与验证,隔离环境问题与算法问题;并延伸至K8s节点预拉镜像,规避ImagePullBackOff故障,提升部署可靠性与复用性。(239字)
MCP 工具服务容器化前,我先做了镜像预检
本文分享MCP Agent部署避坑实践:聚焦镜像拉取环节,通过统一使用毫秒镜像源(如`ghcr.1ms.run`/`docker.1ms.run`等)预检多源镜像、修改compose配置、分步验证,有效规避`context deadline exceeded`等启动失败问题,提升环境复现成功率。(239字)
Python+AI实战:从零构建智能图像识别系统(三)
教程来源 https://yyvgt.cn/category/jiuwenhua.html 本文构建了完整的智能商品分类系统,涵盖数据处理、EfficientNet模型训练(支持AMP、EMA、早停)、ONNX/TensorRT优化、FastAPI部署、Celery异步任务、Prometheus监控、A/B测试及主动学习等全链路AI工程实践。
从零构建 Mini-vLLM:KV-Cache、动态批处理与分布式推理全流程
Mini-vLLM 是一个从零打造的高效推理引擎,直击 HuggingFace `.generate()` 的 O(N²) 注意力瓶颈。通过手动实现 KV 缓存、动态批处理、gRPC 通信、Prometheus/Grafana 可观测性、分布式多 worker 架构及 Docker 容器化,显著提升吞吐与延迟。纯 CPU 下达 1307+ req/s,目标是真正理解而非复用轮子。