内部干货 | 基于华为昇腾910B算力卡的大模型部署和调优-课程讲义
近日上海，TsingtaoAI为某央企智算中心交付华为昇腾910B算力卡的大模型部署和调优课程。课程深入讲解如何在昇腾NPU上高效地训练、调优和部署PyTorch与Transformer模型，并结合实际应用场景，探索如何优化和迁移模型至昇腾NPU平台。课程涵盖从模型预训练、微调、推理与评估，到性能对比、算子适配、模型调优等一系列关键技术，帮助学员深入理解昇腾NPU的优势及其与主流深度学习框架（如PyTorch、Deepspeed、MindSpore）的结合应用。
掌握Prompt写作技巧：写出完美Prompt的秘籍
这篇文章的核心宗旨就是教你如何写出优秀的Prompt。我们将从Prompt的定义、运行过程，以及优秀Prompt应具备的各个要素入手，逐步展开详细的解析和实用示例，让你在短时间内掌握写作高效Prompt的技巧和策略。
Kubernetes（K8s）与虚拟GPU（vGPU）协同：实现GPU资源的高效管理与利用
本文探讨了如何使用Kubernetes和虚拟GPU(vGPU)实现异构GPU的协同调度。Kubernetes是一个容器编排平台，通过设备插件、资源规格、调度器扩展和节点标签实现GPU资源管理。vGPU技术允许物理GPU资源在多个虚拟机或容器中共享。文章详细介绍了vGPU的部署配置步骤，并提出了GPU资源调度、负载均衡和监控调优的方法。强调虚拟GPU的性能取决于硬件和驱动支持，合理配置能提供高性能计算环境。参考文献包括Kubernetes和NVIDIA官方文档及相关研究论文。