vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
ROS CDK提供Asset类，将本地文件转化为云资源，通过ROS CDK部署时，自动上传到指定的OSS Bucket。ROS CDK简化了基础设施即代码的流程，通过TypeScript、JavaScript等编程语言代替JSON或YAML模板，提高了效率和安全性。在实际应用中，通过ROS CDK和OSS，可以将本地博客项目打包并部署到阿里云OSS，实现静态网站的云托管。整个过程包括初始化项目、配置凭证、打包博客内容、通过CDK将内容部署到OSS Bucket，以及配置静态网站托管和自定义域名。
本文主要围绕ES核心特性：分布式存储特性和分析检索能力，介绍了概念、原理与实践案例，希望让读者快速理解ES的核心特性与应用场景。
本文深入探讨当前最前沿的prompt engineering方案，结合OpenAI、Anthropic和Google等大模型公司的资料，以及开源社区中宝贵的prompt技巧分享，全面解析这一领域的实践策略。
小熊油耗在进行架构升级时，进行了广泛的市场调研，深入分析了国内多家云服务商。经过对比多种 IaaS 层云主机方案及 Serverless 产品的部署策略，他们最终选择了阿里云Serverless 应用引擎 SAE。小熊油耗认为，阿里云能给他们提供更强的安全感，安全感来自于阿里云是一个更大的平台：历史最悠久，用户最多、产品最丰富、配套工具众多、技术支持体系成熟，阿里云 SAE，不仅在稳定性上表现卓越，在细粒度的成本控制和极致的弹性能力上表现也非常出色，而且免运维，完美契合了小熊油耗作为一家细分领域小而美的公司的需求。