类目筛选
2024-05-15
1138
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,138
2024-05-16
88535
通义千问 2.5 “客串” ChatGPT4，看这篇让你分清楚
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
88,535
2024-05-29
55712
ICDE’24｜中国企业首获最佳论文，详解PolarDB Serverless如何在0.5秒内实现跨机迁移
PolarDB Serverless如何在0.5秒内实现跨机迁移？
55,712
2024-06-18
707
内附原文｜SIGMOD’24：百万核的智能调度，云数仓如何结合AI处理用户混合负载
论文提出的Flux通过使用AI技术将短时和长时查询解耦进行自动弹性，解决了云数据仓库的性能瓶颈，同时支持了资源按需预留。Flux优于传统的方法，查询响应时间 (RT) 最多可减少75%，资源利用率提高19.0%，成本开销降低77.8%。
707
2024-06-25
824
ROS CDK魔法书：点亮博客上云新技能（JavaScript篇）
ROS CDK提供Asset类，将本地文件转化为云资源，通过ROS CDK部署时，自动上传到指定的OSS Bucket。ROS CDK简化了基础设施即代码的流程，通过TypeScript、JavaScript等编程语言代替JSON或YAML模板，提高了效率和安全性。在实际应用中，通过ROS CDK和OSS，可以将本地博客项目打包并部署到阿里云OSS，实现静态网站的云托管。整个过程包括初始化项目、配置凭证、打包博客内容、通过CDK将内容部署到OSS Bucket，以及配置静态网站托管和自定义域名。
824
2024-09-04
547
用Prompt技巧激发无限创意
本文深入探讨当前最前沿的prompt engineering方案，结合OpenAI、Anthropic和Google等大模型公司的资料，以及开源社区中宝贵的prompt技巧分享，全面解析这一领域的实践策略。
547