类目筛选
2024-05-15
1139
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,139
2024-05-15
695
某海外视频网站AWS S3 搬迁至OSS解决方案
某网站主体位于AWS，经营视频直播/点播以及其他互联网衍生业务，面向广大的海外手机端客户。目前已经在使用阿里云的VOD SDK，并将主要视频数据存放于S3。现需要将业务从AWS S3迁移至阿里云OSS。
695
2024-05-15
508
企业SaaS应用加速网络场景最佳实践
企业分支通过SAG接入阿里云SDWAN网络，企业本地员工能够通过阿里云SDWAN应用加速线路实现加速访问SaaS服务，目前方案只支持office365、salesforce、ZOOM，后续会考虑加速逐步增加其他三方应用。
508
2024-05-16
88536
通义千问 2.5 “客串” ChatGPT4，看这篇让你分清楚
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
88,536
2024-06-18
708
内附原文｜SIGMOD’24：百万核的智能调度，云数仓如何结合AI处理用户混合负载
论文提出的Flux通过使用AI技术将短时和长时查询解耦进行自动弹性，解决了云数据仓库的性能瓶颈，同时支持了资源按需预留。Flux优于传统的方法，查询响应时间 (RT) 最多可减少75%，资源利用率提高19.0%，成本开销降低77.8%。
708
