类目筛选
2025-02-20
645
大模型推理服务全景图
推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。
645
2025-02-21
897
基于LLM打造沉浸式3D世界
阿里云数据可视化产品DataV团队一直在三维交互领域进行前沿探索，为了解决LLMs与3D结合的问题，近期在虚幻引擎内结合通义千问大模型家族打造了一套基于LLM的实时可交互3D世界方案，通过自然语言来与引擎内的3D世界进行交互。
897
2025-03-28
245
架构革新：揭示卓越性能与高可扩展的共赢秘诀
为了构建现代化的可观测数据采集器LoongCollector，iLogtail启动架构通用化升级，旨在提供高可靠、高可扩展和高性能的实时数据采集和计算服务。然而，通用化的过程总会伴随性能劣化，本文重点介绍LoongCollector的性能优化之路，并对通用化和高性能之间的平衡给出见解。
245
2023-09-15
120024
Hologres RoaringBitmap实践，千亿级画像数据秒级分析
本文将会分享Hologres RoaringBitmap 方案在画像分析的应用实践，实现更快更准的画像分析。
120,024
2024-05-15
1484
一文详解 Java 限流接口实现
本文介绍的实现方式属于应用级限制，应用级限流方式只是单应用内的请求限流，不能进行全局限流。要保证系统的抗压能力，限流是一个必不可少的环节，虽然可能会造成某些用户的请求被丢弃，但相比于突发流量造成的系统宕机来说，这些损失一般都在可以接受的范围之内。
1,484
2024-05-15
1138
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,138
2024-05-16
88535
通义千问 2.5 “客串” ChatGPT4，看这篇让你分清楚
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
88,535