vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本文将会分享Hologres RoaringBitmap 方案在画像分析的应用实践，实现更快更准的画像分析。
多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。
阿里云通义灵码团队与重庆大学合作的研究论文被 FSE Industry 2024 (CCF A) 录用，该论文通过对阿里云开发的智能编码插件进行实证调查，主要探讨了在智能编码助手中的代码搜索问题，点击本文查看论文详解。
本文将以Yuan2.0最新发布的Februa模型为例进行测试验证，用更小规模的模型达到更好的效果。
我借助通义灵码完成了 obdiag 项目的第一个 PR，成为了 obdiag 项目的 contributor，我知道通义灵码的能力还远没有发挥出来，今后继续探索，未来可期。