vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
服务框架就像铁路的铁轨一样，是互通的基础，只有解决了服务框架的互通，才有可能完成更高层的业务互通，所以用相同的标准统一，合二为一并共建新一代的服务框架是必然趋势。Dubbo3 是Dubbo2 与 HSF 融合而来，是阿里经济体面向内部业务、商业化、开源的唯一标准服务框架。
本文将会揭秘Hologres JSONB半结构化数据的技术原理，实现JSON半结构数据的极致分析性能。
本文主要介绍异步任务处理系统中的数据分析，函数计算异步任务最佳实践-Kafka ETL，函数计算异步任务最佳实践-音视频处理等。
多模态理解模型具有广泛的应用，比如多标签分类、视频问答（videoQA）和文本视频检索等。现有的方法已经在视频和语言理解方面取得了重大进展，然而，他们仍然面临两个巨大的挑战：无法充分的利用现有的特征；训练时巨大的GPU内存消耗。我们提出了MuLTI，这是一种高度准确高效的视频和语言理解模型，可以实现高效有效的特征融合和对下游任务的快速适应。本文详细介绍基于MuLTI实现高效视频与语言理解。
Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。
微服务架构下，有一些需求开发涉及到微服务调用链路上的多个微服务同时改动。通常每个微服务都会有灰度环境或分组来接受灰度流量。我们希望进入上游灰度环境的流量也能进入下游灰度的环境中，确保1个请求始终在灰度环境中传递。即使这个调用链路上有一些微服务应用不存在灰度环境，那么这些微服务应用在请求下游应用的时候依然能够回到下游应用的灰度环境中。我们通过 MSE 提供的全链路灰度能力，可以在不需要修改任何业务代码的情况下，轻松实现上述所说的全链路灰度能力。
在 2024 年春节前夕，修正电商事业部面临了前所未有的技术挑战，修正将参与春晚的全民健康好礼派发的活动，且在央视及各大平台进行广告投放，预计流量激增至 16 亿，系统需要承载保底 5 万 QPS，目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。
