vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
前言树苗科技公司业务上云2年有余，随着技术的不断发展。运维团队支持业务变更配置、开资源、删资源等过程加班到深夜一两点已是家常便饭。为了进一步提升工作效率，运维总监张三决定对当前业务交付路径进行统一梳理，借助IaC的理念和Terraform自动化工具逐步实施运维生产自动化，改善组内成员频繁加班的现状。...
本文介绍了OLAP分析在大数据分析中的位置，分析并介绍目前大数据OLAP遇到的分析性能、资源隔离、高可用、弹性扩缩容等核心问题，解析阿里云Hologres是如何解决极致性能、弹性、业务永续、性价比等核心刚需的最佳实践，介绍阿里云Hologres弹性计算组在弹性计算、资源隔离上的探索和创新。
如何充分发挥 SQL 能力，是本篇文章的主题。本文尝试独辟蹊径，强调通过灵活的、发散性的数据处理思维，就可以用最基础的语法，解决复杂的数据场景。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
近日，元象发布其首个Moe大模型 XVERSE-MoE-A4.2B， 采用混合专家模型架构 （Mixture of Experts），激活参数4.2B，效果即可媲美13B模型。该模型全开源，无条件免费商用，支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用，推动低成本部署。
我已经是阿里云ECS产品的老用户了，阿里的云计算产品性能可靠性毋庸置疑，这次分享一个开源蜜罐系统Hfish的单节点搭建，并围绕ECS周边的技术功能做个简单举例。
Nydus+Dragonfly 组合减少容器启动过程中镜像的拉取时间，提升集群间的镜像分发效率。
