vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
在本文中，作者探讨了ZooKeeper（ZK）的一个内存占用问题，特别是当有大量的Watcher和ZNode时，导致的内存消耗。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
日志数据格式可能是多样且复杂的，iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持，在日志处理场景下，可以通过多级管道对数据进行交互式、递进式的探索和处理，从配置交互和性能上，都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中，欢迎大家体验和使用。
在 2024 年春节前夕，修正电商事业部面临了前所未有的技术挑战，修正将参与春晚的全民健康好礼派发的活动，且在央视及各大平台进行广告投放，预计流量激增至 16 亿，系统需要承载保底 5 万 QPS，目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。
在阿里云平台上，您只需十分钟，无需任何编码，即可在企业微信上为您的组织集成一个具备大模型能力的AI助手。此助手可24小时响应用户咨询，解答各类问题，尤其擅长处理私域问题，从而成为您企业的专属助手，有效提升用户体验及业务竞争力。