这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
《Higress AI 网关挑战赛》正在火热进行中，Higress 社区邀请了目前位于排行榜 top5 的选手杨贝宁同学分享他的心得。本文是他整理的参赛攻略。
在今天这样以AIGC为代表的AI时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告，来看看AIGC对于存储有哪些具体的性能要求。
本文介绍了Higress，一个支持基于WebAssembly (WASM) 的边缘计算网关，它允许用户使用Go、C++或Rust编写插件来扩展其功能。文章特别讨论了如何利用Redis插件实现限流、缓存和会话管理等高级功能。
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
日志数据格式可能是多样且复杂的，iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持，在日志处理场景下，可以通过多级管道对数据进行交互式、递进式的探索和处理，从配置交互和性能上，都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中，欢迎大家体验和使用。
