本文介绍如何使用函数计算 GPU 实例闲置模式低成本、快速的部署 Google Gemma 模型服务。
本期文章，我们会介绍一下AgentScope的一个设计哲学（Agent-oriented programming）
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
日志数据格式可能是多样且复杂的，iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持，在日志处理场景下，可以通过多级管道对数据进行交互式、递进式的探索和处理，从配置交互和性能上，都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中，欢迎大家体验和使用。
区别于传统的流水线工具，本实验将带你体验云效应用交付平台 AppStack，从应用视角，完成一个 AI 聊天应用的高效交付。
