本文整理自阿里云高级专家喻良，在 Flink Forward Asia 2023 主会场的分享。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本文将会揭秘Hologres JSONB半结构化数据的技术原理，实现JSON半结构数据的极致分析性能。
MaxCompute推出新语法 - PIVOT/UNPIVOT：通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求，简化了查询语句，提高了广大大数据开发者的生产力。
当代AI来势汹汹，本文从AI的特点、对研发的挑战、AI的应用工程和场景分化等剖析了AI时代的应用工程化架构演进之路。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
