2023年10月31日，杭州·云栖大会，阿里云技术主论坛带来了一场关于阿里云主力产品与技术创新的深度解读，阿里云网络产品线负责人祝顺民带来《云智创新，网络随行》的主题发言，针对阿里云飞天洛神云网络（下文简称洛神网络）领域产品服务创新以及背后的技术积累进行了深度解读，不少背后的创新技术系首次重磅披露。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
如何基于向量数据库+LLM（大语言模型），打造更懂你的企业专属Chatbot。
直播平台的数据库选型要考虑流量波动、数据规模和实时性需求，如使用Redis的Sorted Set处理实时排行榜，List处理用户关注列表，使用分布式数据库PolarDB-X处理核心业务数据，AnalyticDB进行大数据分析。通过这些技术和策略，直播平台能够应对复杂的业务需求和流量挑战。
本文介绍了AutoMQ基于Regional ESSD构建的十倍降本云原生，降低成本并提供无限容量，通过将存储层分离，使用ESSD作为WAL，OSS作为主存储，实现了成本降低和性能优化。此外，它利用弹性伸缩和抢占式实例，减少了70%的计算成本，并通过秒级分区迁移实现了高效弹性。而且，AutoMQ与Apache Kafka相比，能实现10倍成本优化和百倍弹性效率提升，且完全兼容Kafka API。
