vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
实例安装Ubuntu20.04系统，通过MobaXterm远程连接ECS，同时通过安装宝塔面板和部署LNMP环境，基于Docker搭建了halo博客应用。
背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍PolarDB 开源版 使用PostGIS 以及泰森多边形 解决 "零售、...
Nydus+Dragonfly 组合减少容器启动过程中镜像的拉取时间，提升集群间的镜像分发效率。
金融行业和运营商系统，业务除了在线联机查询外，同时有离线跑批处理，跑批场景比较注重吞吐量，同时基于数据库场景有一定的使用惯性，比如直连MySQL分库分表的存储节点做本地化跑批、以及基于Oracle/DB2等数据库做ETL的数据清洗跑批等。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
随着业务在金融、保险和商城领域的不断扩展，众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合，这不仅导致数据分析形成数据孤岛，还带来高昂的管理及维护成本。为解决该问题，众安保险引入 Apache Doris，替换了早期复杂的技术组合，不仅降低了系统的复杂性，打破了数据孤岛，更提升了数据处理的效率。
