NSDI‘24于4月16-18日在美国圣塔克拉拉市举办，阿里云飞天洛神云网络首次中稿NSDI，两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen，基于Tofino、FPGA和CPU的新型硬件形态，将公有云VPC设施部署到边缘机柜中，实现小型化、低成本和高性能。该方案使成本降低75%，空间占用减少87%，并提供1.2Tbps吞吐量，展示了强大的技术竞争力。
本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
本文将会分享Hologres RoaringBitmap 方案在画像分析的应用实践，实现更快更准的画像分析。
通过使用阿里云百炼平台，您可以快速构建一个多代理（Multi-Agent）架构的智能导购助手。该助手能够通过多轮互动了解顾客的具体需求，收集详细信息后，利用阿里云百炼的知识检索增强功能或已有的商品数据库进行商品搜索，为顾客推荐最合适的产品。
得益于阿里云函数计算的产品能力，魔搭 SwingDeploy 后的模型推理 API 服务默认具备极致弹性伸缩（缩零能力）、GPU 虚拟化（最小 1GB 显存粒度）、异步调用能力、按用付费、闲置计费等能力，这些能力帮助算法工程师大大加快了魔搭开源模型投入生产的生命周期。
本文中，阿里云智能集团开发工程师李泽政以 Alinux 为操作环境，讲解模块相比传统头文件有哪些优势，并通过若干个例子，学习如何组织一个 C++ 模块工程并使用模块封装第三方库或是改造现有的项目。
在过去半年，ALB Ingress Controller推出了多项高级特性，包括支持AScript自定义脚本、慢启动、连接优雅中断等功能，增强了产品的灵活性和用户体验。此外，还推出了ingress2Albconfig工具，方便用户从Nginx Ingress迁移到ALB Ingress，以及通过Webhook服务实现更智能的配置校验，减少错误配置带来的影响。在容灾部署方面，支持了多集群网关，提高了系统的高可用性和容灾能力。这些改进旨在为用户提供更强大、更安全的云原生网关解决方案。
prompt工程不需要复杂的编程知识，人人都可以使用prompt工程成为AI大师。本文只探讨prompt工程，不涉及模型训练等内容。只讨论文本生成，不涉及图像等领域。
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。