大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
本文围绕阿里云CSI(Container Storage Interface)镜像构建的实际案例,探讨了一系列优化容器镜像的最佳实践。
NSDI‘24于4月16-18日在美国圣塔克拉拉市举办,阿里云飞天洛神云网络首次中稿NSDI,两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen,基于Tofino、FPGA和CPU的新型硬件形态,将公有云VPC设施部署到边缘机柜中,实现小型化、低成本和高性能。该方案使成本降低75%,空间占用减少87%,并提供1.2Tbps吞吐量,展示了强大的技术竞争力。
阿里云ROS CDK是资源编排服务的命令行工具,它允许开发者用编程语言(如TypeScript、JavaScript等)定义云资源,简化了JSON或YAML模板的使用。ROS CDK的Asset模块用于将本地文件上传到OSS(对象存储服务),实现了本地资源到云端的自动化迁移。在实践中,通过初始化工程、配置凭证、使用Asset模块创建资源描述,然后通过CDK部署到OSS,实现静态网站的云上托管。此外,ROS CDK支持版本控制、多团队协作和自动化部署,提高了基础设施管理的效率和一致性。
本文主要介绍了云原生安全的现状以及企业应用在云原生化转型中面临的主要安全挑战以及相对成熟的一部分安全体系方法论,深度解析企业云原生 DevSecOps 体系构建。