2024-05-15
101252

大语言模型推理提速,TensorRT-LLM 高性能推理实践

大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

101,252
2024-05-15
128175

重磅解读阿里云云网络领域关键技术创新

2023年10月31日,杭州·云栖大会,阿里云技术主论坛带来了一场关于阿里云主力产品与技术创新的深度解读,阿里云网络产品线负责人祝顺民带来《云智创新,网络随行》的主题发言,针对阿里云飞天洛神云网络(下文简称洛神网络)领域产品服务创新以及背后的技术积累进行了深度解读,不少背后的创新技术系首次重磅披露。

128,175
2024-08-27
106

面向AI场景的数据处理和数据检索

本文分享了AI场景下面临的数据处理与检索挑战及解决方案。AI内容生产涉及数据准备、模型训练、推理及应用四大环节,其中数据准备环节面临数据来源复杂、格式多样及数据量激增的挑战,模型训练环节需解决推理准确性问题,AI应用环节则需克服接口兼容性难题。 为应对这些挑战,阿里云存储OSS与智能媒体管理IMM提供百余种数据处理能力,并升级数据索引功能支持向量检索,助力构建多模态检索应用。此外,还介绍了Serverless数据处理方案,可日均处理百亿级别文件,通过OSS数据索引能力,客户能快速构建RAG检索增强,同时实现多模态检索的搭建,显著提升AI应用的效能和用户体验。

106
2024-07-11
90

使用资源编排 ROS 轻松部署高可用架构网站——以 WordPress 为例

WordPress 是流行的开源 CMS,阿里云的资源编排服务 (ROS) 提供 IaC 功能,简化云上资源自动化部署,如创建 VPC、ECS、SLB、RDS 和弹性伸缩等。通过 ROS 模板(JSON/YAML),用户能快速部署高可用的 WordPress 环境,包括负载均衡、多可用区的 ECS 服务器集群、高可用 RDS 数据库等。模板定义了资源、参数和输出,用户在 ROS 控制台配置参数后一键部署。ROS 提升了部署效率,便于跨地域复制相同架构。

2024-07-18
7598

流量回放新形态:基于网关 Access Log 发起

流量回放技术在性能测试和故障排除中至关重要。传统工具如 GoReplay、Tcpreplay 等存在高权限、配置复杂、登录态失效等痛点。PTS 推出基于 Access Log 的流量回放功能,自动生成压测场景,解决传统工具痛点,操作简单,一起来了解下吧~

7,598
2024-08-13
223

跟着 iLogtail 学习高质量软件建设

复杂的运行环境、巨大的部署量和高速发展业务迭代对 Agent 的软件工程质量带来了巨大挑战。基于阿里云可观测团队多年的开发和运维经验,本文将分享如何构建和执行可靠性工程策略。

223
2024-09-10
30

ROS CDK魔法书:建立你的游戏王国(JavaScript篇)

本文介绍了如何利用阿里云资源编排服务(ROS)的云开发套件(CDK)将2048小游戏部署到云端。ROS CDK允许开发者使用编程语言定义和管理云资源,简化部署流程。通过部署示例,展示了从环境准备、依赖安装到资源栈的创建与删除全过程。借助ECS等云服务,实现游戏快速上线,使更多玩家享受游戏乐趣。

2024-09-11
23

ROS CDK魔法书:建立你的游戏王国(Python篇)

在虚拟游戏世界中,阿里云ROS CDK让游戏部署变得简单高效。ROS CDK是一个强大的开发框架,通过IaC方式简化云资源管理,帮助游戏开发者轻松创建、配置和部署云资源。本文将指导您使用ROS CDK将2048小游戏快速部署到云端,涵盖环境准备、依赖安装、资源栈创建及部署等步骤,让您体验从本地到云端的无缝迁移。通过简单的代码配置,即可实现游戏的云端部署,享受流畅的游戏体验。

2024-05-15
175579

阿里云 Serverless 异步任务处理系统在数据分析领域的应用

本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。

175,579
1
2
3
4
...
23
到第
3/23