为什么要用TorchEasyRec processor?

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: TorchEasyRec处理器支持Intel和AMD的CPU服务器及GPU推理,兼容普通PyTorch模型。它具备TorchEasyRec的特征工程(FG)和模型推理功能,提供更快的推理性能,降低成本。通过Item Feature Cache特性,它能够缓存特征以减少网络传输,进一步提升特征工程与推理的速度。

参考:TorchEasyRec processor文档

支持intel、amd的cpu服务器,支持GPU推理
支持普通的pytorch模型
支持TorchEasyRec的

特征工程(FG)和模型推理,推理性能更快(更低成本)
Item Feature Cache:支持特征缓存,把特征缓存在打分服务中,降低网络传输,提高特征工程+推理的速度。
特征缓存:FeatureDB支持复杂类型。提高推理速度。

部署在PAI-EAS上,能够设置弹性扩缩容,一张GPU上可以切分多个实例,部署多个模型。
processor内部做了很多优化:INPUT_TILE优化(减少特征变换时间)

支持FAISS向量召回。

相关文章
|
机器学习/深度学习 分布式计算 DataWorks
EasyRec 使用介绍|学习笔记
快速学习 EasyRec 使用介绍。
2155 0
|
2月前
|
机器学习/深度学习 JSON 自然语言处理
PAI-Rec 特征工程全解析:统计特征、实时特征、序列特征与 FG 特征算子
PAI-Rec是阿里云智能推荐的特征工程解决方案,支持离线统计、实时及序列特征自动衍生,并通过Feature Generator(17种内置算子)保障离线/在线特征一致性,大幅降低开发与维护成本。
497 9
|
6月前
|
存储 缓存 搜索推荐
03_嵌入表分片与哈希管理:支撑万亿参数的关键技术
本文介绍支撑万亿参数推荐系统的核心技术:嵌入表分片与哈希管理。通过单/双层Hash模式实现稀疏ID高效映射,结合分桶策略均匀分配数据;采用Row-Wise、Table-Wise等分片机制,优化存储与计算负载,提升大规模模型训练效率。
03_嵌入表分片与哈希管理:支撑万亿参数的关键技术
|
2月前
|
机器学习/深度学习 搜索推荐 数据处理
PAI-Rec推荐开发平台:企业级智能推荐解决方案,驱动业务全域增长
PAI-Rec是阿里云一站式推荐系统平台,集成多路召回、多目标精排(如DBMTL)、GPU加速推理与灵活迭代能力,已助力电商、直播、音视频等多行业提升点击率、转化率与ROI,实现高效、低成本、可自主演进的智能推荐。
379 16
|
2月前
|
存储 搜索推荐 PyTorch
为什么使用 TorchRec 训练和推理更快
本文结合TorchEasyRec实践,从四大维度解析推荐系统加速:1)KeyedJaggedTensor统一变长特征,实现Embedding批量融合查找;2)自动分布式分片突破单卡显存瓶颈;3)TrainPipelineSparseDist流水线并行,重叠通信与计算;4)fbgemm-gpu融合优化器,减少显存访问。端到端提升训练效率与扩展性。
356 9
|
2月前
|
机器学习/深度学习 自然语言处理 iOS开发
Feature Generator(FG)特征算子配置指南
本文档全面介绍Feature Generator(FG)的各类特征算子配置方法,涵盖基础(ID/原始特征)、计算(表达式)、交叉(组合)、查找(Lookup/Match)、文本(重叠/BM25)、序列、预处理(分词/归一化)及字符串处理(正则替换/切片)等9大类算子,附详细配置示例与说明。
374 9
|
2月前
|
机器学习/深度学习 分布式计算 搜索推荐
PAI-Rec 召回引擎:构建高性能推荐系统的核心引擎
PAI-Rec是阿里云智能推荐平台的核心召回引擎,经阿里大规模场景验证。支持多路召回融合(U2I/I2I/向量/随机)、召回即过滤、毫秒级实时更新与分布式弹性架构,开箱即用,助力企业构建毫秒级、高精度、强实时的推荐系统。
339 9
|
2月前
|
API 开发工具 C++
TorchEasyRec为什么推荐用 OdpsDataset 而不是 OdpsDatasetV1来读数据?
OdpsDataset(默认)是阿里TorchEasyRec推荐的数据集实现,相比旧版OdpsDatasetV1,其性能更优(批量Arrow读取+LZ4压缩)、支持断点续训、分布式协调精准分片、兼容30+复杂类型;V1仅作旧PAI环境兼容保留。
147 6
|
6月前
|
存储 缓存 搜索推荐
昇腾RecSDK Torch整体方案介绍
RecSDK是基于昇腾平台的搜索推荐广告框架,支持Atlas系列硬件,兼容TensorFlow/PyTorch,提供高效模型训练。具备动态特征管理、多级缓存、算子优化、流水线并行等核心能力,实现计算与存储协同加速,助力大规模推荐系统高效开发与部署。(238字)
昇腾RecSDK Torch整体方案介绍