阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 机器学习平台 PAI 推出特征平台(PAI-FeatureStore),在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。

推荐算法与系统在全球范围内已得到广泛应用,为用户提供了更个性化和智能化的产品推荐体验。在推荐系统领域,AI建模中特征数据的复用、一致性等问题严重影响了建模效率。阿里云机器学习平台 PAI 推出特征平台(PAI-FeatureStore)。在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。

1. 什么是特征平台

特征平台(Feature Store) 是一种中心化的数据管理和共享平台,用于组织、存储和管理机器学习和数据科学中使用的特征数据。在多个细分场景解决AI模型的训练和推理输入特征数据问题。

阿里云机器学习平台 PAI-FeatureStore 与阿里云多个云产品的深度结合,封装从特征到模型的全链路。并且,基于推荐算法流程的开发,实现与已有的成熟推荐流程无缝衔接,进一步提升算法工程师和开发人员的效率。

通过 PAI-FeatureStore,有效地提升工作效率、减少资源成本和开发时间。作为一个集中的、可扩展的、高效的特征数据存储和访问解决方案,解决了在AI建模中特征数据的复用、一致性、可发现性和可管理性等问题。PAI-FeatureStore 自动完成在线和离线表的构建,保证在线和离线的一致性,同时在特征表只存一份的情况下,能够向多人共享特征;离线存储方面支持阿里云云原生大数据计算服务MaxCompute,在线存储方面支持阿里云实时数仓Hologres、GraphCompute 和 TableStore 等产品,算法工程师无需深入了解各个存储产品的使用细节,通过网页手动操作或 Python SDK 即可完成特征处理。

111.png

112.png

image.png

2. PAI-FeatureStore 适用场景及优势功能

阿里云机器学习平台 PAI-FeatureStore 适用于推荐场景、用户增长、广告或者是金融风控场景等需要特征的AI建模场景,为数据分析师和建模人员提供统一的数据特征存储和管理平台,方便进行数据处理、特征提取和分析。

目前  PAI-FeatureStore 主要功能如下:

  • 离线数据和在线数据一致:PAI-FeatureStore 中,各个产品的数据同步操作都封装为一行数据同步的代码,帮忙用户屏蔽了不同存储产品繁琐的数据授权等操作细节,保证数据一致性,提高特征数据处理和使用的准确率和效率;
  • 自动关联特征表:PAI-FeatureStore 中,支持将模型训练所需要的各种特征组合在一起,导出成模型训练所需要的训练表。当训练所需的特征散落在多张不同的表里时,PAI-FeatureStore支持自动将多张表关联导出。并且,支持序列表导出、按event_time关联导出、自动按表大小排序及优化导出时间等;
  • 自动模型特征分析:PAI-FeatureStore 支持PAI-EAS自动分析出模型需要使用的特征,并且自动加载好相关特征。通过指定好PAI-FeatureStore 中的项目名、模型特征名等,预测引擎能自动分析出所需要的特征并进行加载,简化使用流程;
  • 实时特征秒级读取:PAI-FeatureStore 支持客户对特征进行分类的注册。在实时特征值存在秒级别变化的推荐场景中,对特征链路要求高,当有线上请求来读取特征时,PAI-FeatureStore会判断需要读取的若为实时特征,直接对在线存储的进行读取。上千个实时特征的读取可以在15ms,满足低延迟要求;
  • 多版本特征管理:PAI-FeatureStore 支持增量挖掘特征,解决特征种类复杂,线上数据来源多样的问题。方便线上模型迭代,同时节约存储资源;

此外,PAI-FeatureStore 还有深度结合PAI全链路推荐系统PAI-REC,实现离在线一致性检查;通过SDK可直接使用 PAI-FeatureStore 所有产品能力;支持 PAI-EAS 直接从 MaxCompute 拉取特征,减少在线存储压力等功能。

113.png

3. 如何使用 PAI-FeatureStore

使用步骤请参考产品文档

PAI-FeatureStore预计将于2023年9月中下旬在全Region正式上线。

目前PAI-FeatureStore仅供白名单申请使用,如果您希望使用 PAI-FeatureStore 功能,您在钉钉搜索群号“34415007523”或扫描下方二维码进入申请答疑群。

image.png

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
488 43
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
迁移学习:让小数据也能驱动AI大模型
迁移学习:让小数据也能驱动AI大模型
191 99
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
166 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
2月前
|
人工智能 自然语言处理 安全
ChatBI,用AI自然语言与数据对话
在数字经济快速发展的2025年,企业数据量激增,市场对快速决策和深度分析提出更高要求。本方案介绍如何通过阿里云Quick BI工具,结合AI能力,帮助商业分析师高效应对数据洪流,实现智能化分析、快速决策,提升业务洞察力与决策效率。
ChatBI,用AI自然语言与数据对话
|
2月前
|
人工智能 自然语言处理 供应链
走进麦当劳·会数据同学:解锁AI在企业应用的深度价值
麦当劳中国进入“金拱门时代”,加速数字化转型,计划未来4年投入40亿元用于研发创新。携手阿里云与瓴羊,构建以客户为中心的数字系统,优化消费体验与门店运营,打造全球数字化标杆。
109 0
|
2月前
|
人工智能 自然语言处理 算法
AI与API结合:自动解析商品描述+情感分析评论数据
AI与API深度融合正在重塑电商运营模式。通过自动解析商品描述、分析评论情感,企业可实现信息标准化、用户画像精准化及运营决策自动化。本文从技术架构、核心算法、实战案例三方面,详解AI如何驱动电商智能化升级。
|
12天前
|
SQL 人工智能 搜索推荐
Dataphin功能Tips系列(71)X-数据管家:数据资产运营的「AI外挂」
在企业数据治理中,数据资产规模庞大、字段繁多,手动录入效率低且易出错。Dataphin推出「X-数据管家」,利用大模型智能生成标签、描述及字段类型等信息,支持一键批量上架,大幅提升资产运营效率。
|
1月前
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
1月前
|
存储 人工智能 分布式计算
从数据工程师到AI工程师,我的阿里云ODPS应用实践
阿里云DataWorks提供完善的智能计算与多模态数据处理能力,通过Object Table与MaxFrame实现非结构化数据高效治理,结合OSS与AI模型,助力电商、媒体等行业实现数据驱动的智能化升级。
|
2月前
|
存储 机器学习/深度学习 人工智能
还在为释放医疗数据潜能,驱动智慧医联体升级 ——AI赋能的病历全流程智能管理解决方案
AI赋能病历管理,破解录入低效、存储难、数据沉睡等痛点。实现病历数字化、结构化、智能化,降本增效,助力医院智慧升级。
83 0

热门文章

最新文章

相关产品

  • 人工智能平台 PAI