阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 机器学习平台 PAI 推出特征平台(PAI-FeatureStore),在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。

推荐算法与系统在全球范围内已得到广泛应用,为用户提供了更个性化和智能化的产品推荐体验。在推荐系统领域,AI建模中特征数据的复用、一致性等问题严重影响了建模效率。阿里云机器学习平台 PAI 推出特征平台(PAI-FeatureStore)。在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。

1. 什么是特征平台

特征平台(Feature Store) 是一种中心化的数据管理和共享平台,用于组织、存储和管理机器学习和数据科学中使用的特征数据。在多个细分场景解决AI模型的训练和推理输入特征数据问题。

阿里云机器学习平台 PAI-FeatureStore 与阿里云多个云产品的深度结合,封装从特征到模型的全链路。并且,基于推荐算法流程的开发,实现与已有的成熟推荐流程无缝衔接,进一步提升算法工程师和开发人员的效率。

通过 PAI-FeatureStore,有效地提升工作效率、减少资源成本和开发时间。作为一个集中的、可扩展的、高效的特征数据存储和访问解决方案,解决了在AI建模中特征数据的复用、一致性、可发现性和可管理性等问题。PAI-FeatureStore 自动完成在线和离线表的构建,保证在线和离线的一致性,同时在特征表只存一份的情况下,能够向多人共享特征;离线存储方面支持阿里云云原生大数据计算服务MaxCompute,在线存储方面支持阿里云实时数仓Hologres、GraphCompute 和 TableStore 等产品,算法工程师无需深入了解各个存储产品的使用细节,通过网页手动操作或 Python SDK 即可完成特征处理。

111.png

112.png

image.png

2. PAI-FeatureStore 适用场景及优势功能

阿里云机器学习平台 PAI-FeatureStore 适用于推荐场景、用户增长、广告或者是金融风控场景等需要特征的AI建模场景,为数据分析师和建模人员提供统一的数据特征存储和管理平台,方便进行数据处理、特征提取和分析。

目前  PAI-FeatureStore 主要功能如下:

  • 离线数据和在线数据一致:PAI-FeatureStore 中,各个产品的数据同步操作都封装为一行数据同步的代码,帮忙用户屏蔽了不同存储产品繁琐的数据授权等操作细节,保证数据一致性,提高特征数据处理和使用的准确率和效率;
  • 自动关联特征表:PAI-FeatureStore 中,支持将模型训练所需要的各种特征组合在一起,导出成模型训练所需要的训练表。当训练所需的特征散落在多张不同的表里时,PAI-FeatureStore支持自动将多张表关联导出。并且,支持序列表导出、按event_time关联导出、自动按表大小排序及优化导出时间等;
  • 自动模型特征分析:PAI-FeatureStore 支持PAI-EAS自动分析出模型需要使用的特征,并且自动加载好相关特征。通过指定好PAI-FeatureStore 中的项目名、模型特征名等,预测引擎能自动分析出所需要的特征并进行加载,简化使用流程;
  • 实时特征秒级读取:PAI-FeatureStore 支持客户对特征进行分类的注册。在实时特征值存在秒级别变化的推荐场景中,对特征链路要求高,当有线上请求来读取特征时,PAI-FeatureStore会判断需要读取的若为实时特征,直接对在线存储的进行读取。上千个实时特征的读取可以在15ms,满足低延迟要求;
  • 多版本特征管理:PAI-FeatureStore 支持增量挖掘特征,解决特征种类复杂,线上数据来源多样的问题。方便线上模型迭代,同时节约存储资源;

此外,PAI-FeatureStore 还有深度结合PAI全链路推荐系统PAI-REC,实现离在线一致性检查;通过SDK可直接使用 PAI-FeatureStore 所有产品能力;支持 PAI-EAS 直接从 MaxCompute 拉取特征,减少在线存储压力等功能。

113.png

3. 如何使用 PAI-FeatureStore

使用步骤请参考产品文档

PAI-FeatureStore预计将于2023年9月中下旬在全Region正式上线。

目前PAI-FeatureStore仅供白名单申请使用,如果您希望使用 PAI-FeatureStore 功能,您在钉钉搜索群号“34415007523”或扫描下方二维码进入申请答疑群。

image.png

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
6天前
|
人工智能 数据可视化 JavaScript
NodeTool:AI 工作流可视化构建器,通过拖放节点设计复杂的工作流,集成 OpenAI 等多个平台
NodeTool 是一个开源的 AI 工作流可视化构建器,通过拖放节点的方式设计复杂的工作流,无需编码即可快速原型设计和测试。它支持本地 GPU 运行 AI 模型,并与 Hugging Face、OpenAI 等平台集成,提供模型访问能力。
56 14
NodeTool:AI 工作流可视化构建器,通过拖放节点设计复杂的工作流,集成 OpenAI 等多个平台
|
20天前
|
人工智能 自然语言处理 前端开发
Lobe Vidol:AI数字人交互平台,可与虚拟人和3D模型聊天互动
Lobe Vidol是一款开源的AI数字人交互平台,允许用户创建和互动自己的虚拟偶像。该平台提供流畅的对话体验、丰富的动作姿势库、优雅的用户界面设计以及多种技术支持,如文本到语音和语音到文本技术。Lobe Vidol适用于娱乐互动、在线教育、客户服务、品牌营销和社交媒体等多个应用场景。
79 7
Lobe Vidol:AI数字人交互平台,可与虚拟人和3D模型聊天互动
|
28天前
|
存储 人工智能 弹性计算
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理
阿里云弹性计算(ECS)提供强大的AI工作负载平台,支持灵活的资源配置与高性能计算,适用于AI训练与推理。通过合理优化资源分配、利用自动伸缩及高效数据管理,ECS能显著提升AI系统的性能与效率,降低运营成本,助力科研与企业用户在AI领域取得突破。
48 6
|
1月前
|
人工智能 供应链 安全
AI辅助安全测试案例某电商-供应链平台平台安全漏洞
【11月更文挑战第13天】该案例介绍了一家电商供应链平台如何利用AI技术进行全面的安全测试,包括网络、应用和数据安全层面,发现了多个潜在漏洞,并采取了有效的修复措施,提升了平台的整体安全性。
|
1月前
|
人工智能 Cloud Native 算法
|
1月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
76 3
|
4月前
|
机器学习/深度学习 人工智能 算法
探索AI的魔法:机器学习与深度学习的奥秘
【8月更文挑战第27天】在这篇文章中,我们将深入探讨人工智能的两个重要分支:机器学习和深度学习。我们将首先理解它们的基本概念,然后通过Python代码示例,展示如何应用这些技术解决实际问题。无论你是AI新手,还是有经验的开发者,这篇文章都将为你提供新的知识和启示。让我们一起开启这场AI的魔法之旅吧!
|
4月前
|
机器学习/深度学习 人工智能 算法
AI人工智能(ArtificialIntelligence,AI)、 机器学习(MachineLearning,ML)、 深度学习(DeepLearning,DL) 学习路径及推荐书籍
AI人工智能(ArtificialIntelligence,AI)、 机器学习(MachineLearning,ML)、 深度学习(DeepLearning,DL) 学习路径及推荐书籍
152 0
|
6月前
|
机器学习/深度学习 人工智能 算法
人工智能(AI)、机器学习(ML)和深度学习(DL)
人工智能(AI)、机器学习(ML)和深度学习(DL)
181 1
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的无限可能:从机器学习到深度学习
【5月更文挑战第31天】本文旨在深入探讨人工智能(AI)的核心技术,包括机器学习和深度学习。我们将通过实例和案例研究,揭示这些技术如何改变我们的生活和工作方式。此外,我们还将讨论AI的未来发展趋势,以及它可能带来的挑战和机遇。

相关产品

  • 人工智能平台 PAI