开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

PAI featurestore-java-sdk ,已经支持实时特征和序列特征了吧?

PAI featurestore-java-sdk ,已经支持实时特征和序列特征了吧?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-09 07:34:28 70 0
6 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    PAI FeatureStore是PAI平台下的特征平台管理工具,主要用于存储和管理机器学习特征。它整合了阿里云上DataHub、Flink、Hologres、Graphcompute等产品,为客户提供一整套的特征管理功能,包括从DataHub接收用户行为日志、物品和用户实时更新的属性。

    对于实时特征,PAI-FeatureStore支持客户对特征进行分类的注册。在实时特征值存在秒级别变化的推荐场景中,对特征链路要求高,当有线上请求来读取特征时,PAI-FeatureStore会判断需要读取的若为实时特征,直接对在线存储的进行读取。上千个实时特征的读取可以在15ms,满足低延迟要求。

    至于序列特征,目前没有明确的信息表明PAI FeatureStore是否直接支持。但是,您可以使用FeatureStore提供的Python/Go/Cpp/Java SDK与您的自建推荐系统进行衔接。此外,您还可以在PAI控制台创建新的项目和特征实体,以便更好地管理和使用您的特征。

    2024-01-09 14:46:59
    赞同 1 展开评论 打赏
  • PAI Featurestore-Java-SDK 是一个用于访问PAI特征存储的Java客户端库。它提供了一组API,用于与PAI特征存储进行交互,包括读取、写入和更新特征数据。

    至于您提到的实时特征和序列特征,根据我的了解,PAI Featurestore-Java-SDK 确实支持这两种特征类型。实时特征通常用于捕获实时数据流,而序列特征则用于表示具有顺序关系的数据序列。

    要使用PAI Featurestore-Java-SDK 访问实时特征和序列特征,您需要使用相应的API来与特征存储进行交互。具体的使用方法可以参考官方文档或示例代码,以了解如何使用该SDK来读取、写入和更新实时特征和序列特征数据。

    请注意,我所提供的信息是基于我最后的知识更新日期之前的信息。自那时以来,PAI Featurestore-Java-SDK 的功能和用法可能已经有所变化。

    2024-01-09 10:55:35
    赞同 展开评论 打赏
  • 是的,可参考官方文档上的说明
    image.png
    image.png

    2024-01-09 09:53:45
    赞同 展开评论 打赏
  • PAI featurestore-java-sdk是一个用于处理和存储机器学习特征的平台,具体来说,它支持实时特征和序列特征的存储和管理。实时特征通常指的是在短时间内发生并可以被快速捕获和处理的特征,而序列特征则是指具有时间顺序或顺序关系的特征。

    在PAI featurestore-java-sdk中,这两种类型的特征都可以被有效地组织、存储和管理,以便于机器学习模型的训练和使用。通过使用该sdk,开发人员可以方便地创建、更新和查询特征数据,从而为各种机器学习应用提供稳定、高效和可扩展的特征服务。

    2024-01-09 09:30:04
    赞同 1 展开评论 打赏
  • PAI FeatureStore-java-sdk确实支持实时特征和序列特征。首先,FeatureStore是PAI平台下的特征平台管理工具,用于存储和管理机器学习特征。其次,PAI-FeatureStore具备实时特征秒级读取的能力,对于存在秒级别变化的推荐场景特别有利。当有线上请求来读取特征时,PAI-FeatureStore会判断需要读取的若为实时特征,直接对在线存储的进行读取,满足低延迟要求。此外,它也支持自动模型特征分析,简化使用流程。因此,无论是实时特征还是序列特征,都能在PAI FeatureStore中得到良好的支持和管理。

    2024-01-09 08:47:04
    赞同 展开评论 打赏
  • 管理离线和在线特征数据
    离线特征包括用户和物品的属性特征、统计特征;实时特征包括新用户或新物品上线,通过Flink直接写入到类似Hologres的在线存储中,也包括按照时间窗统计的特征(如1小时的点击、转发、购买数量、转化率等等)。其中线上存储包括Hologres、GraphCompute、TableStore等。

    共享新旧特征
    当算法或BI研发出一组新的用户特征/物品特征的时候,可以设计新的ModelFeature关联训练集需要的新旧特征,通过FeatureStore SDK导出样本供离线训练,也可以通过FeatureStore SDK发布到线上存储供线上服务使用。当多个模型引用同一个特征视图的时候,线上存储始终只有一份。管理特征对于算法工程价特征非常友好,在增加特征迭代优化模型的时候非常有用。

    管理实时统计特征和用户序列特征
    一般模型特征的复杂度、实时性都是逐步增加的,因此管理Flink实时计算得到的实时统计特征和用户行为序列特征非常必要。FeatureStore定义了离线用户序列特征,例如用户点击过的物品ID序列。只有物品ID序列也是不够的,在模型中常常使用到物品的属性特征(SideInfo),而SideInfo在线上通过网络传输数据量较大,而在EasyRec中通过FeatureStore SDK缓存物品特征,大大节约了推理响应时间、提高了推理性能。
    https://help.aliyun.com/zh/pai/user-guide/featurestore-overview?spm=a2c4g.11186623.0.i12

    2024-01-09 08:32:05
    赞同 展开评论 打赏
滑动查看更多

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载