开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI 是放在holo里面好还是放在redis里面好吗?

机器学习PAI i2c这种lookup feature交叉特征从线上性能的角度 是放在holo里面好还是放在redis里面好吗?

展开
收起
真的很搞笑 2023-11-05 16:36:30 74 0
3 条回答
写回答
取消 提交回答
  • 用fg在线交叉比较好,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2023-11-07 23:57:53
    赞同 展开评论 打赏
  • 特征交叉(Feature Crosses),也叫特征组合,是一种通过将两个或多个特征相乘来实现特征交叉(Feature Crosses),也叫特征组合,是一种通过将两个或多个特征相乘来实现对样本空间的非线性变换的方法,从而增强模型的非线性能力。机器学习PAI(Platform of Artificial Intelligence)是阿里云提供的一站式机器学习解决方案。

    对于在线性能的角度考虑,特征交叉结果的存储位置(holo或redis)会影响其访问速度和效率。Holo是阿里内部的一种高性能KV存储系统,而Redis是一个开源的内存数据结构存储系统,支持多种数据结构。

    1. Holo:如果您的应用需要频繁读取和更新特征交叉结果,那么将其存储在Holo中可能是一个更好的选择。Holo提供了高性能的读写操作,特别是在大规模数据集的情况下。此外,Holo的内部优化和高效的数据结构可能进一步提高查询性能。

    2. Redis:然而,如果您的应用主要进行读取操作,并且不需要经常更新特征交叉结果,那么Redis可能是一个更合适的选择。Redis支持复杂的数据结构,如列表、集合和散列,这使得它成为存储非结构化数据的理想选择。但是,与Holo相比,Redis在某些情况下可能需要更多的时间来执行写入操作。

    2023-11-06 10:45:00
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    机器学习PAI i2c中的lookup feature交叉特征主要用于提高模型的准确性和泛化能力。从线上性能的角度考虑,将lookup feature交叉特征放在Holo和Redis之间存在一些区别:
    Holo是一个分布式内存数据库,适合处理大量数据和复杂的查询,支持实时写入和读取,可以提供高吞吐量和低延迟。然而,Holo对内存要求较高,且不支持持久化存储,如果发生故障,数据可能会丢失。
    相反,Redis是一个键值存储系统,适用于存储小规模数据,并提供了高速的数据读写性能。它可以将数据持久化到磁盘,以防止数据丢失。然而,对于大规模数据和复杂查询的支持不如Holo强大。
    综合以上因素,建议根据您的业务场景和需求来决定使用哪种存储方式。如果您的数据规模较小并且主要关注实时性,可以选择Redis;如果您的数据规模较大并且需要支持复杂查询,可以选择Holo。此外,还可以结合两者的优势,例如将lookup feature交叉特征存储在Redis中,并使用Holo进行查询。

    2023-11-05 22:58:20
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    阿里巴巴机器学习平台AI 立即下载
    微博机器学习平台架构和实践 立即下载