开发者社区 问答 正文

能不能讲讲Pretraining-FLM?有没有什么可参考的文献?

能不能讲讲Pretraining-FLM?有没有什么可参考的文献?

展开
收起
三分钟热度的鱼 2024-04-21 22:40:25 48 分享 版权
1 条回答
写回答
取消 提交回答
  • Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)
    在这个论文中作者提出了一个统一的架构来利用大模型来进行推荐。文章提出来对目前主流的推荐场景(序列推荐、评分预测、可解释性推荐、评论总结等)多个任务都进行了统一,构造了一个模型P5。在预训练阶段,采用统一的一个模型结构,设计不同的prompt模版来进行个性化的推理,所有的任务做到很大程度的统一。预训练模型用了T5模型。通过自己场景的数据Pretraining之后,在各个数据集上的表现都还是不错的,不过在各个数据集合上的表现是不一样的。但是这个论文感觉还是蛮不错的,可以做到各个任务的统一,而且最终效果还是可圈可点的。image.png

    2024-04-21 23:21:50
    赞同 2 展开评论
问答地址: