开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

载入gpt3进行生成如何设置参数

在载入gpt3 进行model generate的时候,得如何才能设置top_k, top_p, temperature这些参数?

展开
收起
felixcxr-23333 2023-03-02 09:34:46 1022 0
1 条回答
写回答
取消 提交回答
  • 生成参数目前可以通过设置 config.json 文件中的 top_k, top_p, temperature 等参数修改,下面是一个例子: { "attention_probs_dropout_prob": 0.1, "hidden_act": "gelu", "hidden_dropout_prob": 0.1, "hidden_size": 1024, "initializer_range": 0.02, "intermediate_size": 1024, "max_position_embeddings": 2048, "num_attention_heads": 16, "num_hidden_layers": 24, "type_vocab_size": 2, "vocab_size": 25600, "attention_type": "self", "layernorm_epsilon": 1e-12, "eod_id": 3, "top_k": 20, # "top_p": 0.9 目前 top_k 和 top_p 不支持同时生效 "temperature": 1.0 }

    2023-03-08 11:26:54
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载

相关实验场景

更多