ModelScope请问最大输入长度4k指的是4kb大小吗？
ModelScope请问最大输入长度4k指的是4kb大小吗？ 怎么理解呢？比如codegeex2最大支持4k的输入是不是指的最大输入内容大小不能超过4kb？
展开
收起
1
条回答
写回答
写回答
-
"应该是token ，可以理解成大致是4k个汉字，但由于常用词合并等情况，转成汉字的字数后与4k有偏差。方便的话，您可以在这打断点看一下。
https://github.com/modelscope/swift/blob/main/swift/llm/sft.py#L168
参考swift下这个脚本调整一下 https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/baichuan2_7b_chat/lora_ddp_ds/sft.sh 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"2023-12-18 21:42:34赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
3531
ModelScope中，模型下载默认路径在哪个路径？
2678
我希望通过damo-YOLO训练1500*1500的图片
6966
服务器上onnxruntime-gpu 调用结束，如何释放显存
3230
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3172
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1660
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1254
请问modelscope中，有一个依赖，kantts，要怎么安装？
1350
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
947
ModelScope 使用14B模型推理时报这个错误？
864
展开全部
