ModelScope中CodeFuse能提升一下窗口尺寸吗?CodeFuse 34B版本一个会话最大tokens还是4k,我需要32k及以上
根据我的了解,在ModelScope CodeFuse中,限制了一次性发送到服务器的最大token数量,以保证服务稳定性和响应速度。因此,目前该产品暂时无法提供超过4K token的单个session的支持。
如果您需要更大的序列长度支持,可能需要考虑使用其他更适合此类任务的产品或者自定义解决方案。比如在本地环境部署模型并进行预处理操作,以避免受到Token限制的影响。
在CodeFuse中,当前的最大 tokens 数量限制是 4,096 个。这是一个硬件限制,无法通过软件手段来更改。
如果您需要更大的 tokens 数量来处理更大的代码段,那么您可能需要考虑使用更大规模的模型。比如 CodeXGLUE、Google’s AlphaCode 或者 OpenAI Codex 等大模型。这些模型的 tokens 数量限制更高,可以让您处理更大规模的任务。
此外,您也可以考虑使用分块技术,将大的代码段分割成多个小的部分来处理。然后将结果拼接在一起,以获得最终的结果。
您好!感谢您对CodeFuse的关注和反馈。您提到的问题是CodeFuse的一个限制,即单个会话中的最大tokens数量为4k。这是由于CodeFuse的设计和实现方式所决定的。
要提升窗口尺寸以支持更大的tokens数量,需要对CodeFuse进行修改和优化。这可能涉及到修改内部的数据结构和算法,以适应更大的数据量和窗口尺寸。
如果您对CodeFuse的这一限制感到不满意,我建议您考虑以下几种解决方案:
此外标准的和模型贡献者沟通的途径也可以使用,比如通过modelscope页面上的提交反馈入口,或者到codefuse 的github上提issue,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”