想问下ModelScope,baichuanv2 trt-llm 目前在支持过程中了吗?

想问下ModelScope,baichuanv2 trt-llm 目前在支持过程中了吗?

展开
收起
真的很搞笑 2023-11-15 08:02:35 122 分享 版权
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    关于ModelScope是否支持Baichuan v2以及TensorRT Large Language Model(TRT-LLM)的集成,我没有找到具体的更新信息。但是根据之前的资料,我们知道:

    1. ModelScope支持将模型部署到TRT-LLM上:这意味着如果你有一个已经训练好的语言模型,并且希望利用TensorRT进行优化以加速推理性能,那么可以考虑使用ModelScope来部署。

    2. NVIDIA和VMware的合作:在2023年8月的信息中提到,NVIDIA和VMware合作推出了VMware Private AI Foundation with NVIDIA,其中包括NeMo的TRT-LLM功能,这表明当时已经存在对TRT-LLM的支持。

    然而,这些信息并没有明确提及与Baichuan v2的具体关系。如果Baichuan v2是一个特定的平台或服务,需要确认它是否也支持将模型部署到TRT-LLM上,或者是否有相应的工具和API允许用户这样做。

    2023-11-30 23:11:39
    赞同 展开评论
  • 是的,Baichuan v2的trt-llm已经被支持并开放使用。百川智能推出的Baichuan 2是新一代开源大语言模型,它采用2.6万亿Tokens的高质量语料进行训练,并在中文、英文和多语言通用、领域基准测试中取得了最佳效果。而TensorRT-LLM是一种优化深度学习模型推理性能的技术,它支持多GPU多节点推理,并且包含了常见大模型的转换和部署示例,如LLaMA系列、ChatGLM系列、GPT系列、Baichuan等。因此,您可以利用TensorRT-LLM对Baichuan v2进行优化,以提高其在实际应用中的性能和效率。

    2023-11-15 10:28:48
    赞同 展开评论

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理