AI 助理
备案控制台
开发者社区 ModelScope模型即服务 多模态 正文

请问MNN支持在高通或者MTK平台上部署大模型吗？

我下载了MNN的源码工程，想验证一下从.safetensors转出来的.mnn模型，是否可以在高通平台上利用NPU推理框架，或者MTK平台上利用APU推理框架进行加速推理，但是我不知道有没有直接可以加载模型的demo，有的话要怎么配置或者使用才能利用APU推理，想请假一下大家

展开
收起
游客5wkefycldfcuc 2025-07-31 14:15:48 73 分享 版权
0 条回答
写回答
取消 提交回答
相关问答
千问Qwen3 32B大模型部署需要什么配置的GPU服务器？
515
1
0
阿里云百炼大模型平台怎么收费？
40
2
0
千问Qwen3 14B大模型部署最低配置GPU服务器要求？
562
1
0
Qwen3 32B,14B,8B大模型部署分别需要多少显存，GPU服务器如何选？
1287
1
0
千问大模型Qwen3-8B、4B、32B、235B、0.6B参数含义，需要什么配置的服务器部署？
343
1
0
阿里云百炼大模型平台，创建知识库，有上限数量限制么？
92
1
0
部署大模型Qwen3 32B,14B,8B参数的大模型部署分别需要多少显存？
1692
1
0
阿里云部署DeepSeek 70B大模型配置推荐？
137
1
0
怎么使用vllm部署最新的qwen3的mbedding 和reranker模型呢
706
0
0
ModelScope接口访问qwen-coder，报错409
70
0
0
ModelScope模型即服务

多模态

包含图像描述、文本生成图片、版面分析、多模态表征、视觉问答、文档理解等多个领域

我要提问

相关文章

  • JAX快速上手：从NumPy到GPU加速的Python高性能计算库入门教程
  • AMD Ryzen AI Max+ 395四机并联：大语言模型集群推理深度测试
  • AMD Ryzen AI Max+ 395四机并联：大语言模型集群推理深度测试
  • H4H：面向AR/VR应用的NPU-CIM异构系统混合卷积-Transformer架构搜索——论文阅读

    • 热门讨论

    热门文章

  • 普通轻薄本能跑哪些多模态大模型
  • 开源AI绘画工具Stable Diffusion代码分析论文介绍-好文转载
  • 怎么修改model scope的默认存储位置
  • 图文匹配：Clip模型介绍
  • 如何本地化（局域网内）部署Qwen的多模态大模型，用作推理 并自有程序调用
  • 【求助】关于使用Qwen2-7B-VL多模型模型识别图片某个元素的坐标的问题
  • docker和open-webui、ollama 部署本地的qwen2 14b 提供了API接口吗？
  • 3D-Speaker怎么使用自己的声纹音频文件进行训练，研究好久了，一直没有思路
  • 为什么用vllm部署qwen2-2b-vl，传输2张照片却，只回答一张照片的问题？
  • 该模型在在线环境使用下运行报错。
    • 展开全部
  • AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • GLM-4V-Flash：智谱 AI 免费开放的图像理解大模型 API 接口
  • Mobile-Agent：通过视觉感知实现自动化手机操作，支持多应用跨平台
  • Agno：18.7K Star！快速构建多模态智能体的轻量级框架，运行速度比LangGraph快5000倍！
  • AnythingLLM：34K Star！一键上传文件轻松打造个人知识库，构建只属于你的AI助手，附详细部署教程
  • 阿里开源AI视频生成大模型 Wan2.1：14B性能超越Sora、Luma等模型，一键生成复杂运动视频
  • AstrBot：轻松将大模型接入QQ、微信等消息平台，打造多功能AI聊天机器人的开发框架，附详细教程
  • MarkItDown：微软开源的多格式转Markdown工具，支持将PDF、Word、图像和音频等文件转换为Markdown格式
  • Midscene.js：AI 驱动的 UI 自动化测试框架，支持自然语言交互，生成可视化报告
    • 展开全部
    还有其他疑问?
    咨询AI助理