AI 助理
备案控制台
开发者社区 ModelScope模型即服务 多模态 正文

是否可以拿到encoder的输出，修改decoder的输入

已解决

专家您好，我是否可以 1 拿到encoder的输出 2 修改decoder的输入

展开
收起
OFA视觉问答模型-英文-通用领域-huge
叫我饭啊啊 2023-02-24 09:41:26 651 分享 版权
1 条回答
写回答
取消 提交回答
  • 大口吃饭饭啊
    推荐回答

    可以的，参考源代码就能够拿到 encoder输出：https://github.com/modelscope/modelscope/blob/master/modelscope/models/multi_modal/ofa/modeling_ofa.py#L2100 decoder输入：https://github.com/modelscope/modelscope/blob/master/modelscope/models/multi_modal/ofa/modeling_ofa.py#L2120 都可以改

    2023-02-24 10:33:42
    赞同 展开评论
相关问答
多模态
OSS的endpoint如何查看
31230
3
0
this xml file does not appear to have any style in
37286
9
0
支付宝H5 下载的时候，提示 【请确保该下载文件来源安全,如需浏览,请长按网址复制后使用浏览器访问】
238301
10
0
有哪些值得收藏的五个种子搜索引擎&磁力搜索引擎？
98112
16
0
如果购买了域名，一定要备案才能用吗
39255
36
0
互联网信息服务增值电信业务经营许可证申请资料
6977
2
0
com/action/joingroup?code=v1是什么意思
209770
20
0
java的官网网址是什么
34378
23
0
什么是红帽认证？
3442
1
0
企业邮箱免费版
9930
4
0
ModelScope模型即服务

多模态

包含图像描述、文本生成图片、版面分析、多模态表征、视觉问答、文档理解等多个领域

我要提问

相关文章

  • 结合DeepSeek-R1强化学习方法的视觉模型！VLM-R1：输入描述就能精确定位图像目标
  • MME-CoT：多模态模型推理能力终极评测！六大领域细粒度评估，港中大等机构联合推出
  • PhotoDoodle：设计师必备！AI一键生成装饰元素，30+样本复刻风格+无缝融合的开源艺术编辑框架
  • 阿里开源AI视频生成大模型 Wan2.1：14B性能超越Sora、Luma等模型，一键生成复杂运动视频
  • Flame：开源AI设计图转代码模型！生成React组件，精准还原UI+动态交互效果

    • 热门讨论

    热门文章

  • 为什么用vllm部署qwen2-2b-vl，传输2张照片却，只回答一张照片的问题？
  • 请问Qwen-VL怎么用自己的数据集微调
  • 图文匹配：Clip模型介绍
  • 怎么修改model scope的默认存储位置
  • 在4卡4090（24G）服务器上利用modelscope离线部署Qwen2vl-Flux时报错
  • 请问HiTeA能否提供训练代码
  • !pip install open_clip_torch !pip install pytorch-
  • 请问如何根据自己的数据进行finetune呢？
  • 下载数据集报错：UnicodeDecodeError: 'utf-8' codec can't de
  • 关于qwen2-vl微调最佳实践
    • 展开全部
  • WeaveFox：蚂蚁集团推出 AI 前端智能研发平台，能够根据设计图直接生成源代码，支持多种客户端和技术栈
  • Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
  • MNN-LLM App：在手机上离线运行大模型，阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
  • AnythingLLM：34K Star！一键上传文件轻松打造个人知识库，构建只属于你的AI助手，附详细部署教程
  • AstrBot：轻松将大模型接入QQ、微信等消息平台，打造多功能AI聊天机器人的开发框架，附详细教程
  • 阿里开源AI视频生成大模型 Wan2.1：14B性能超越Sora、Luma等模型，一键生成复杂运动视频
  • Janus-Pro：DeepSeek 开源的多模态模型，支持图像理解和生成
  • AgentScope：阿里开源多智能体低代码开发平台，支持一键导出源码、多种模型API和本地模型部署
  • Browser Use：开源 AI 浏览器助手，自动完成网页交互任务，支持多标签页管理、视觉识别和内容提取等功能
  • Omnitool：开发者桌面革命！开源神器一键整合ChatGPT+Stable Diffusion等主流AI平台，本地运行不联网
    • 展开全部
    还有其他疑问?
    咨询AI助理