国外一些前沿模型(如 Google Gemini 1.5/2.0、OpenAI GPT-4o)已经支持视频输入,可以理解视频中的UI交互、动画效果等
这些模型能直接分析 mp4 视频,提取关键帧并描述交互逻辑
“关于我的能力规划:
我无法透露具体的产品路线图或未来功能计划
建议向 QoderCN 的产品团队反馈这个需求"
以及生成UI资源的能力,比如 UI图资等等。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
关于视频UI识别:目前 Qoder CN 官方暂未公布视频输入/视频UI理解功能的上线时间表。产品路线图确实不会对外披露,这条路走得通,但具体节奏得看内部排期。
不过别急,Qoder CN 在多模态这块其实已经铺了不少路:
图片多模态已上线,支持拖入UI截图、设计稿直接生成 HTML/CSS 代码,V2.0 还能识别 Figma 导出的 SVG/PNG 设计稿。
QoderWork 设计工作台支持"设计即代码",语音描述就能出可运行的 React 工程,内置140+风格参考。
阿里生态里已有视频生成模型 Wan3.0-Video 和视频检索 Pipeline,技术底座是有的。
关于UI资源生成:这块其实已经能用了。QoderWork 的设计工作台可以生成海报、Banner、封面图、完整页面设计,还能一键导出 React 工程。
建议:你可以在 Qoder CN 的反馈入口提这个需求,视频UI理解确实是前沿方向,Gemini 和 GPT-4o 已经验证了可行性,国内产品跟进只是时间问题。
Qoder CN 是阿里云推出的 AI 智能体产品系列,覆盖软件开发与日常办公多元场景,包含面向编码场景的 Qoder CN(含 IDE、JetBrains/VS Code 插件)、面向日常工作的 QoderWork CN(桌面应用)、Qoder CLI CN(终端原生形态)等子产品。系列基于国内主流大模型与国内部署,满足金融、政务等行业对数据安全与合规的高要求。 更多信息欢迎加入用户交流群(钉钉群号53770000738)