作者:小高同学
🌱评委点评:CamTrace 把'运镜'从依赖摄影师经验的手艺,变成了可解析、可复现的机械臂轨迹。团队用 Qoder 在 48 小时内跑完从路径解算到前后端部署的完整闭环,让不懂拍摄的人也能拥有一只稳定的'第三只手',轻松拍出专业级运镜。
一、一直摇摆的idea,到第二天晚上才真正确定。
去黑客松之前,我们队伍已有的三个人中有两个人很明确的想要做智能硬件,其他人没什么特别的想法......
我们黑客松报道的第一天,我们讨论过要结合机械狗做家居家装领域的3D扫描建模,到了现场看到有机械臂,机器人,机器狗,VR眼睛,戒指,开发板......丰富的清单令我们打开了一些脑洞,我们有人想到可以做“VR眼睛+戒指+机械臂”的约会恋爱军师,或者做“机械臂+塔罗牌”的科技玄学。
这个时候我们还不知道硬件能领到什么,没有硬件去想做什么智能项目是有些不切实际,且大家没有一个统一的、共同认可的想法。另外,硬件开发,我们顾虑技术实现上会不会特别有难度,对于一个完全没有调试过的设备拿到我们手上且需要做一个完整的项目,虽然我们有信心征服它,但是时间不一定支持我们。
我们第一天就这样先睡了,想不出来的,明天再想!
第二天上午,硬件实验室乱成一团,Adx硬件领用网站出故障,好在我们意外地领到了包括机械臂在内的几个硬件,我们又想到机械臂能够整理桌面,或者想拿什么的时候机械臂能够提前预判直接拿过来,但是这几个都不足以令人兴奋。
我们基于这几个想法一直摇摆,小高队长(我)灵机一动,一直想一个带爪子机械臂能够抓什么动起来,小高队长看桌上有玩偶,有电脑,有饮料,有水杯,还有手机,对,就是手机,小高队长是一个短视频“重度患者”,喜欢看一些雷霆运镜、抖舞运镜、团播运镜,还有小高队长也在想做自己的自媒体,这个点子让人无比的兴奋,说服了其他队友,终于就决定做这个了!
二、想法确定了,整个工程怎么实现?Qoder给了我们很多惊喜!
我们对机械臂的功能设定为,想要能够上传一段视频直接能够解析出来运镜轨迹,还能切换人物追踪模式。
这对于个人创作者来说就是你拍视频的第三只手,创意运镜不再需要需要沟通成本的摄影师。基于我们的技术路径,我们的项目名称叫——CamTrace,即Camera相机+Trace踪迹
这对软件层面的运镜路径解析算法、角度解算后映射到六轴机械臂上的算法、运算时间延时的降低的要求就很高,从确定具体做什么的时候,距离项目提交截止就只剩48h左右,时间紧任务重。
我们打开了Qoder,集中进行一波Vibe Coding,令我们惊喜的是,我们大概半天时间就几乎完成了前后端后端的搭建,这给了我们队伍十分大的信心和激励,小高队长觉得成功在望啊!
从前端页面与界面设计、仿真显示,到后端模型嵌入、后端服务器部署,我们大量使用了 Qoder 的 Agent 功能。在项目初期,面对一个全新的智能硬件项目,团队成员对开发流程缺乏完整认知,是 Qoder 的 Spec(规划) 能力帮我们理清了思路。每当我们提出一个模糊的想法,比如"机械臂如何跟随音乐节奏运镜"或"前端怎样实时预览机械臂轨迹",Qoder 会先帮我们拆解需求、梳理技术方案、生成结构化的实施计划,把"不知道从哪下手"的焦虑变成了清晰可执行的步骤清单。而在实际开发过程中,Goal(目标驱动) 能力则让我们只需描述清楚最终想要达成的结果,Qoder 便会自主拆解路径、持续执行,遇到中间问题也能主动排查、给出反馈并推进,把我们从繁琐的步骤管理中解放出来。
从前端页面搭建到后端服务部署上线,很多时候我们只需明确目标,把大部分执行交给它,自己只在关键节点确认方向。正是这种"先规划、再执行、全程可追溯"的开发体验,让我们队伍中对于智能硬件开发流程不完全了解的友友,也有了第一次硬件黑客松的信心!
开发期间,领Qoder额度的时候遇到的问题,现场的工作人员也是非常热情靠谱地帮忙解决了,特别感谢一下。基于对Qoder的感谢和喜爱,我们给我们的机械臂带上了Qoder的眼罩,结合它的灵活性、运镜、视觉功能效果,可以叫它“眼镜蛇”机械臂!
展示belike:
三、最后的想说的话?我们的项目的改进点和一些感谢。
改进:
- 机械臂本身的成本和可运动范围的局限,使得这个想法本身的易普及性、易用性、易携带性有些打折扣,之后打算用适配不同场景的设备去将算法嵌入到其中。例如,团播场景需要更长的机械臂,外出拍摄需要更轻量的机械臂。
- 对于不知道怎么运镜的创作者,也就是需要一些指导的创作者,后续需要开发专注运镜教学的大模型,通过和用户的沟通,了解用户的需求,能够通过简单的自然语言的命令来实现运镜创意的实现。
- 目前对于上传的360度快速运镜的解析效果比较差,并不能满足全场景的运镜路径解析。
感谢:
- 感谢队友之间的帮助和相遇的缘分,使得Adx黑客松之旅充满了浪漫主义色彩。
- 如果说队友的相遇是浪漫主义,那么Qoder的Agent能力很大程度上实现了黑客松的开发能力“平权”,是一种切切实实的实用主义!推荐所有因为担心技术而不敢去黑客松的友友用Qoder来开发。
- 很荣幸Qoder认可我们的想法,授予我们Qoder赛道的🏆二等奖,此外,我们也是.xyz主题的第四名,也是bilibili直播赛道的Top3,我们十分荣幸有这样的交流和分享的机会,再次感谢!
项目成员:
姓名 |
身份/任务(其实也没有分太清) |
高灿 |
队长,统筹,测试等 |
刘淳博 |
后端开发,前后端连接等 |
徐宇航 |
机械臂开发,调试等 |
朱冕 |
前端开发,前后端连接等 |