最近楼主手头上搞了个AI Glasses产品,萌生一个创意就是通过AI眼镜识别动物昆虫。用户眼镜当前看到的动物,通过一声指令,例如“识别动物”,然后用户眼镜端就能看到针对当前看到的动物的识别信息,包括动物的习性等详细介绍。
技术思路:AI眼镜拍照 --> 智能体识别匹配 --> 匹配信息AR投射
- 用户端进入智能体,通过指定的指令,如“识别动物”唤起AI扫码当前眼镜前的动物影像;
- 智能体捕获到眼镜端的拍照媒体,匹配对应的动物信息,并按格式进行输出;
- 最终将匹配到的动物信息投射到用户眼镜端。
一、智能体搭建
- 创建智能体
首先登录AI Glasses产品绑定的平台,点击左上角创建按钮即可,然后根据弹窗提示填写你要开发的智能体的相关信息。
- 智能体功能开发
- 人设与回复逻辑开发
左边侧边栏是整个智能体的人设与回复逻辑的开发,这里尽可能写的详细,智能体最终回复就会按照你的预设限制进行输出,你的现在写的越详细,智能体输出越能接近你的需求。下面是楼主的具体开发:
- 参数开发
插件选择眼镜端的拍照、执行上下文插件即可,开场白可根据自己的需求进行设置
- 预览与调试
因为是跟眼镜端配合,所有楼主这里调试直接上传图片给智能体。
- 发布&提审智能体
二、眼镜端调试
- 连接眼镜设备
新手朋友可自行去官网看课程讲解进行连接
- 连接云端智能体
按步骤连接并打开智能体:右上角设置 --> 开发者 --> 智能体调试 --> 选择智能体点击进入 --> 连接成功
- 智能体调试运行
戴上眼镜跟智能体进行对话,先简单问询一下,可按固定约束进行回答。
然后我们找一张动物图片测试一下智能体回复,完美按约束进行回复并输出到眼镜终端。
三、技术总结
本方案使用AI Glasses产品结合云端智能体开发进行实现,围绕 “端云协同 + 硬件融合” 实现精准 “实时识别” 的关键功能:
- 端云协同架构:端侧通过 CXR-M SDK 完成图像采集、裁剪及特征提取等预处理,大幅缩减云端传输量与延迟;然后依托智能体大模型实现高精度识别。
- 硬件深度融合:基于 CXR-M SDK 打通 “摄像头采集 - 端侧处理 - AR 投射” 全链路,无需第三方 APP 中转;将百科数据以悬浮窗形式投射至眼镜终端,实现真正 “所见即所得”。
四、技术展望
针对我这套技术方案,它可成为亲子户外的科普好帮手,适配野外观察、研学打卡与动物园沉浸体验。但随着AI Glasses等AI产品的相继推出还有云端智能体的更新迭代,端云结合的玩法和实现场景肯定不仅仅局限于此。未来,AI Glasses 可广泛渗透多元场景:日常中为出行者实时投射导航与路况,工作里辅助工程师远程检修、医护人员快速调取诊疗信息,学习中为学生立体呈现 3D 知识点,文旅场景中提供沉浸式景点讲解,应急时刻为救援人员标注危险区域,让智能便捷的交互体验融入生活、工作、学习的方方面面。