图像识别界面
该界面包括了左侧的仓库显示区,这个区域用于人工智能线程识别后的货物结果显示以及抓取过程中的货物位置显示。
在机械臂控制区,可以获取机械臂当前6个舵机的位置数据信息,将6个舵机分开控制。嵌入式AI运算单元将控制指令通过串口发送到嵌入式AI控制单元上,嵌入式AI控制单元对机械臂的6个舵机进行控制。
功能区实现了两个功能,一个是识别抓取,另一个是识别找最值。
在识别抓取中,该系统共有两个仓库,以仓库1为识别仓库,以仓库2为抓取仓库。这里的功能实现过程为:用户在界面上选择识别仓库1货物,主线程收到该指令后发送命令给人工智能线程,人工智能线程做完识别后将结果返回主线程,主线程在仓库区显示结果,并且实时检测起始位置和终止位置的变动,如果用户选择了位置移动,就将移动命令发送给嵌入式AI控制单元,进而控制机械臂进行抓取。
在识别找最值中,用户可以选择找最大值或者最小值,选择后主线程将命令发送给人工智能线程,人工智能线程做完识别后将结果返回主线程,主线程在仓库区显示结果,同时找结果的最值。找到结果的最值后,将发送抓取命令给嵌入式AI控制单元。
在摄像头显示区中,可以打开摄像头查看摄像头捕捉到的内容。当然,在本系统中,在尝试所有关于图像识别的功能之前都需要先打开摄像头并显示为RGB图,图像的捕捉任务由C++完成,Python将C++拍摄到的内容进行预处理和识别。摄像头显示区可将摄像头捕捉到的内容进行实时显示,当前捕捉到的画面可以显示为灰度图和二值化图。