基于机械臂的工业分拣系统

1.硬件介绍
本系统的背景是仓库智能分拣，硬件系统的左侧为两个仓库（每个仓库有4个仓位）和一个六自由度机械臂，机械臂上有摄像头，用于捕捉仓库画面数据以进行图像识别。在仓库和机械臂右侧，10英寸液晶屏用于显示项目的界面以及控制整个系统。屏幕的下方是嵌入式AI运算单元，将深度学习算法部署到嵌入式系统上，可完成终端的、离/在线的人工智能运算。嵌入式AI运算单元上的环境为Ubuntu 16.04，搭载了Qt 5.5的Qt Creator环境与Python 3.5.2环境作为图形化界面并进行Python开发，同时搭载了TensorFlow 1.7.0作为人工智能深度学习框架。在嵌入式AI运算单元下方是全键盘，开发者可以在终端实时进行编程以及完善网络，避免无外接键盘的困扰。在屏幕右侧是Arduino接口，可以扩展传感器板、电机板以及键盘板。Arduino扩展板下方是嵌入式AI控制单元，一方面它可以直接控制六自由度机械臂完成动作，另一方面它可以作为网关控制下方的物联网无线通信模块与右下角的RFID模块。
2．软件介绍
该系统功能如下。
（1）AI计算机视觉仓库货物分拣、整理：一方面可以基于TensorFlow框架，通过深度学习CNN神经网络算法离线地识别仓库货物，另一方面可以在线地调用AI开放平台完成在线仓库货物的识别。两种识别均可在终端显示及控制，控制功能包括通过机械臂将货物进行仓库间的搬运。
（2）AI语音机械臂控制、货物分拣：通过集AI语音识别+机械臂控制为一体的机械臂控制、货物分拣，用户可以通过语音发布指令来控制机械臂执行动作。
（3）AR仓库货物分拣：通过AR增强现实技术与人工智能计算机视觉技术相结合来实现图像识别，创建与现实中物体相关联的虚拟模型，实例化并进行机械臂的控制。