研究技术框架
1.前端:mock plus实现前端页面原型图的制作和页面交互的设计;开源ui框架vantui和colorui实现和美化小程序前端界面;mpvue框架实现前端交互。
2.后台:利用Python flask+tornado搭建后台服务器,进行数据转发及处理,配合mysql完成数据的存取。
3.姿势识别:采用tensorflow-openpose人工智能模型,用opencv调用模型实现对图片中人物的姿态识别。
4.关键算法: 本项目使用GitHub开源项目open pose,可以实现人体动作的姿势识别,通过多个关键点的检测,识别形成拍照姿势。难点在于姿势的识别和精准度,同时要对输入的图片进行处理,再调用open pose项目后形成姿势图像返回。
OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人,具有极好的鲁棒性,是世界上首个基于深度学习的实时多人二维姿态估计应用。
软件应用
(1)微信小程序+人工智能+Python后台。
(2)将微信小程序与人工智能结合,利用tensorflow提取vgg16特征图层,利用卷积神经网络融合风格和内容,生成风格迁移图片,再利用flask+nginx搭建服务器和后台,形成适合我们小程序的后台设计。