垃圾分类模型想上maixpy(1)

maixpy笔记

Something

• 上下拉。应该就是强制高、低电平，可以避免不确定的状态。
• 模型区没有文件系统，模型之间烧录在指定地址。

• 文件系统可以有效帮助我们管理存储介质，例如磨损均衡。
• 理论上只要单层使用内存不超过 2MB， 整体模型可以无限大，只不过要牺牲一点运算速度。
• SRAM与Flash 。其中SRAM掉电易失，容量小，而速度快。

nnc-0.1算子支持

可能用到的API

• image.to_grayscale([copy=False])
  将图像转换为灰度图像。
  

Commands

os.listdir() ，查看当前目录下的文件

os.chdir() 切换当前目录到文件的目录,比如 os.chdir("/flash")

os.remove(path) 删除文件

ncc compile mnist_float.tflite mnist_float.kmodel -i tflite -o kmodel -t k210 --inference-type float

使用nncase的0.2版本，将.tflite文件转为.kmodel格式

ncc -i tflite -o k210model --inference-type float mnist_float.tflite mnist.kmodel

使用nncase的0.1版本进行模型格式转换

pip show <包名> 用pip查看某个已安装包的信息

conda search <包名> 用conda查看某个包的可安装版本

nvidia-smi 查看电脑的CUDA版本

Skills

1、使用IDE将文件保存到板子

• Tool中使用发送文件保存为同名文件；
• Tool中使用保存为boot.py，下次板子开机上电时自动执行。

2、执行板子上的文件

例如，板子上有个文件名为hello.py，下面的代码将执行它。

with open("hello.py") as f:
    exec(f.read())

3、实现开机自启

开机会自动先执行boot.py，然后执行main.py（如果检测到SD卡则执行SD卡里的）。

Problems

“对同一个外设或者引脚重复映射”是什么意思？

我需要做板级配置吗？

很奇怪，为什么只有我手机充电的那根数据线可以连的上板子？

仍然不太清楚“外设”和“引脚”的关系。

一个人读文档发现不一致的地方时是真的难受，而且也找不着解释。例如我使用k f l a s h _ g u i kflash\_guikflash_gui烧录模型时，就没有设置烧录地址的地方，而文档中第一张图里面有地址，后面的图又没有地址了。

用IDE运行官方的人脸识别时，一段时间后就会报错，据说是因为运行内存不够，可以用终端试试。但IDE里的终端我没用明白，我嵌在代码里的print语句正常输出，说明程序确实运行了，但却没有显示画面。而且，为什么会运行一段时间后才显示内存不足呢？是否和脸的数量有关？

RGB565是什么？

摄像头水平镜像是干什么？

import time 导入的包和文档中的 utime 是一样的吗？

这一段代码是不是不能脱离try-finally结构？因为前面是while(True) ？

为什么插上板子时，我电脑上会增加两个串口COM5和COM6，但是只有COM5能用？那COM6是什么？

如何删除板子上的文件呢？

下载.kmodel在0x300000位置后，就连不上板子了，不知道是不是把固件挤掉了。而重新下载.bin固件时，会下载失败。

解决：将开发板设置从“Sipeed Mainxduino"改为“自动选择”后，就好了。但是我记得我之前都是用的“Sipeed Mainxduino"选项。

12-13

试试运行一个maixpy官方提供的模型。

使用MaixHub训练的模型可以在开发板上正常运行，不错不错。在IDE上时只能运行一小会儿就会报错，使用串口终端时又无法显示图像。后来王鹤野建议说打印直接打印结果，我尝试发现确实可以。连串口时板子是在运行的，仅仅是没有图像显示而已。这次尝试的是一个击败K的小模型，训练时验证集精度达到了79.5%，但在尝试中它对盘装菜识别效果较好，其它的尝试识别都失败了。

后续可以进行的尝试：

在Maixhub上训练一个更大的模型，看在串口终端连接下它可以支持多大模型的运行。

将Paddle的模型转换为.kmodel的格式。但是Paddle模型保存的时候都是两个文件，一个参数文件一个模型文件，可以转成一个.kmodel文件吗？

12-27

尝试了将 paddle 框架训练的模型使用 paddle2onnx 转换为 onnx 格式，然后使用 nncase 转换为 kmodel 格式。

但是得到的 kmodel 模型无法使用。在载入模型的那一步 kpu.load(model_addr) 就会直接结束，而且连板子和maixpy IDE的连接都会断开。

12-28

仍然是转换出的 kmodel 无法在板子上加载的问题。据我目前了解，可能是它已经停止对 nncase 转换工具的支持了。参考：【K210踩坑】pytorch模型转kmodel，Dock上使用。（最终未实现） 。

真的烦，别人做什么我就只能用什么，为什么我不会自己写一个模型转换工具呢？

12-29

使用nncase v0.2.0转出的模型需要手动设置输出层形状。不知道是不是我使用方法不对，我的部分代码如下：

model_addr = "/flash/iris.kmodel"
task = kpu.load(model_addr)
success = kpu.set_outputs(task, 0, 12, 1, 1)
print('success: ', success)

但它总是显示：

w*h*ch!=12
[MAIXPY]kpu: set_outputs arg value error: w,c,ch size not match output size
success:  False

可nncase v0.1.0转出的iris.kmodel的输出就是：

{"fmap": "data"=0x80380e70, "size"=12, "index": 1, "w": 12, "h": 1, "ch": 1, "typecode": f}

不知道出了什么问题，那我干脆就用v0.1.0版本就好了？

12-31

在尝试使用nncase的0.1和0.2对kmodel进行转换时都失败了，它们都不支持SHAPE操作。总体0.2版本的算子支持比0.1版本要丰富许多，比如0.2可以支持Reshape操作。

删除含有SHAPE操作的层后，转换又失败了。

0.1版猜测是不支持我在tensorflow lite中量化后的得到的unit8参数格式。

0.2版则显示Fatal: Invalid tensor type ，可以参考Cannot compile .tflite model (Fatal: Invalid tensor type) · Issue #420 · kendryte/nncase (github.com) 。当我取消tensorflow lite中的量化后，

• 0.1版仍然失败，据chatGPT所说，是因为转换器无法理解模型文件中的某些内容，我没有继续探究这个问题。
  1-4对比文档发现，应该是不支持Reshape算子导致。
  
• 0.2版成功得到了 .kmodel 的模型。
  

现在，让我们尝试将刚刚得到的模型载入板子。

好家伙，使用IDE传文件又传不进去了，一直显示发送并保存中，请等待... 。此时IDE就一直卡在传送那里，无法断开与板子的连接，却可以打开串口终端；将IDE关闭后，依然有程序在后台运行。

好像是特定文件传不进去，我尝试传另一个 .kmodel 文件时成功了。模型文件从Colab训练后下载后得到，Build a handwritten digit classifier app with TensorFlow Lite 。

改用kflash_gui可以成功烧录进板子。

终于成了！一个手写数字识别的模型成功在板子上被加载，并正常产生了输出。

关于报错kpu:check img format err! ，看很多帖子都说分辨率不正确。在串口终端运行文件时多了一条报错[MAIXPY]kpu: pix_ai is NULL ，查了帖子后发现是内存中图像的修改与kpu中图像的修改不会自动同步的问题，需要每次修改图像后手动同步：.pix_to_ai() ，记得将替换为自己图像变量的变量名。

参考：why pix_to_ai still return none? · Issue #264 · sipeed/MaixPy (github.com) 。

关于 kpu.set_outputs() 总是失败。是啊，是要设置 outputs，我总莫名想象成了 inputs ，制度第n次看到w*h*ch!=40之类的报错提示与输入的形状风牛马不相及（输入是分辨率为28*28的图像），我才突然恍然大悟。

垃圾分类模型想上maixpy(2)：https://developer.aliyun.com/article/1407163?spm=a2c6h.13148508.setting.16.79f64f0ecKMDuK