目录
1.1【实验目的】
1.2【实验原理】
1.3【实验步骤】
1.4 【附件】
1.1【实验目的】
- 利用OpenHarmony AI Camera 基于Hi3516开发板，使用开源OpenHarmony3.0-LTS开发的应用。通过获取摄像头数据，实现预览拍照以及录视频功能。并且通过后台AI服务识别唤醒词来进行语音控制拍照及录视频。
1.2【实验原理】
注意：用户对着相机说相应的唤醒词，相机收集到对应的音频，经过AI服务识别对应的文字，最后传到相机进行对应的操作。
1.3【实验步骤】
一、程序设计思路
硬件准备：
第一个：预装windows系统的PC机。
第二个：Hi3516DV300 IOT Camera开发板
第三个：USB转串口线、网线（Windows工作台通过USB转串口线 ）
二、Linux编译服务器基础环境准备
开发基础环境由windows工作台和Linux编译服务器组成。windows工作台可以通过samba服务或ssh方式访问Linux编译服务器。其中windows工作台用来烧录和代码编辑，Linux编译服务器用来编译OpenHarmony代码，为了简化步骤，Linux编译服务器推荐安装Ubuntu20.04
三、安装和配置Python
第一个：打开Linux终端。
第二个：输入如下命令，查看python版本号，需要使用python3.7以上版本，可以参考基础环境搭建。
命令：python3 --version
四、安装并升级Python包管理工具（pip3）
命令：sudo apt-get install python3-setuptools python3-pip -y
sudo pip3 install --upgrade pip
五、安装LLVM
第一个：下载LLVN工具。
第二个：解压LLVM安装包~/llvm路径下。
命令：tar -zxvf llvm.tar -C ~/
第三个：设置环境变量
命令：vim ~/.bashrc
第四个：将一下命令复制到.bashrc文件的最后一行，保存并退出。
命令：export PATH=~/llvm/bin:$PATH
第五个：使环境变量生效
命令：source ~/.bashrc
六、安装hb
第一个：运行如下命令安装hb
命令：python3 -m pip install --user ohos-build
第二个：设置环境变量
命令: vim ~/.bashrc
第三个：将以下命令复制到.bashrc文件的最后一行，保存并退出
命令: export PATH=~/.local/bin:$PATH
第四个：执行如下命令更新环境变量
命令：source ~/.bashrc
第五个：执行”hb -h” ，有打印以下信息即表示安装成功
usage: hb
OHOS build system
positional arguments:
{build,set,env,clean}
build Build source code
set OHOS build settings
env Show OHOS build env
clean Clean output
optional arguments:
-h, --help show this help message andexit
七、Hi3516开发环境准备
第一个：将Linux shell改为bash，查看shell是否为bash，在终端运行如下命令
命令：ls -l /bin/sh
第二个：如果显示为/bin/sh -> bash则为正常，否则请按以下方式修改：
命令：sudo rm -rf /bin/sh
命令：sudo ln -s /bin/bash /bin/sh
第三个：安装编译依赖基础软件（仅Ubuntu 20+需要）
命令：sudo apt-get install build-essential && sudo apt-get install gcc && sudo apt-get install g++ && sudo apt-get install make && sudo apt-get install zlib* && sudo apt-get install libffi-dev
八、安装文件打包工具
第一个：打开Linux编译服务器终端。运行如下命令，安装dosfstools。
命令： sudo apt-get install dosfstools
第二个：运行如下命令，安装mtool
命令：sudo apt-get install mtools
第三个：运行如下命令，安装mtd-utils
命令：sudo apt-get install mtd-utils
九、安装hc-gen
第一个：打开Linux编译服务器终端。
第二个：下载hc-gen工具。
第三个：解压hc-gen安装包到Linux服务器 ~/hc-gen路径下
命令：tar -xvf hc-gen-0.65-linux.tar -C ~/
第四个：设置环境变量
命令：vim ~/.bashrc
第五个：将一下命令复制到.bashrc文件的最后一行，保存并退出
命令：export PATH=~/hc-gen:$PATH
第六个：使环境变量生效
命令：source ~/.bashrc
十、安装Java虚拟机环境
第一个：打开Linux编译服务器终端
第二个：安装java运行时环境
命令：sudo apt-get install default-jre
第三个：安装java sdk开发工具包
命令：sudo apt-get install default-jdk
操作实现步骤：
PS：
java虚拟机是应用签名打包时才会用到的，SDK中默认的3个系统应用是需要签名打包，所以需要安装java虚拟机，没有安装的话，应用签名打包时会报如下错误：
第一个：源码下载与编译准备
环境搭建完后，就该准备代码了。
OpenHarmony源码下载方法多种多样，本文重点介绍linux + repo方式下载。
下载repo
curl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 > /usr/local/bin/repo
chmod a+x /usr/local/bin/repo
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
第二个：下载OpenHarmony源码
#特别注意：请下载OpenHarmony 3.0 LTS 版本，后续会更新支持OpenHarmony其他版本
repo init -u git@gitee.com:openharmony/manifest.git -b OpenHarmony-3.0-LTS --no-repo-verify
repo sync -c
repo forall -c 'git lfs pull'
十一：下载智能相机代码
第一个：具体仓库地址
通过git命令下载：命令：git clone git@gitee.com:xxxxxxx/knowledge_demo_smart_home.git
第二个：代码复制
命令：mkdir vendor/team_x
第三个：将下载的智能中控屏代码的代码拷贝到新建的team_x下面：
命令：cp -rf ../knowledge_demo_smart_home/dev/team_x/smart_camera/ vendor/team_x/
至此为止，代码准备完成，可以进行编译了。
十二：鸿蒙代码编译
第一个：代码目录结构
在编译代码前，可以先了解一下代码目录结构,我们的demo主要包含2个部分，一个是相机(demo_cameraApp)，负责相机相关功能，其次就是AI语音识别服务(demo_keyword_spotting),否则语音是采集以及识别。
demo_cameraApp 代码目录结构:
demo_keyword_spotting 代码目录结构:
特别说明：AI语音识别服务是一个后台服务应用，因此我们需要通过设置让它自启动，配置文件如下
vendor/team_x/smart_camera/init_configs/init_liteos_a_3516dv300.cfg
第一个：具体修改步骤：
1、在services服务模块最后添加以下代码
- 在jobs模块中找到“name”:”post-init”，在“cmd”的最后加上“start kws_app”
第二个：代码编译
源码和环境准备完后，接下来就是编译，编译涉及的指令有2条，hb set和hb build -f 。
hb set -- 设置工程目录和选择对应的目标，通过键盘的上下键来选择。
hb build -f -- 开始全量编译。（hb build 为增量编译）
编译完后会生成对应整个系统固件(u-boot-hi3516dv300.bin,OHOS_Image.bin,rootfs_vfat.img, userfs_vfat.img)以及我们应用对应的so文件。
其中u-boot-hi3516dv300.bin在device/hisilicon/hispark_taurus/sdk_liteos/uboot/out/boot/：
OHOS_Image.bin,rootfs_vfat.img,以及userfs_vfat.img在out目录下：
对应的libsmart_camera.so在out/hispark_taurus/smart_camera/usr/lib/ 目录下：
AI服务可执行程序在out/hispark_taurus/smart_camera/bin/ 目录下:
以下表格为所有生成的固件及对应的位置：
第三个：固件烧录
第一个：烧录工具选择
固件编译完后，是需要烧录到单板的。这里我们用的是HiTool工具烧录的。(HiTool工具下载地址:HiHope官网)
第二个：烧录步骤
打开HiTool工具，如下图：
烧写步骤按照图中标注即可。点击烧入后，烧录工具会提示重新上电，此时重启单板即可。
第四个：烧录结果
烧录成功后，会弹出如下提示，单板也会自行启动。
烧录失败的话需要根据失败提示查找一下原因。一般情况需要检查一下串口是否连接正常，网线是否正确插入，IP是否选择正常等。
查看IP的方法：当单板上电后并正确插入网线后，点击工具上刷新按钮，此时单板IP会自动添加到服务器IP列表中。
注意：IDE烧录：另外，OpenHarmony官网有提供一种通过IDE来烧录的，具体烧录步骤请参考文档：3516上快速运行Hello OHOS。
特别说明：如果是第一次烧录程序的话，单板在启动的时候需要设置bootargs，否则不能正常启动。单板第一次启动会停在hisilicon界面：
我们需要输入以下指令：
重要命令：
setenv bootcmd "mmc read 0x0 0x80000000 0x800 0x4800; go 0x80000000";
setenv bootargs "console=ttyAMA0,115200n8 root=emmc fstype=vfat rootaddr=10M rootsize=20M rw";
saveenv
reset
到此，烧录已经完成，设备也正常启动。
第五个：应用安装
第一个：打包应用
本demo是以安装包的形式安装到系统中启动运行的。因此，在安装应用前，需要将应用打包成安装包。
将编译好的libsmart_camera.so文件与工程目录下的res以及config.json文件通过压缩打包成zip格式(三个文件直接压缩，不能压缩文件夹)，并将后缀名改为hap(smart_camera.hap)。
第二个：挂载NFS
应用打包后，我们是通过NFS方式将单板挂载到本地，通过相关的指令来安装的，NFS挂载方法参照文章：Hi3516通过NFS挂载方式与Windows共享文件。
第三个：安装
通过nfs是单板连接到本地电脑后，我们可以通过bm安装指令进行安装。bm安装工具在系统编译完后会自动生成，路径在：
out/hispark_taurus/smart_camera/dev_tools/bin/
由于bm默认安装的应用为已经签名的应用，所以我们在安装前需要先将签名去掉。
bm set -s disable // 去签名
bm install -p filename // 安装应用filename， filename需要指定路径
安装完后桌面会显示对应应用的ICON，直接点击ICON即可以启动相机的应用。
第四个：使用指南
由于本demo涉及到摄像头的读写，故需要申请了相关的权限。在使用本demo前需要在setting中打开对应的权限。具体操作
第一步：点击setting--->应用--->smart_camera，然后将所有权限打开。
第二步：本demo带有相机的所有功能，包含预览，拍照，录像以及跳转到图库查看对应拍的图片和录制的视频。
第三步：在demo最主要的功能是语音控制相机，需要对准板子上的麦克风说唤醒词，目前支持2个唤醒词（Hi,xiaowen以及Nihao,wenwen）,分别对应控制相机的拍照以及录像功能。
