爆肝一周,用Python在物联网设备上写了个智能语音助手-总体方案-《神奇的物联网》

简介: 基于HaaS EDU K1物理网开发板,通过数100行Python代码轻松打造一款智能语音助手!

1. 背景介绍

智能语音助手作为物联网领域的一个重要生态成员,是一种全新的交互方式,它能够解放双手,随时提供服务,无须借助任何按键。想必很多开发者都有玩过天猫精灵、小爱同学或者小度吧,看到这些炫酷的人工智能产品,是不是很想搞清楚它到底怎么工作的冲动,是不是也想自己打造一台专属智能语音助手。仅仅通过说出“HaaS HaaS”、“天猫精灵”、或“小爱同学”,就可以唤醒语音助手并告诉它想要的信息。在商业领域的人工智能产品要么是C或者C++开发,工作量巨大。现在有了HaaS EDU K1,基于HaaS云端一体框架,通过数100行Python代码就可以轻松打造一款智能音箱,这种全新的开发方式,还不来体验下!


开始学习之前我们先看一下案例效果:

涉及知识点

  • HaaS小程序配网
  • https网络通信
  • 本地唤醒AI推理引擎运用
  • 云端智能语音交互平台应用
  • 云端智能对话机器人应用
  • 模拟MIC声音采样
  • 喇叭播放wav、mp3文件
  • 文件系统应用
  • OLED绘字

2. 方案介绍

本案例基于HaaS云端一体智能语音交互框架打造的。整个框架如下:

云端一体智能语音交互框架.png

从框架可以看到,该案例是一个完整的云端语音交互全链路,包括了本地语音唤醒、回声消除、降噪、ASR、NLP、TTS等。学完该案例让你对智能语音助手有一个全新的认识。

2.1 软件功能

整个方案支持:

  1. HaaS小程序配网;
  2. HaaS HaaS离线语音唤醒;
  3. 云端智能语音交互;
  4. 自定义问答、闲聊、多轮对话、知识库等对话流管理。

3. 开发环境搭建

3.1 硬件准备

3.1.1 使用HaaS语音扩展板

HaaS语音扩展板是专门为HaaS EDU K1教育神器打造的,无缝对接,即查即用,不过目前没有对外售卖,后续将在一些训练营或活动中定向赠送。以下是使用HaaS语音扩展板的硬件图,最终正式的版本比这个更小。

HaaS智能语音.jpg

3.1.2 使用外接麦克风和喇叭

如果没有HaaS语音扩展板也没有关系,请按照如下步骤接入麦克风和喇叭:

HaaSEDU-kws接线图.png

麦克风接入MIC1_N接口,喇叭介入SPKLP接口。

HaaS EDU K1硬件排线图请参考
https://help.aliyun.com/document_detail/205267.html

购买链接仅供参考!!我们不负责商家发货的品质保障等问题!!

名称

数量

参考链接

HaaS EDU K1开发版

1

HaaS EDU K1购买链接

microUSB数据线

1

普通microusb线即可

模拟MIC

1

模拟MIC参考链接

喇叭

1

喇叭参考链接

杜邦线

数条

NA

3.2 环境搭建

参考《HaaS EDU K1快速开始》中安装HaaS Studio完成AliOS Things开发环境搭建。

3.2.1 Python固件编译、烧录

参考 《HaaS EDU K1快速上手》烧录带Python引擎的固件包。

打开串口

固件烧录完成后,可以通过串口查看示例的运行结果,打开串口的具体方法可参考《HaaS EDU K1快速开始》查看日志章节。

3.2.2 Python案例代码下载

该案例相关的源代码下载可参考《创建工程》,该案例是Python案例。
其中:

选择Python开发

选择解决方案: “voice_assistant”

选择开发板: HaaS EDU K1

haas智能语音助手工程创建.png

4. 软件架构

4.1 代码结构

├── asr.py                            # 云端语音识别处理接口
├── kws.py                            # 语音唤醒识别处理接口
├── main.py                           # 主程序
├── nlp.py                            # 云端智能对话交互处理接口
├── tts.py                            # TTS语音合成处理接口
├── oled.py                           # oled显示接口
├── player.py                         # TTS语音播报接口
├── README.md                         # 使用文档说明
├── recorder.py                       # 录音接口
├── resource                          # 本地语料文件
│   ├── network_connecting.mp3
│   ├── network_fail.mp3
│   ├── network_ok.mp3
│   ├── noquestion.mp3
│   ├── sorry.mp3
│   ├── wakeup.mp3
│   ├── welcome.mp3
│   ├── get_token_fail.mp3
└── └── wifi_smartconfig.mp3

4.2 程序主体

100行Python代码搞定程序主体:

defmain():
# 初始化声卡驱动print("enter main function\n")
Snd.install_codec_driver()
Snd.init()
# 打开语音扩展板PA,PIN23: GPIO19gpio=GPIO()
gpio.open('GPIO19')
gpio.write(1)
gpio.close()
# 初始化oledoledInit()
#初始化播放器audioPlayerInit()
# 录音初始化audioRecorderInit()
# 连接WiFiconnectWifi()
# get_wifi_status()sessionId=Noneis_session_finished=True# 初始化kws唤醒词globalwakeup, countwakeup=False# 播报欢迎语料oledShowText('I am your HaaS', 6, 18, 1, True)
oledShowText('voice assistant!', 4, 30, 1, False)
audioPlay(welcome_file)
whileTrue:
ifis_session_finished==True: # 非多轮对话时播放提示音oledShowText('I am your HaaS', 6, 18, 1, True)
oledShowText('voice assistant!', 4, 30, 1, False)
kwsEnable(kwsCb)
whilewakeup==False:
time.sleep(0.2)
kwsDisable()
# 播放唤醒提示音oledShowText('Host, i am here!', 2, 24, 1, True)
audioPlay(wakeup_file)
wakeup=Falseis_session_finished=True# record 3sec pcm dataoledShowText('Please speak...', 8, 24, 1, True)
rframes, length=audioRecord(duration)
# ASR识别oledShowText('Recognizing...', 12, 24, 1, True)
# 动态获取tokentoken_resp=ucloud_ai.get_token_id(access_key, access_secret, domain, region_id)
print('token_resp: %s'%token_resp)
iftoken_resp==None:
audioPlay(token_fail_file)
continuetoken_resp=ujson.loads(token_resp)
iftoken_resp!=None:
iftoken_resp.get('ErrMsg') !='':
audioPlay(token_fail_file)
continueasr_token=token_resp.get('Token').get('Id')
else:
print('get token fail')
asr_token=asr_default_tokenifasr_token==None:
audioPlay(sorry_file)
continueasr_text=asrProcess(app_key, asr_token, 'pcm', rframes, length)
ifasr_text==None:
oledShowText('Answering...', 12, 24, 1, True)
audioPlay(sorry_file) # 抱歉,我没有听清楚,请重新说一次试试continue# NLP自然语音处理is_session_finished, sessionId, intentName, text=nlpProcess(access_key, access_secret, instance_id, sessionId, asr_text)
iftext==None:
oledShowText('Answering...', 12, 24, 1, True)
audioPlay(noquestion_file) # 抱歉,没有找到你问的问题,请换一个试试continue# TTS合成# text = '今天天气很好'tts_resp=ttsProcess(app_key, asr_token, 3, 16000, 'siqi', 100, 0, 0, text, tts_file)
oledShowText('Answering...', 12, 24, 1, True)
# 根据意图执行设备端动作doIntent(intentName)
iftts_resp==True:
# 播放ttsprint('start to audioPlay tts\n')
audioPlay('fs:'+tts_file)
else:
print('tts resposne fail')
audioPlay(network_fail_file)
# 释放kws资源kwsDisable()
# 释放播放器audioPlayerUninit()
# 释放录音资源audioRecordUninit()
# 释放声卡驱动Snd.uninstall_codec_driver()
Snd.deinit()

5. 案例体验

本案例不支持打断功能,所以在唤醒后等待语音播报完成在进行问答,屏幕上有对应的提示。

5.1 云端功能开通

5.1.1 阿里云账号开通及访问控制

参考《爆肝一周,用Python在物联网设备上写了个智能语音助手-创建阿里云账号》完成以下两个步骤:

  1. 注册阿里云账号
  2. 获取AccessKey和Secret

5.1.2 智能语音交互开通及配置

参考爆肝一周,用Python在物联网设备上写了个智能语音助手-阿里云智能语音交互》完成以下三个主要步骤:

  1. 智能语音交互功能开通
  2. 完成语音识别和语音合成功能进行配置
  3. 获取智能语音交互Appkey

5.1.3 智能对话机器人开通及配置

参考爆肝一周,用Python在物联网设备上写了个智能语音助手-阿里云智能对话机器人》完成以下四个主要步骤:

  1. 创建会话机器人
  2. 配置机器人知识库
  3. 发布机器人
  4. 在机器人管理页获取对话机器人实例ID

5.2 设备端代码配置

5.2.1 账号信息配置

在上述5.1云端功能开通完成后,将获取到的AccessKey/Access Secret/Appkey/机器人ID填入到main.py中:

# 阿里云访问账号access_key='Your-Access-Key'access_secret='Your-Access-Secret'# 智能语音交互app_key='Your-App-Key'# 登陆https://nls-portal.console.aliyun.com/overview# 查看你创建的项目功能配置旁边的appkey# Chatbot对话机器人实例IDinstance_id='chatbot-cn-XXXXXXX'# 登陆https://chatbot.console.aliyun.com/yunme.htm#/beebot_preview/overview# 查看您创建的机器人ID

5.2.2 开关灯意图匹配

在5.1.3 智能对话机器人开通及配置中介绍了如何创建开关灯对话流,设备端events中的名称需与对话流中的意图名称保持一致。设备端对意图的处理代码位于main.py中,代码如下:

defdoIntent(intentName):
ifintentName==None:
returnprint('intentName: %s'%intentName)
leds=("led_r", "led_g", "led_b")
events= [
                {'light_on': 'leds', 'value': 1},
                {'light_off': 'leds', 'value': 0},
                {'red_light_on': 'led_r', 'value': 1},
                {'red_light_off': 'led_r', 'value': 0},
                {'green_light_on': 'led_g', 'value': 1},
                {'green_light_off': 'led_g', 'value': 0},
                {'blue_light_on': 'led_b', 'value': 1},
                {'blue_light_off': 'led_b', 'value': 0},
    ]
gpio=GPIO()
foreventinevents:
led=event.get(intentName)
ifled!=None:
value=event.get('value')
ifled=='leds':
forledinleds:
gpio.open(led)
gpio.write(value)
gpio.close()
else:
gpio.open(led)
gpio.write(value)
gpio.close()

当匹配意图为red_light_on时,设备端将GPIO led_r拉高置1点亮红灯。其他意图类似处理,如果有特殊需求,可以根据需要修改意图,比如控制其他GPIO或者PWM等操作。

5.3 Python代码推送

参考《Python 轻应用开发工具 HaaS-Studio》推送本案例Python代码包到设备中。

注意事项

如果遇到代码推送结束时报错,请确保设备/data/目录下,除python相关文件外,没有其他不必要的文件,如有,请删除再重试。

5.4 HaaS小程序配网

  1. 确认OLED上显示"Enter WiFi Smart Config...";
  2. 打开手机支付宝,搜索HaaS小程序,同时打开手机蓝牙功能;
  3. 点击扫描待配网设备;
  4. 选择Wi-Fi SSID;
  5. 填入Wi-Fi密码;
  6. 点击发起配网;
  7. 等待设备端连接Wi-Fi,当听到语音播报“网络连接成功!”或OLED看到“WiFi Connected!”表示网络连接成功。

注意事项

如果已经连接过WiFi,想要重新配网,请进入串口按"Ctrl+C",然后按“Ctrl+D”退出Python,再rm /data/wifi.conf后重启进入配网。

5.5 语音交互体验

联网成功后,说出“HaaS HaaS“后,设备唤醒。可以开始向HaaS小助手提问了,让她帮你查天气,开关灯等。当然前提是你在智能对话机器人中已经配置好对话策略。快来打造你的智能语音助手吧!

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
3月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
75 0
|
1月前
|
机器学习/深度学习 物联网 数据处理
C语言用于物联网更合适还是python
选择 C 语言还是 Python 作为物联网(IoT)开发的语言取决于多个因素,包括项目的性质、资源限制、性能需求以及开发团队的技能水平。C 语言性能优越,适合资源受限的嵌入式设备,能直接访问硬件,广泛应用于底层开发,但开发复杂且容易出错。Python 则以其简单的语法和丰富的库支持快速开发和原型制作,适合跨平台应用和数据处理,但性能较低,资源占用较大。根据项目需求,性能和资源要求高时选择 C 语言,需快速开发和易于维护时选择 Python。
|
2月前
|
存储 安全 数据库
双重防护,无懈可击!Python AES+RSA加密方案,构建最强数据安全堡垒
【9月更文挑战第11天】在数字时代,数据安全至关重要。AES与RSA加密技术相结合,构成了一道坚固防线。AES以其高效性保障数据加密,而RSA则确保密钥安全传输,二者相辅相成,提供双重保护。本文通过Python代码示例展示了这一加密方案的魅力,强调了其在实际应用中的重要性和安全性。使用HTTPS等安全协议传输加密密钥和密文,确保数据在数字世界中自由流通而无忧。
60 1
|
3月前
|
数据可视化 物联网 区块链
探索Python中的数据可视化:使用Matplotlib和Seaborn绘制图表探索未来:区块链、物联网与虚拟现实的融合趋势与应用前景
【8月更文挑战第30天】本文旨在引导读者通过Python编程语言,利用Matplotlib和Seaborn库,轻松掌握数据可视化技术。文章以浅显易懂的语言,结合实用的代码示例,从基础的图表绘制到高级定制功能,逐步深入讲解如何在数据分析中运用这些工具。无论你是编程新手还是希望提升可视化技能的开发者,都能在这篇文章中找到有价值的信息,让你的数据“活”起来。
|
3月前
|
数据建模 大数据 数据库
【2023年4月美赛加赛】Y题:Understanding Used Sailboat Prices 建模思路、建模方案、数据来源、相关资料、Python代码
本文提供了2023年MCM问题Y的解题思路、建模方案、数据来源、相关资料以及Python代码,旨在建立数学模型解释二手帆船的挂牌价格,并分析地区对价格的影响,以及在香港(SAR)市场上的应用。
41 1
【2023年4月美赛加赛】Y题:Understanding Used Sailboat Prices 建模思路、建模方案、数据来源、相关资料、Python代码
|
3月前
|
自然语言处理 数据可视化 安全
【第十届“泰迪杯”数据挖掘挑战赛】C题:疫情背景下的周边游需求图谱分析 问题一方案及Python实现
第十届“泰迪杯”数据挖掘挑战赛C题的解决方案,涉及疫情背景下周边游需求图谱分析,包括微信公众号文章分类、周边游产品热度分析、本地旅游图谱构建与分析,以及疫情前后旅游产品需求变化分析的Python实现方法。
119 1
【第十届“泰迪杯”数据挖掘挑战赛】C题:疫情背景下的周边游需求图谱分析 问题一方案及Python实现
|
2月前
|
机器学习/深度学习 自然语言处理 语音技术
使用Python实现深度学习模型:智能语音助手与家庭管理
使用Python实现深度学习模型:智能语音助手与家庭管理
89 0
|
3月前
|
机器学习/深度学习 传感器 物联网
使用Python实现深度学习模型:智能物联网与智能家居
【8月更文挑战第13天】 使用Python实现深度学习模型:智能物联网与智能家居
118 2
|
3月前
|
存储 安全 数据库
双重防护,无懈可击!Python AES+RSA加密方案,构建最强数据安全堡垒
【8月更文挑战第3天】在数字时代,数据安全至关重要。Python AES+RSA加密方案提供了一种强大且可靠的数据保护方式。AES以高效安全著称,适用于大量数据的快速加密;RSA作为非对称加密技术,确保了密钥传输的安全性。二者结合形成“内外兼修”的加密策略:AES加密数据内容,RSA保护AES密钥,共同构建起数据安全的双重保险。通过示例代码展示了这一加密流程,强调了加密后密钥与密文的安全传输和存储的重要性。在实际应用中,应采用HTTPS等安全协议进行传输,并将数据安全存储于加密的数据库或文件系统中。
81 12
|
3月前
|
数据采集 人工智能 数据可视化
【2023年电工杯竞赛】B题 人工智能对大学生学习影响的评价 数学建模方案和python代码
本文介绍了2023年电工杯竞赛B题的数学建模方案和Python代码实现,详细阐述了如何分析调查问卷数据,建立评价指标体系,构建数学模型评估人工智能对大学生学习的影响,并提供了数据预处理、特征编码、可视化分析等代码示例。
65 0
【2023年电工杯竞赛】B题 人工智能对大学生学习影响的评价 数学建模方案和python代码

相关产品

  • 物联网平台