1.前言
核心定义包附带有 KeywordRecognitionSubsystem，它是 MRTKSubsystem 和 IKeywordRecognitionSubsystem 的基本实现，作为负责 MRTK3 中的关键字/短语识别的子系统的基础。 MRTK 附带的具体实现（例如 WindowsKeywordRecognitionSubsystem），以及你可能构建的其他潜在短语识别子系统，都应该基于此类。 继承自 KeywordRecognitionSubsystem 的子系统可以使用 SpeechInteractor 基于可交互对象的设置触发选择事件 StatefulInteractable’s 。 继承的子类还允许将任意UnityAction’s注册到所选关键字 (keyword) ，以便在说出此类字词时调用操作。
2.设置
2.1 启用语音子系统
- 转到“project Setting”>“MRTK3”>“KeywordRecognitionSubsystem”，启用语音子系统，如下图:
2.2 确保 MRTK Speech GameObject 处于活动状态
- 确保“MRTK XR Rig”->“MRTK Speech”处于活动状态并且附加的脚本已启用。如下图:
2.3 确保在“播放器设置”中设置适当的功能
- 要在 UWP 平台上使用 WindowsKeywordRecognitionSubsystem，请转到“project Setting”>“Player”>“Capabilities”，并确保开启“Microphone”功能。如下图:
3.使用关键字
3.1 KeywordRecognitionSubsystem 与 StatefulInteractable一起使用
- 使用 KeywordRecognitionSubsystem 的最简单方法是将其与 StatefulInteractable 一起使用。 如果执行了设置部分下的步骤 2.2，则 SpeechInteractor 将在满足针对此类可交互对象指定的条件时触发 StatefulInteractable 上的选择事件（例如，听到指定的短语并且可交互对象被凝视悬停）
3.2 手动使用 KeywordRecognitionSubsystem
- KeywordRecognitionSubsystem另一种方法是手动注册关键字 (keyword) ，并在UnityAction子系统听到关键字 (keyword) 时调用。
var keywordRecognitionSubsystem = XRSubsystemHelpers.GetFirstRunningSubsystem<KeywordRecognitionSubsystem>(); if (keywordRecognitionSubsystem != null) { keywordRecognitionSubsystem.CreateOrGetEventForKeyword("your keyword").AddListener(() => Debug.Log("Keyword recognized")); }
- 通过声明 Dictionary<string, UnityEvent> 来设定语音命令的关键字和对应行为，并由这个注册 Dictionary 来初始化 KeywordRecognizer ，编写行为动作函数。当用户说出关键词时，预设的动作就会被调用，从而实现语音命令的功能。
using System.Collections.Generic; using System.Linq; using UnityEngine.Events; using UnityEngine.Windows.Speech; using UnityEngine; using MixedReality.Toolkit.Subsystems; using MixedReality.Toolkit; public class KeywordManager : MonoBehaviour { //将此结构体暴露在Inspector面板中实现语音关键词和动作的添加 [System.Serializable] public struct KeywordAndResponse { [Tooltip("关键字")] public string Keyword; [Tooltip("识别调用的UnityEvent")] public UnityEvent Response; } public KeywordAndResponse[] KeywordsAndResponses; private Dictionary<string, UnityEvent> responses; void Start() { if (KeywordsAndResponses.Length > 0) { //将struct数组转换为字典，将struct中的Keyword转换为字典的关键字，UnityEven转换为字典的方法 responses = KeywordsAndResponses.ToDictionary(keywordAndResponse => keywordAndResponse.Keyword, keywordAndResponse => keywordAndResponse.Response); var keywordRecognitionSubsystem = XRSubsystemHelpers.GetFirstRunningSubsystem<KeywordRecognitionSubsystem>(); int Length = KeywordsAndResponses.Length; for (int i = 0; i < Length; i++) { if (keywordRecognitionSubsystem != null) { //在子系统中注册一个关键字及其相关的操作 string Keyword = KeywordsAndResponses[i].Keyword; keywordRecognitionSubsystem.CreateOrGetEventForKeyword(Keyword).AddListener (() => { KeywordRecognizer_OnPhraseRecognized(Keyword); }); } } } else { Debug.LogError("必须至少指定一个关键字 " + gameObject.name + "."); } } //识别关键字之后的回调 private void KeywordRecognizer_OnPhraseRecognized(string Keyword) { // 如果识别到关键词就调用 if (responses.TryGetValue(Keyword, out UnityEvent keywordResponse)) { keywordResponse.Invoke(); } } }
