ModelScope手机端人机交互的那个聊天交流和语音消息 那个咱们用的什么做的呀(什么ui框架)?
根据提供的知识库资料,ModelScope在手机端的人机交互中实现聊天交流和语音消息功能,主要依赖于阿里云的相关SDK和技术框架。以下是具体的技术实现细节:
ModelScope的聊天交流功能通过集成AICallKit SDK来实现。
- AICallKit SDK 是阿里云提供的一套开发工具包,用于快速构建AI实时互动消息对话智能体。
- 它支持Android和iOS端的集成,并提供了与智能体相关的绝大部分功能,开发者无需单独实现这些功能,从而显著减少开发时间并提高应用质量。
- 聊天交流的核心流程包括:
- 调用 startChat
方法开始聊天。如果当前引擎未连接,需要通过回调事件获取Token并回传给SDK。
- 调用 endChat
方法结束聊天。
语音消息功能的实现依赖于阿里云的智能语音交互(NUI)SDK。
- NUI SDK 提供了语音识别、语音合成等能力,支持在移动端(Android和iOS)上进行语音处理。
- 在iOS端,语音交互功能通过集成 nuisdk.framework
实现。开发者需要按照文档配置工程环境,例如:
- 在 Build Phases > Link Binary With Libraries 中添加 nuisdk.framework
。
- 在 General > Frameworks, Libraries, and Embedded Content 中将 nuisdk.framework
配置为 Embed & Sign。
- 对于语音消息的后台处理,iOS SDK本身不限制前后台运行,但默认样例工程仅支持前台处理。如果需要支持后台处理,需进行以下修改:
- 在 Info.plist 中添加 Required background modes 配置,并设置为 App plays audio or streams audio/video using AirPlay。
- 确保录音模块在进入后台时不停止录音。
虽然知识库中未明确提到具体的UI框架名称,但从描述来看,ModelScope的手机端人机交互界面可能基于以下方式实现:
- WebUI:在服务部署成功后,可以通过 查看Web应用 功能启动WebUI页面进行测试和调用。这表明部分交互界面可能是基于Web技术(如HTML、CSS、JavaScript)构建的。
- 原生UI组件:对于移动端(Android和iOS),开发者可以结合原生UI框架(如Android的XML布局或iOS的Storyboard)与阿里云SDK提供的接口,构建自定义的聊天和语音交互界面。
nuisdk.framework
时,可能会遇到头文件找不到的问题,请确保正确导入头文件 #import <nuisdk/NeoNui.h>
。xcode clean
)并检查签名配置是否正确。综上所述,ModelScope在手机端的聊天交流和语音消息功能主要基于 AICallKit SDK 和 NUI SDK 实现,而UI界面可能结合了WebUI和原生UI组件进行开发。