ModelScope手机端人机交互的那个聊天交流和语音消息 那个咱们用的什么做的呀?

ModelScope手机端人机交互的那个聊天交流和语音消息 那个咱们用的什么做的呀(什么ui框架)?

展开
收起
真的很搞笑 2024-01-02 20:27:03 91 分享 版权
阿里云 AI 助理回答

根据提供的知识库资料,ModelScope在手机端的人机交互中实现聊天交流和语音消息功能,主要依赖于阿里云的相关SDK和技术框架。以下是具体的技术实现细节:

1. 聊天交流功能

ModelScope的聊天交流功能通过集成AICallKit SDK来实现。
- AICallKit SDK 是阿里云提供的一套开发工具包,用于快速构建AI实时互动消息对话智能体。
- 它支持Android和iOS端的集成,并提供了与智能体相关的绝大部分功能,开发者无需单独实现这些功能,从而显著减少开发时间并提高应用质量。
- 聊天交流的核心流程包括:
- 调用 startChat 方法开始聊天。如果当前引擎未连接,需要通过回调事件获取Token并回传给SDK。
- 调用 endChat 方法结束聊天。

2. 语音消息功能

语音消息功能的实现依赖于阿里云的智能语音交互(NUI)SDK
- NUI SDK 提供了语音识别、语音合成等能力,支持在移动端(Android和iOS)上进行语音处理。
- 在iOS端,语音交互功能通过集成 nuisdk.framework 实现。开发者需要按照文档配置工程环境,例如:
- 在 Build Phases > Link Binary With Libraries 中添加 nuisdk.framework
- 在 General > Frameworks, Libraries, and Embedded Content 中将 nuisdk.framework 配置为 Embed & Sign
- 对于语音消息的后台处理,iOS SDK本身不限制前后台运行,但默认样例工程仅支持前台处理。如果需要支持后台处理,需进行以下修改:
- 在 Info.plist 中添加 Required background modes 配置,并设置为 App plays audio or streams audio/video using AirPlay
- 确保录音模块在进入后台时不停止录音。

3. UI框架

虽然知识库中未明确提到具体的UI框架名称,但从描述来看,ModelScope的手机端人机交互界面可能基于以下方式实现:
- WebUI:在服务部署成功后,可以通过 查看Web应用 功能启动WebUI页面进行测试和调用。这表明部分交互界面可能是基于Web技术(如HTML、CSS、JavaScript)构建的。
- 原生UI组件:对于移动端(Android和iOS),开发者可以结合原生UI框架(如Android的XML布局或iOS的Storyboard)与阿里云SDK提供的接口,构建自定义的聊天和语音交互界面。

4. 重要提醒

  • SDK集成注意事项
    • 在iOS端集成 nuisdk.framework 时,可能会遇到头文件找不到的问题,请确保正确导入头文件 #import <nuisdk/NeoNui.h>
    • 如果在真机运行时出现错误(如“Reason: no suitable image found”),建议清理项目(xcode clean)并检查签名配置是否正确。
  • 资源需求
    • 对于大语言模型(如7B参数量级),建议选择 GU30系列机型 或更高配置的GPU资源。

综上所述,ModelScope在手机端的聊天交流和语音消息功能主要基于 AICallKit SDKNUI SDK 实现,而UI界面可能结合了WebUI和原生UI组件进行开发。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理