语音情感计算理论基础

简介: 持续更新情感计算相关

1.语音情感计算中情感的建模方法有哪些?有什么区别?情感计算主要应用于哪些领域?

  1. 支持向量机(SVM)、隐马尔可夫模型(HMM)、人工神经网路(NN)等。
    • SVM:基音+SVM算法=统计特征→识别语音状态;
    • HMM:输入特征矢量序列+训练=统计信号→识别语音状态;
    • NN:多层神经网路+训练=模拟人脑组织→识别语音状态。
  2. 虚拟人物、身份验证、智能用户界面、交互式感性图像检索、多功能机、语音识别、面部识别、军用可穿戴计算机等等。

2.列举三种以上的用于语音情感计算的声学特征,并解释其物理含义。

声学特征:

  • 音色。发音体形状、质地、构造不同,决定了音色的不同。
  • 音调。发音体声音频率的高低。
  • 音强。发音体振动的幅度特征。
  • 音长。发音体振动延续的时间特征。

语句特征:

  • 基频。基音的频率,决定了音高。在不同情感状态说,说同一段话,基频是不同的。一般研究基频的峰值、均值、方差等特征。
  • 低于250HZ的谱能量。根据parseval定理,信号傅氏变换模平方被称为谱能量。带有情绪的状态下谱能量和低于250HZ的谱能量时的存在一些规律。
  • 语速。讲一个语句的速度。不同情绪下的语速有规律性差异。
  • 能量。生气和高兴时能量高,其次平静,悲伤最低。
目录
相关文章
|
7月前
情感理论模型
情感理论模型
304 0
|
3月前
|
机器学习/深度学习 自然语言处理 搜索推荐
深度学习的人机情感交互
基于深度学习的人机情感交互是一个迅速发展的领域,旨在使计算机系统能够理解和响应人类的情感状态,从而实现更自然、更富有表现力的人机互动。
78 3
|
2月前
|
自然语言处理 语音技术
交大x-lance跨媒体语言智能实验室等联合开源F5-TTS!零样本语音复刻,生成流畅,情感丰富!
上海交大x-lance跨媒体语言智能实验室联合剑桥大学、吉利汽车研究院(宁波)公司开源了一种基于流匹配的扩散变换器(Diffusion Transformer,DiT)的完全非自回归TTS模型-F5-TTS。
|
4月前
|
机器学习/深度学习 人工智能 语音技术
情感识别与表达:FunAudioLLM的情感智能技术
【8月更文第28天】随着人工智能的发展,语音交互系统越来越普遍。其中,情感智能技术成为提高用户体验的关键因素之一。本文将探讨 FunAudioLLM 如何利用情感识别和表达技术来增强语音交互的真实感,并提供具体的代码示例。
189 0
|
7月前
|
机器学习/深度学习 人工智能 语音技术
AI让失语者重新说话!纽约大学发布全新神经-语音解码器
【5月更文挑战第19天】纽约大学研发的神经-语音解码器,结合深度学习与语音合成,为失语者带来新希望。此脑机接口技术能将大脑神经信号转化为语音参数,再通过合成器转为可听语音。使用癫痫患者的数据进行训练,解码器已成功重现语音,尽管质量有待提升。该技术有望革新沟通方式,但也面临数据复杂性、隐私保护及社会接受度等挑战。[论文链接](https://www.nature.com/articles/s42256-024-00824-8)
79 5
|
机器学习/深度学习 传感器 算法
基于萤火虫算法优化支持向量机实现中文语音情感识别附matlab代码
基于萤火虫算法优化支持向量机实现中文语音情感识别附matlab代码
语音识别(ASR)基础介绍第二篇——万金油特征MFCC
上一章提到了整个发声与拾音及存储的原理。但是在了解ASR的过程中,发现基本上遇到的资料都避不开MFCC特征。   整个ASR的处理流程大致可以分为下图: 左侧是经典的处理流程,右侧是近期流行的流程。发生的变化是,将语言模型以下的部分变成端到端的了。 我们将语言模型以下的部分统一看成是声学模型就好。  而MFCC主要用在左侧的处理流程中,即“特征处
7229 0
|
机器学习/深度学习 算法 语音技术
从声学模型算法角度总结 2016 年语音识别的重大进步
免费开通大数据服务:https://www.aliyun.com/product/odps  在过去的一年中,语音识别再次取得非常大的突破。IBM、微软等多家机构相继推出了自己的 Deep CNN 模型,提升了语音识别的准确率;Residual/Highway 网络的提出使我们可以把神经网络训练的更加深。
9003 0
|
机器学习/深度学习 人工智能 语音技术
未来已来 脑机接口新突破 人脑信号转文本准确率达97%
据国外媒体报道,一个由加州大学旧金山分校的研究团队打造的新型人工智能系统可根据人脑信号来生成文本,准确率最高可达97%。
|
机器学习/深度学习 人工智能 自然语言处理

热门文章

最新文章