语音情感计算理论基础

简介: 持续更新情感计算相关

1.语音情感计算中情感的建模方法有哪些?有什么区别?情感计算主要应用于哪些领域?

  1. 支持向量机(SVM)、隐马尔可夫模型(HMM)、人工神经网路(NN)等。
    • SVM:基音+SVM算法=统计特征→识别语音状态;
    • HMM:输入特征矢量序列+训练=统计信号→识别语音状态;
    • NN:多层神经网路+训练=模拟人脑组织→识别语音状态。
  2. 虚拟人物、身份验证、智能用户界面、交互式感性图像检索、多功能机、语音识别、面部识别、军用可穿戴计算机等等。

2.列举三种以上的用于语音情感计算的声学特征,并解释其物理含义。

声学特征:

  • 音色。发音体形状、质地、构造不同,决定了音色的不同。
  • 音调。发音体声音频率的高低。
  • 音强。发音体振动的幅度特征。
  • 音长。发音体振动延续的时间特征。

语句特征:

  • 基频。基音的频率,决定了音高。在不同情感状态说,说同一段话,基频是不同的。一般研究基频的峰值、均值、方差等特征。
  • 低于250HZ的谱能量。根据parseval定理,信号傅氏变换模平方被称为谱能量。带有情绪的状态下谱能量和低于250HZ的谱能量时的存在一些规律。
  • 语速。讲一个语句的速度。不同情绪下的语速有规律性差异。
  • 能量。生气和高兴时能量高,其次平静,悲伤最低。
目录
相关文章
|
2月前
|
机器学习/深度学习 人工智能 算法
搞懂大模型的智能基因,RLHF系统设计关键问答
搞懂大模型的智能基因,RLHF系统设计关键问答
55 0
|
3月前
情感理论模型
情感理论模型
100 0
|
11月前
|
语音技术
三分钟视频|看懂多情感语音合成模型训练过程
三分钟视频|看懂多情感语音合成模型训练过程
103 0
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
LeCun预言的自监督模型来了:首个多模态高性能自监督算法,语音、图像文本全部SOTA
LeCun预言的自监督模型来了:首个多模态高性能自监督算法,语音、图像文本全部SOTA
217 0
|
存储 机器学习/深度学习 移动开发
【情感识别】基于改近最近邻实现语音情感分类识别含Matlab源码
【情感识别】基于改近最近邻实现语音情感分类识别含Matlab源码
语音识别(ASR)基础介绍第二篇——万金油特征MFCC
上一章提到了整个发声与拾音及存储的原理。但是在了解ASR的过程中,发现基本上遇到的资料都避不开MFCC特征。   整个ASR的处理流程大致可以分为下图: 左侧是经典的处理流程,右侧是近期流行的流程。发生的变化是,将语言模型以下的部分变成端到端的了。 我们将语言模型以下的部分统一看成是声学模型就好。  而MFCC主要用在左侧的处理流程中,即“特征处
7122 0
|
机器学习/深度学习 人工智能 自然语言处理
LeCun预言的自监督模型来了:首个多模态高性能自监督算法,语音、图像文本全部SOTA
LeCun预言的自监督模型来了:首个多模态高性能自监督算法,语音、图像文本全部SOTA
247 0
LeCun预言的自监督模型来了:首个多模态高性能自监督算法,语音、图像文本全部SOTA
|
机器学习/深度学习 存储 数据采集
机器学习时代,神经科学家如何阅读和解码人类的思想
作者:Jiying 编辑:Joni 这篇文章围绕机器学习(ML)和功能性磁共振成像(fMRI)的应用问题,以三篇最新的研究型论文为基础,探讨基于统计学中 ML 的 fMRI 分析方法。
292 0
机器学习时代,神经科学家如何阅读和解码人类的思想
|
机器学习/深度学习 人工智能 自然语言处理
|
机器学习/深度学习 人工智能 计算机视觉