如何基于YoC播放器实时播放语音合成码流

简介: 如何基于YoC播放器实时播放语音合成码流

image.png

YoC播放器中支持的码流url类型有如下几种:

流类型 URL前缀 URL格式
http流 http(s):// http(s)://ip:port/xx.mp3
文件流 file:// file:///fatfs0/xx.mp3?avformat=%s&avcodec=%u&channel=%u&rate=%u
内存流 mem:// mem://addr=%u&size=%u&avformat=%u&avcodec=%u&channel=%u&rate=%u
fifo流 fifo:// fifo://tts/1?avformat=%s&avcodec=%u&channel=%u&rate=%u
由于fifo是基于生产者-消费者原理来实现的,我们可以基于fifo码流类型来实现实时语音合成码流播放。用户在创建fifo后,通过将fifo传递给播放器播放。与此同时可不断从网络上读取tts流,写入fifo中。

示例代码如下:
//核心代码片段
static player_t* g_player;
static nsfifo_t* g_tts_fifo;

static void _ptask(void *arg)
{

int fd;
int cnt = 0, rc, wlen;
char *val, *pos;
uint8_t reof = 0;
web_session_t *session;
/* 创建一个http会话 */
session = web_session_create();
/* 向指定地址发起http请求 */
rc = web_session_get(session, "http://www.srcbin.net/ai/result.mp3", 3);
if (rc) {
    LOGE(TAG, "web_session_get fail. rc = %d, code = %d, phrase = %s", rc, session->code, session->phrase);
    goto err;
}
/* 获取内容的长度 */
val = (char*)dict_get_val(&session->hdrs, "Content-Length");
CHECK_RET_TAG_WITH_GOTO(val != NULL, err);
fd = session->fd;
LOGD(TAG, "content len = %d", atoi(val));

for (;;) {
    /* 获取fifo的可写指针及长度 */
    wlen = nsfifo_get_wpos(g_tts_fifo, &pos, 8*1000);
    /* 获取播放器fifo读端是否退出(可能播放出错) */
    nsfifo_get_eof(g_tts_fifo, &reof, NULL);
    if (wlen <= 0 || reof) {
        LOGE(TAG, "get wpos err. wlen = %d, reof = %d", wlen, reof);
        break;
    }
    /* 从网络套接字中读取数据 */
    rc = sock_readn(fd, pos, wlen, 6*1000);
    if (rc <= 0) {
        LOGE(TAG, "readn err. rc = %d", rc);
        break;
    }
    /* 设置写指针 */
    nsfifo_set_wpos(g_tts_fifo, rc);
    cnt += rc;
}
LOGD(TAG, "rc = %8d, cnt = %8d", rc, cnt);

err:

/* 销毁web会话资源 */
web_session_destroy(session);
return;

}
/ 创建fifo,指定fifo地址和大小 /
g_tts_fifo = nsfifo_open("fifo://tts/1", O_CREAT, 64*1024);
if (g_tts_fifo) {

/* 创建 _ptask任务,用于通过网络获取码流数据 */
aos_task_new("xx_task", _ptask, NULL, 6*1024);
/* 设置播放器取流超时时间 */
player_ioctl(g_player, PLAYER_CMD_RCVTIMEO, AOS_WAIT_FOREVER);
/* 播放之前创建的fifo码流 */
player_play(g_player, "fifo://tts/1", 0);

}

相关文章
|
存储 编解码 算法
音视频之音频知识入门
信息论的观点来看,描述信源的数据是信息和数据冗余之和,即:数据=信息+数据冗余。音频信号在时域和频域上具有相关性,也即存在数据冗余。将音频作为一个信源,音频编码的实质是减少音频中的冗余。自然界中的声音非常复杂,波形极其复杂,通常我们采用的是脉冲代码调制编码,即PCM编码。PCM通过抽样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码。
714 0
|
2月前
|
监控 Windows
Windows平台RTSP|RTMP播放器如何实时调节音量
我们在做Windows平台RTSP、RTMP播放器的时候,有这样的技术需求,特别是多路监控的时候,并不是每一路audio都需要播放出来的,所以,这时候,需要有针对音量调节的设计
|
6月前
|
编解码
音视频录制播放原理
音视频录制播放原理
109 1
设计并实现同时支持多种视频格式的流媒体点播系统
设计并实现同时支持多种视频格式的流媒体点播系统
158 0
|
12月前
|
存储 Cloud Native Linux
音视频 ffplay命令播放媒体
音视频 ffplay命令播放媒体
|
12月前
|
存储 Cloud Native Linux
音视频 ffplay播放控制
音视频 ffplay播放控制
|
编解码 网络协议 开发工具
如何对RTSP播放器做功能和性能评估
好多开发者在做产品竞品分析的时候,不知道如何界定一个RTSP播放器,大牛直播SDK认为,一个RTSP播放器,不是说有几个类似于Open/Close接口就够了,好的RTSP播放器需要具备以下功能和性能属性:
|
开发工具 Android开发 开发者
Android平台RTMP推流或轻量级RTSP服务(摄像头或同屏)编码前数据接入类型总结
很多开发者在做Android平台RTMP推流或轻量级RTSP服务(摄像头或同屏)时,总感觉接口不够用,以大牛直播SDK为例 (Github) 我们来总结下,我们常规需要支持的编码前音视频数据有哪些类型:
153 0
|
数据采集 传感器 编解码
【Android RTMP】安卓直播推流总结 ( 直播服务器搭建 | NV21 图像采集 | H.264 视频编码 | PCM 音频采集 | AAC 音频编码 | RTMP 包封装推流 )
【Android RTMP】安卓直播推流总结 ( 直播服务器搭建 | NV21 图像采集 | H.264 视频编码 | PCM 音频采集 | AAC 音频编码 | RTMP 包封装推流 )
1455 0
【Android RTMP】安卓直播推流总结 ( 直播服务器搭建 | NV21 图像采集 | H.264 视频编码 | PCM 音频采集 | AAC 音频编码 | RTMP 包封装推流 )
|
Web App开发 Java API
浅析webrtc中音频的录制和播放流程
本文是基于PineAppRtc项目github.com/thfhongfeng… 在webrtc中音频的录制和播放都是封装在内部,一般情况下我们也不需要关注,直接使用即可。 但是最近有一个需求,需要将我们自己的数据进行传输,所以就需要将这些接口暴露出来使用。所以就需要去研究一下它的源码,就有了这篇文章。
924 0