本文作者：我爱下载

1、概述

远程音频采集系统利用RVB2601的ES7210麦克风数字化采样，W800的WiFi通讯和OLED液晶显示相关信息，进行音频收集和存储。开发专用的上位软件，通过以太网通讯启动下位机完成一定数据量的音频收集后，传输到上位机，并存储为RAW文件。

系统中使用了麦克风音频采集ADC，W800无线以太网通讯，OLED液晶显示，指示灯等几个外设设备。

2、测试程序

通过概述的描述，利用之前的外设测试和学习经验，本次开发包括下位机软件，和上位机软件。

2.1 下位机软件

下位机软件主要包含wifi接口处理，音频采集、缓存管理和OLED三个主要部分。

1）初始化

根据以太网通讯的研究，《以太网通讯测试》连接 http://bbs.eeworld.com.cn/thread-1174636-1-1.html 建立wifi连接，获取ip地址，这里为了后面的处理方便，路由器中设置了固定的ip地址和mac的绑定关系，保证ip地址的获取唯一。

根据音频测试的研究，《麦克风录音测试》连接 http://bbs.eeworld.com.cn/thread-1175631-1-1.html 完成音频采样音频初始化，并进入等待状态。

为了更好的管理采样数据，建立一个RingBuffer缓冲队列。开辟一个48K的缓冲区，用来存储音频采样数据。

ringbuffer_t mic_ring_buffer;
#define MIC_RECORDER_BUF_SIZE 49152
uint8_t repeater_data_addr[MIC_RECORDER_BUF_SIZE];
//设置录音缓冲区环形队列
mic_ring_buffer.buffer = repeater_data_addr;
mic_ring_buffer.size = MIC_RECORDER_BUF_SIZE;
ringbuffer_reset(&mic_ring_buffer);

创建一个画面，画面中包换本次试用程序的标题“THEAD RVB2601 RECORDER”和2个显示标签。显示标签中实时显示当前的运行状态。

static void gui_label_create(void)
{
  lv_obj_t* scr = lv_scr_act();//获取当前活跃的屏幕对象
    lv_obj_t *p = lv_label_create(scr, NULL);
    lv_label_set_long_mode(p, LV_LABEL_LONG_BREAK);
    lv_label_set_align(p, LV_LABEL_ALIGN_CENTER);
    lv_obj_set_pos(p, 0, 4);
    lv_obj_set_size(p, 128, 60);
    lv_label_set_text(p, "THEAD RVB2601\nRECORDER");
    p = lv_label_create(scr, NULL);
    lv_label_set_align(p, LV_LABEL_ALIGN_LEFT);
    lv_obj_set_pos(p, 0, 40);
    lv_obj_set_size(p, 60, 20);
    lv_label_set_text(p, "STATUS:");
    pLabel = lv_label_create(scr, NULL);
    lv_label_set_align(pLabel, LV_LABEL_ALIGN_CENTER);
    lv_obj_set_pos(pLabel, 65, 40);
    lv_obj_set_size(pLabel, 50, 20);
    lv_label_set_text(pLabel, "idel");
}

建立了以太网接收函数，音频采集任务，音频数据发送任务，图形显示这4个主要任务，并利用信号量完成任务间的协调工作。

音频采集任务

aos_task_new("mic_recorder", main_mic_task, NULL, 2 * 1024);

音频数据发送任务

aos_task_new("mic_recorder_send", wifi_send_task, NULL, 4 * 1024);

图形显示任务

aos_task_new("gui", gui_lvgl_task, NULL, 10 * 1024);

以太网接收函数通过串口终端启动。

int mic_tcpclient(void)；

2）以太网数据接收

根据前面的研究，RVB2601只能作为以太网的Client端，所以，这里必须以以太网的客户端方式建立连接，完成数据收发。

int mic_tcpclient(void)
{
    struct sockaddr_in  sAddr;
    int                 iAddrSize;
    int                 iStatus;
    char            *cBsdBuf = NULL;
//    int time_ms = aos_now_ms();
//    int time_ms_step = aos_now_ms();
  running = 1;
    cBsdBuf = lan_buf;
    //filling the TCP server socket address
    FD_ZERO(&sAddr);
    sAddr.sin_family = AF_INET;
    sAddr.sin_port = htons(26666);
    sAddr.sin_addr.s_addr = inet_addr("192.168.1.3");
    iAddrSize = sizeof(struct sockaddr_in);
    // creating a TCP socket
    iSockFD = socket(AF_INET, SOCK_STREAM, 0);
    if (iSockFD < 0) {
        LOGE(TAG, "TCP ERROR: create tcp client socket fd error!");
        goto Exit1;
    }
    LOGD(TAG, "ServerIP=%s port=%d.", "192.168.1.3", 26666);
    LOGD(TAG, "Create socket %d.", iSockFD);
    // connecting to TCP server
    iStatus = connect(iSockFD, (struct sockaddr *)&sAddr, iAddrSize);
    if (iStatus < 0) {
        LOGE(TAG, "TCP ERROR: tcp client connect server error! ");
        goto Exit;
    }
    LOGD(TAG, "TCP: Connect server successfully.");
  record_sta = NET_CONNECT;
    // sending multiple packets to the TCP server
    while (running) {
    if ( (iStatus = read(iSockFD, cBsdBuf, 1024)) < 0) 
        {
            break;
        }
    //解析数据
    if(cBsdBuf[0] == 1) //起动录音
    {
      LOGD(TAG, "get record start command!");
      mic_recorder_start();
      wifi_send_run_flag = 1;
    }
//    else if(cBsdBuf[0] == 2)  //起动传输
//    {
//      LOGD(TAG, "get stop command!");
//      mic_recorder_stop();
//      wifi_send_task_run_status = 0;
//    }
    else if(cBsdBuf[0] == 3)  
    {
      wifi_send_run_flag = 0;
      LOGD(TAG, "quit command!");
      break;
    }
    }
    LOGD(TAG, "RECORDER: Quit!");
  record_sta = NET_DISCON;
Exit:
    //closing the socket after sending 1000 packets
    close(iSockFD);
Exit1:
    return 0;
}

3）以太网数据发送

每帧发送1024字节数据，连续发送，直到所有数据发送完成为止。

void wifi_send_task(void *arg)
{
    int                 iStatus;
  int len;
  LOGD(TAG, "MIC Recorder send thread begin!");
  aos_sem_new(&mic_data_send_sem, 0); 
    while (1)
    {
        aos_sem_wait(&mic_data_send_sem, AOS_WAIT_FOREVER);
    while(wifi_send_run_flag)
    {
      len = mic_recorder_getdata_len();
      if(len > 0)
      {
        len = mic_recorder_getdata((uint8_t *)lan_buf,1024);
        if(len > 0)
        {
          record_sta = REC_SEND;
          // sending packet
          iStatus = send(iSockFD, lan_buf, len, 0);
          if (iStatus <= 0) {
            printf("TCP ERROR: tcp client send data error!  iStatus:%d", iStatus);
            record_sta = NET_ERROR;
          }
          aos_msleep(100);
        }
      }
      else
      {
        wifi_send_run_flag = 0;
      }
    }
    record_sta = IDEL;
    }
}

4）音频采样

音频启动中负责复位缓冲队列，然后启动音频采样。

void mic_recorder_start(void)
{
    ringbuffer_reset(&mic_ring_buffer);
    csi_codec_input_start(&codec_input_ch);
}

录取到一定数量音频后，产生触发事件，事件中利用信号量环形音频采样任务，将数据读出并存入缓冲队列。

static void codec_input_event_cb_fun(csi_codec_input_t *i2s, csi_codec_event_t event, void *arg)
{
   if (event == CODEC_EVENT_PERIOD_READ_COMPLETE) {
     aos_sem_signal(&mic_input_sem);
   } 
}

通过音频采集任务，接收事件信号触发，完成数据读取

static void main_mic_task(void *arg)
{
    LOGD(TAG, "MIC Recorder thread begin!");
    aos_sem_new(&mic_input_sem, 0); //创建音频采样信号
    mic_recorder_init(); //初始化音频采样
    while (1)
    {
       aos_sem_wait(&mic_input_sem, AOS_WAIT_FOREVER); //等待一组音频数据采集完成
       mic_recorder_to_buff(); //将采集到的音频数据压入缓冲队列中
    }
}

读取音频数据压入缓冲队列，判断采样结束，并触发音频数据发送

void mic_recorder_to_buff(void)
{
   csi_codec_input_read_async(&codec_input_ch, mic_input_buf, 1024);
   ringbuffer_in(&mic_ring_buffer, mic_input_buf, 1024);
   uint32_t len = ringbuffer_len(&mic_ring_buffer);
   if(len >= MIC_RECORDER_BUF_SIZE)
   {
       csi_codec_input_stop(&codec_input_ch);
       aos_sem_signal(&mic_data_send_sem);
   }
}

5）运行状态显示

首先创建了一个枚举类型，包换所有待显示的状态定义。

typedef enum _RECORDER_STA
{
   IDEL = 0, //空闲状态
   NET_CONNECT, //网络连接
   NET_DISCON, //网络断开
   NET_ERROR, //网络数据发送错误
   REC_INIT, //录音初始化
   REC_START, //录音启动
   REC_RUNNING, //录音采样中
   REC_SEND, //发送录音数据
}RECORDER_STA;

根据当前系统运行的状态，显示在OLED的画面上。

static void gui_lvgl_task(void *arg)
{
    lv_init();
    /*Initialize for LittlevGL*/
    oled_init();
    /*Select display 1*/
    // demo_create();
    gui_label_create();
    while (1) {
    switch(record_sta)
    {
      case  IDEL: //空闲状态
        lv_label_set_text(pLabel, "idel");
      break;
      case NET_CONNECT: //网络连接
        lv_label_set_text(pLabel, "connect");
      break;
      case NET_DISCON:    //网络断开
        lv_label_set_text(pLabel, "discon");
      break;
      case NET_ERROR:   //网络数据发送错误
        lv_label_set_text(pLabel, "neterr");
      break;
      case REC_INIT:    //录音初始化
        lv_label_set_text(pLabel, "init");
      break;
      case REC_START:   //录音启动
        lv_label_set_text(pLabel, "start");
      break;
      case REC_RUNNING: //录音采样中
        lv_label_set_text(pLabel, "rec...");
      break;
      case REC_SEND:    //发送录音数据
        lv_label_set_text(pLabel, "send");
      break;
      default:
      break;
    };
        /* Periodically call the lv_task handler.
         * It could be done in a timer interrupt or an OS task too.*/
        lv_task_handler();
        aos_msleep(5);
        lv_tick_inc(1);
    }
}

2.2 上位机软件

软件是本次测试工程的上位机软件，软件功能包括网络通讯，声音采样控制，波形展示，录音数据存储，状态显示等几个部分。利用TCPServer在端口为26666建立一个监听，接收来自下位机的连接申请。通过上位机的采样启动按钮发送启动命令，下位机接收到启动命令后启动录音采样并存储，采样结束后，触发数据发送，上位机接收到数据后存入缓存中，同时刷新波形显示。点击文件保存按钮，在弹出的对话框中输入名称和选择存储路径，完成接收到的数据保存到文件的工作。

1）界面布局

如图所示，界面中包括标题栏“RVB2601声音采集系统”，按钮控制区，包括录音启动控制和录音文件保存。状态显示区，在录音过程中，显示包括网络通讯在内的信息显示。波形展示区，将接收到的波形实时显示出来，支持波形的局部放大查看等基本功能。

2）波形数据分析

利用软件Audition，打开保存的录音数据，可以播放和对数据进行分析。

3、实测效果演示

3.1 连接建立

上位机在和下位机完成以太网连接后，小灯由绿色变为红色，如果连接断开，小灯由红色变为绿色。

通过串口中断，如果连接成功建立，屏幕打印连接服务器成功提示。

液晶显示屏上显示“connect"字样。

3.2 启动录音和数据传输

接到上位机启动录音采样命令后，终端打印录音开始。当录音采样结束后，自动进入发送程序，完成录音数据发送。液晶显示屏上也有相应的显示，由于切换速度较快，具体细节参见后面的视频部分。

3.3 波形展示

通过软件打开形成的录音文件和上位软件采集的数据比对，是相同的。

上位软件实时显示的录音数据波形。

3.4 视频

1） RVB2601录音过程中，液晶显示屏上状态变化显示

2）下位机和上位机联调全过程视频

4、写在最后总结的话

通过本次的测试，体验到了国产RSIC-V的发展，尤其是平头哥的这款处理器，和CDK开发环境的组合，给我的感觉是丝般顺滑的开发过程。而且在遇到问题的时候，钉钉上的技术支持和网站上的工单问题解决方式，都非常有效率，非常不错的一次测试。

注：联调视频拍的不太好，主要是手机拍摄，画面范围小，而且一个人拍不太好操作。

本文源自：平头哥芯片开放社区

RVB2601开发板试用5——远程音频采集系统

1、概述

2、测试程序

2.1 下位机软件

1）初始化

2）以太网数据接收

3）以太网数据发送

4）音频采样

5）运行状态显示

2.2 上位机软件

1）界面布局

2）波形数据分析

3、实测效果演示

3.1 连接建立

3.2 启动录音和数据传输

3.3 波形展示

3.4 视频

4、写在最后总结的话

平头哥芯片开放社区

热门文章

最新文章

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

RVB2601开发板试用5——远程音频采集系统

1、概述

2、测试程序

2.1 下位机软件

1） 初始化

2） 以太网数据接收

3）以太网数据发送

4）音频采样

5）运行状态显示

2.2 上位机软件

1）界面布局

2）波形数据分析

3、实测效果演示

3.1 连接建立

3.2 启动录音和数据传输

3.3 波形展示

3.4 视频

4、写在最后总结的话

平头哥芯片开放社区

热门文章

最新文章

相关电子书

相关实验场景

1）初始化

2）以太网数据接收