编辑语:
为助力“玄铁杯”RISC-V应用创新大赛的顺利进行,协助参赛者快速上手操作大赛提供的RISC-V开发套件,OCC推出RISC-V大赛开发套件解析系列内容,从硬件特点到例程开发为开发者详细解读大赛开发套件。
上期内容,我们介绍了HaaS-UI的语音AI服务,带大家了解了D1哪吒开发板如何基于HaaS-UI开发离线语音功能或在线语音功能。本期我们将继续介绍HaaS-UI的基础功能,讲解其视频播放功能的开发。
01 概述
本文介绍D1 哪吒开发板上,基于HaaS-UI的视频播放功能。
02 相关文件介绍
视频播放涉及到的文件较多,下文将分模块展开描述。
2.1 media service
/usr/bin/media_service多媒体服务启动主程序
/usr/lib: libadecoder.so libaftertreatment.so libaw_aacdec.so libaw_alacdec.so libaw_amrdec.so libaw_apedec.so libaw_atrcdec.so libaw_dsddec.so libaw_flacdec.so libaw_g729dec.so libawh264.so libawh265.so libawmjpeg.so libaw_mp3dec.so libawmpeg2.so libawmpeg4base.so libawmpeg4dx.so libawmpeg4h263.so libawmpeg4normal.so libaw_oggdec.so libaw_opusdec.so libaw_radec.so libawrecorder.so libawrpaf.so libaw_siprdec.so libaw_wavdec.so libawwmv3.so libcdc_base.so libcdx_base.so libcdx_common.so libcdx_muxer.so libcdx_parser.so libcdx_playback.so libcdx_stream.so libfbm.so libgstframebuffersink.so libMemAdapter.so libOmxCore.so libOmxVdec.so libOmxVenc.so libsbm.so libscaledown.so libsubdecoder.so libtplayer.so libuapi.so libvdecoder.so libvenc_base.so libvenc_common.so libvenc_h264.so libvenc_h265.so libvenc_jpeg.so libvencoder.so libVE.so libvideoengine.so libxplayer.so全志tplayer依赖库
2.2 JS 播放器
haas-ui-demo/src/libs/AuiPlayer.jshaas-ui-demo/src/libs/MediaDbus.jshaas-ui-demo/src/libs/MediaService.js JS 播放器库
haas-ui-demo/src/pages/cases/components/media.vue 播放器demo界面
2.3 Yocto描述
meta-d1/recipes-extended/media/media-service.bb yocto media service服务描述
meta-d1/recipes-multimedia/tina-multimedia/tina-multimedia.bb 全志tplayer多媒体描述
03 框架介绍
多媒体服务框架采用通用的C/S架构,服务端提供离线语音功能和在线语音等功能。客户端可以接收服务端发出的事件,也可以向服务端发送控制命令。如下图框架:
- 多媒体服务Media Service为一个进程,单独运行;Media Client(JS)为一个进程,haas-ui中运行。两者通过D-Bus通信。
- Media Service分成2部分,一部分是通用的xplayer框架,另一部分是全志提供的tplayer播放器。
- xplayer框架提供一组移植接口,全志的tplayer播放器只需要实现该组移植接口,即可完成多媒体播放服务的开发。
D-Bus介绍
D-Bus是一种高级的进程间通信机制,它由freedesktop.org项目提供,使用AFL和GPL双许可证发行。D-Bus 提供system守护进程(用于“添加新硬件设备”或“打印队列更改”等事件)和per-user-login-session守护进程(用于用户应用程序之间的一般 IPC 需求)。此外,消息总线建立在通用的一对一消息传递框架之上,任何两个应用程序都可以使用该框架进行直接通信(无需通过消息总线守护进程)。
目前,通信应用程序在一台计算机上,或者通过未加密的 TCP/IP 进行,适合在具有共享 NFS 主目录的防火墙后面使用。D-Bus最主要的用途是在Linux桌面环境为进程提供通信,同时能将Linux桌面环境和Linux内核事件作为消息传递到进程。D-Bus的主要概率为总线,注册后的进程可通过总线接收或传递消息,进程也可注册后等待内核事件响应,例如等待网络状态的转变或者计算机发出关机指令。目前,D-Bus已被大多数Linux发行版所采用,开发者可使用D-Bus实现各种复杂的进程间通信任务。在D1 开发板JS轻应用平台中,服务使用D-Bus通信机制对外提供事件信号(Signal)和方法(Method Call)。服务使用的是D-Bus的系统总线(System Bus)。
04 HaaS-UI界面操作
4.1 播放本地存储中的视频
进入到HaaS-UI的“媒体播放”界面:
点击“open file”按钮
选择播放的文件,例如一个.avi文件
点击“play”按钮
4.2 播放网络的视频
播放网络视频和播放网络视频步骤差不多。只有2点差别:
- 先把网络地址写在一个文本文件中。
- 要保证网络通畅。
其它步骤和播放本地视频一致。
url.txt生成示例:
echo -n http://xxx.avi > url.txt
选择url.txt
05
下期预告
以上即为本期全部介绍,希望能为有视频功能开发需求的开发者提供借鉴和帮助。下期内容我们将为大家介绍D1哪吒开发板如何基于HaaS-UI开发FOTA功能。欢迎大家继续关注本系列内容。