一个强大的音视频编解码库-rkmedia的应用

简介: 一个强大的音视频编解码库-rkmedia的应用

前面写了对RV1109开发官方资料的补充文章:


瑞芯微RV1109配置7寸电容触摸屏的方向修改笔记


如何添加APP到Buildroot里(以瑞芯微rv1126为例)


瑞芯微RV1109配置GPIO设备树修改笔记(熟悉新平台从点灯大法开始)


对RV1109及瑞芯微平台感兴趣的读者,请自行到文末下载SDK:

640.png

RKMedia提供了一种媒体处理方案,可支持应用软件快速开发。RKMedia在各模块基础API上做进一步封装,简化了应用开发难度。该平台支持以下功能:VI(输入视频捕获)、VENC(H.265/H.264/JPEG/MJPEG 编码)、VDEC(H.265/H.264/JPEG、MJPEG 解码)、VO(视频输出显示)、RGA视频处理(包括旋转、缩放、裁剪)AI(音频采集)、AO(音频输出)、AENC(音频编码)、ADEC(音频解码)、MD(移动侦测)、OD(遮挡侦测)。(摘自RKmedia手册)


rkmedia 框架源码:

external/rkmedia/src

例程:

external/rkmedia/examples
链接:https://pan.baidu.com/s/1yJYKn6KtUYV4pRMFGKA37Q 
提取码:w5ig 
--来自百度网盘超级会员V1的分享

SDK中的参考文档:

640.png

1、external/rkmedia/doc
2、docs/RV1126_RV1109/Multimedia/Rockchip_Developer_Guide_Linux_RKMedia_CN.pdf
3、docs/RV1126_RV1109/Multimedia/Rockchip_Instructions_Linux_Rkmedia_CN.pdf

rkmedia 总体框架图如下:

640.png


640.png

那么在我自己的板子上如何来使用rkmedia的应用程序呢?

1、Camera翻转原理和实现

1.1、修改dts实现Sensor翻转

在编写demo前需要修改kernel的dts,我购买的是7寸1024*600的mipi接口显示屏以及mipi接口的gc2093摄像头sensor,由于我想要的是竖屏实现摄像头预览,所以就必须修改对应的kernel dts:


  • 修改Camera Sensor dts
vim kernel/arch/arm/boot/dts/rongpin/camera-gc2093x2.dtsi

修改 hflip 属性:

640.png

hflip 表示的是水平翻转的意思,设置为0或者设置为1是什么意思呢?打开 GC2093 Datasheet ,搜 索 flip ,我们可以看到:

640.png

也就是说找到这个0x0017这个寄存器,往这里面写入对应的数值(0或1)即可看到相应的效果,GC2093的驱动代码在Linux内核里也是有提供的,位于:

vim kernel/drivers/media/i2c/gc2093.c

640.png

那么肯定有操作旋转的方法,我们往下查找即可看到:

640.png

到这里我们就彻底明白了,驱动程序通过访问设备树,获取节点 vfliphflip ,然后通过of_property_read_u32 函数将该节点对应的数值转化为无符号整型,取出数值后,将该数值写入寄存 器 0x0017 来达到水平、垂直翻转的效果。

1.2、重新编译kernel

./build.sh kernel && ./build.sh firmware

640.png

生成镜像路径:

rockdev/

生成镜像:

boot.img

将 boot.img 通过瑞芯微开发工具重新下载更新到开发板上即可。

640.png

2、基于rkmedia编写应用程序

2.2、摄像头竖屏实时预览

自己参考实现的源代码: camera_display_test.c

链接:https://pan.baidu.com/s/1yJYKn6KtUYV4pRMFGKA37Q 
提取码:w5ig 
--来自百度网盘超级会员V1的分享

在荣品RV1109开发平台上实现竖屏摄像头LCD预览效果

640.png

640.png

2.3、摄像头实时预览 & RTSP本地同步推流

自己参考实现的源代码: camera_display_rtsp_test.c

链接:https://pan.baidu.com/s/1yJYKn6KtUYV4pRMFGKA37Q 
提取码:w5ig 
--来自百度网盘超级会员V1的分享

在荣品RV1109开发平台上实现竖屏摄像头LCD预览以及同步RTSP本地推流效果:

640.png

3、将自己编写的应用程序放到examples目录下

external/rkmedia/examples/

然后切换到rkmedia例程目录下:

cd external/rkmedia/examples/

4、在CMakeLists.txt中添加例程编译信息

#--------------------------
# camera_display_test.c
#--------------------------
add_executable(camera_display_test camera_display_test.c ${COMMON_SRC})
add_dependencies(camera_display_test easymedia)
target_link_libraries(camera_display_test easymedia)
target_include_directories(camera_display_test PRIVATE
${CMAKE_SOURCE_DIR}/include)
install(TARGETS camera_display_test RUNTIME DESTINATION "bin")
#--------------------------
# camera_display_rtsp_test.c
#--------------------------
link_directories(${PROJECT_SOURCE_DIR}/librtsp/)
add_executable(camera_display_rtsp_test camera_display_rtsp_test.c
${COMMON_SRC})
add_dependencies(camera_display_rtsp_test easymedia)
target_link_libraries(camera_display_rtsp_test easymedia rtsp)
target_include_directories(camera_display_rtsp_test PRIVATE
${CMAKE_SOURCE_DIR}/include)
install(TARGETS camera_display_rtsp_test RUNTIME DESTINATION "bin")

5、重新编译rkmedia

640.png

640.png

编译完成,由于是基于buildroot架构进行编译,所以将buildroot下output下对应平台生成的bin文件拷贝到开发板上即可运行。


RV1109 SDK源码及文档:

640.png

链接:https://pan.baidu.com/s/1QKkQ3SKwuaTImnH3CbpYkg 
提取码:5sg0

往期精彩

全志A64 设备树里的gpio应用开发


如何添加APP到Buildroot里(以瑞芯微rv1126为例)


Buildroot系统构建学习笔记(以百问网imx6ull开发板为例)


瑞芯微RV1109配置7寸电容触摸屏的方向修改笔记


瑞芯微RV1109配置GPIO设备树修改笔记(熟悉新平台从点灯大法开始)

目录
相关文章
|
编解码 算法 Ubuntu
Gstreamer 硬解码Rtsp流及代码实现
Gstreamer 硬解码Rtsp流及代码实现
|
传感器 编解码 Linux
V4L2框架 | MIPI Camera指令调试笔记
V4L2框架 | MIPI Camera指令调试笔记
5986 2
|
网络安全 虚拟化 Windows
windows 11安装openSSH server 遇到的"kex_exchange_identification: read: Connection reset"问题
windows 11安装openSSH server 遇到的"kex_exchange_identification: read: Connection reset"问题
1787 60
|
11月前
|
Ubuntu Linux 编译器
Linux/Ubuntu下使用VS Code配置C/C++项目环境调用OpenCV
通过以上步骤,您已经成功在Ubuntu系统下的VS Code中配置了C/C++项目环境,并能够调用OpenCV库进行开发。请确保每一步都按照您的系统实际情况进行适当调整。
1858 3
|
11月前
|
机器学习/深度学习 数据可视化 自动驾驶
YOLO11-seg分割如何训练自己的数据集(道路缺陷)
本文介绍了如何使用自己的道路缺陷数据集训练YOLOv11-seg模型,涵盖数据集准备、模型配置、训练过程及结果可视化。数据集包含4029张图像,分为训练、验证和测试集。训练后,模型在Mask mAP50指标上达到0.673,展示了良好的分割性能。
4461 4
|
编解码 监控 网络协议
如何用魔法般的步骤实现RTSP推送H.264与H.265(HEVC),打造震撼视听盛宴,让每一帧都充满魔力!
【9月更文挑战第3天】实现RTSP流媒体服务推送H.264和H.265编码视频是现代视频监控及直播平台的关键技术。本文详细介绍环境搭建、编码配置及服务器与客户端实现方法。首先,通过FFmpeg捕获视频并编码成RTSP流,接着使用VLC等工具接收播放。此外,还提供了C++示例代码,演示如何利用libv4l2和FFmpeg自定义服务器端实现。希望本文能帮助读者成功搭建RTSP视频流系统。
1759 1
|
11月前
|
机器学习/深度学习 人工智能 文字识别
ultralytics YOLO11 全新发布!(原理介绍+代码详见+结构框图)
本文详细介绍YOLO11,包括其全新特性、代码实现及结构框图,并提供如何使用NEU-DET数据集进行训练的指南。YOLO11在前代基础上引入了新功能和改进,如C3k2、C2PSA模块和更轻量级的分类检测头,显著提升了模型的性能和灵活性。文中还对比了YOLO11与YOLOv8的区别,并展示了训练过程和结果的可视化
17202 0
|
算法 Linux 编译器
【Linux 第三方库】 linux 交叉编译fontconfig,freetype,libxml2,uuid
【Linux 第三方库】 linux 交叉编译fontconfig,freetype,libxml2,uuid
607 0
|
安全 Linux 网络安全
【工具使用】几款优秀的SSH连接客户端软件工具推荐FinalShell、Xshell、MobaXterm、OpenSSH、PUTTY、Terminus、mRemoteNG、Terminals等
【工具使用】几款优秀的SSH连接客户端软件工具推荐FinalShell、Xshell、MobaXterm、OpenSSH、PUTTY、Terminus、mRemoteNG、Terminals等
114524 0
|
Ubuntu Shell 数据安全/隐私保护
Ubuntu18.04没有WiFi怎么解决(图文详解)
Ubuntu18.04没有WiFi怎么解决(图文详解)
4989 0
Ubuntu18.04没有WiFi怎么解决(图文详解)