Camera知识体系架构之驱动&应用&调试学习笔记-以瑞芯微RV1109为例(一)

简介: Camera知识体系架构之驱动&应用&调试学习笔记-以瑞芯微RV1109为例(一)

Camera知识体系庞大、又杂、又难,虽然资料也不少,但是都很乱,很容易让人感到迷茫,失去学习的信心。对于初入这个体系的小白很难找到自己的学习的目标和方法。众所周知,学好Camera相关的知识,能够在音视频相关等行业拿到非常高的报酬:

640.png

640.png

根据最近自己调试瑞芯微RV1109平台Camera的一些心得体会,我将它们一一总结出来分享给大家:

1、瑞芯微平台Camera调试知识体系

1.1、调试RK平台摄像头的一些关键缩写语
缩写 全称
3A =>(AWB, AE, AF) 表示AWB, AE, AF的简写
AE =>(Auto Exposure) 表示自动曝光
AF =>(Auto Focus) 表示自动对焦
AWB =>(Auto White Balance) 表示自动白平衡
FBC =>(Frame Buffer Compressed) 表示帧缓冲压缩
FBC0 =>f(Rockchip yuv420sp fbc encoder) 表示RK平台yuv420sp fbc 编码
FBC2 =>(Rockchip yuv422sp fbc encoder) 表示RK平台yuv422sp fbc 编码
RkAiq =>(Rockchip Automatical Image Quality) 表示RK平台自动图像质量
IQ =>(Image Quality) 表示图像质量
ISP =>(Image Signal Process) 表示图像信号处理
ISPP =>(Image Signal Post Process) 表示图像信号后处理
1.2、瑞芯微平台Camera调试知识体系划分

640.png

以上分为:软件控制流程、图像算法、图像效果,这是相对于Android平台来划分的(图片来源于韦东山老师专家计划的Camera相关章节的学习笔记)。对于驱动工程师,我们只需要关注以下两个点:


图像算法:ISP算法(硬件)、3A算法(AE(曝光),AF(自动对焦),AWB(自动白平衡)、后处理算法(HDR、MFNR)


图像效果调试(Tunning):ISP调试、3A调试、后处理算法调试

1.3、瑞芯微平台中Camera的数据流通路

640.png

如上图(图片来源于瑞芯微原厂文档)所示,这张图反馈了以下信息:


Camera数据经过ISP20采集,ISP20再输出经过一系列图像处理算法后的数据,RkAiq不断从ISP20获取统计数据,并经过3A等算法生成新的参数反馈给ISP20,如上所示,以上的设备节点并不是固定的,它可能会改变,我们可以使用media-ctl查看对应的节点。


RKISP驱动主要是依据v4l2 / media framework实现硬件的配置、中断处理、控制 buffer轮转,以及控制subdevice(如mipi dphy及sensor)的上下电等功能,它的处理过程其实是非常复杂的,我们来看下面这张图(图片来源于瑞芯微原厂文档)就知道了:

640.png

1.3.1、通过搜索/sys目录下查找对应的节点名称
grep "" /sys/class/video4linux/*/name

来获取相应的节点,如下所示,这是通过grep "" /sys/class/video4linux/*/name来获取的节点信息:

640.png

640.png

640.png

640.png

这里你可能会发现,一个ISP节点有多个video节点的对应关系,其实它们是位于不同的media设备下的,因此在不同的media下所对应的video节点也是不同的。


其中,冒号前面的一部分表示video节点,冒号后面一部分就是ISP节点:

640.png

如上所示,video节点为:

/sys/class/video4linux/v4l-subdev0/name

ISP节点为:

rkispp-subdev
1.3.2、通过media-ctl获取拓扑信息

我们可以通过media-ctl获取拓扑信息,然后找到相应的数据通路,分别输入以下指令:

media-ctl -p -d /dev/media0
media-ctl -p -d /dev/media1
media-ctl -p -d /dev/media2
media-ctl -p -d /dev/media3

然后我们就可以找到ISP20输出的四路数据的信息了:

640.png

也就是说,我们在应用程序中只需要去操作:

/dev/video30  或  rkispp_m_bypass
/dev/video31  或  rkispp_scale0
/dev/video32  或  rkispp_scale1
/dev/video33  或  rkispp_scale2

就可以对摄像头进行驱动了,另外:


rkispp_m_bypass这路数据流比较特殊,其不支持设置分辨率,其输出分辨率由ISP输入的分辨率决定,可以通过media-ctl查看拓扑结构确定ISP输入的分辨率:

640.png

如上所示,rkispp_m_bypass这路输出的分辨率为1920x1080。


其它三路数据:rkispp_scale0、rkispp_scale1、rkispp_scale2节点支持缩放,每一路支持的最大分辨率如下所示:

节点名称 视频设备ID 最大支持宽度 支持输出格式
rkispp_m_bypass /dev/video30 不支持设置分辨率,不支持缩放 NV12/NV16/YUYV/FBC0/FBC2/
rkispp_scale0 /dev/video31 max width: 3264,最大支持8倍缩放 NV12/NV16/YUYV
rkispp_scale1 /dev/video32 max width: 1280,最大支持8倍缩放 NV12/NV16/YUYV
rkispp_scale2 /dev/video33 max width: 1280,最大支持8倍缩放 NV12/NV16/YUYV

video id 节点不是固定的,我的节点也是通过media-ctl查看的。当然我们也可以使用v4l2-ctl来抓图,测试数据是否正常通信。

1.3.3、图像优化调试3A算法

当Sensor输出RAW BAYER RGB格式时,如RGGB,BGGR,GBRG,GRBG等,需要ISP20提供一系列图像处理算法来优化图像效果,此时需要RkAiq模块介入。


SDK提供了一种3A独立进程的方式(ispserver)集成了RkAiq库librkaiq.so,当我们使用RK提供的RKMEDIA进行编程获取据流时,能够得到具有ISP调试效果的图像。

2、RKISP调试

21、查看摄像头sensor驱动的适配情况

我选用的是gc2053这款摄像头,并且在Linux设备树中已经做了相应的支持,故我们可以通过获取内核启动信息来查看摄像头驱动的加载情况,获取方法:

dmesg | grep "gc2053"

我们可以看到如下信息:

640.png

其中,如果能在内核信息中看到以上两行信息:

[    0.831096] gc2053 1-0037: Detected GC2053 sensor
[    0.831201] rockchip-mipi-dphy-rx ff4b0000.csi-dphy: match m00_f_gc2053 1-0037:bus type 4

即表示摄像头已经适配成功了!

2.2、获取驱动版本号

搜索应的字段:

dmesg | grep "rkisp driver version"
dmesg | grep "rkispp driver version"

如下:

640.png

或者通过以下命令获取:

cat /sys/module/video_rkisp/parameters/version
cat /sys/module/video_rkispp/parameters/version

如下:

640.png

2.3、如何判断RKISP驱动加载状态

RKISP驱动如果加载成功,会有video及media设备存在于/dev/目录下。系统中可能存在多个/dev/video设备,通过/sys可以查询到RKISP注册的video节点:

grep '' /sys/class/video4linux/video*/name

查询信息如下:

640.png

当然也可以通过media-ctl命令来打印拓扑结构查看pipeline的状态是否正常,如果RKISP驱动加载成功,则在内核中能看到如下打印:

dmesg | grep Async


640.png

如果没有的话,则需要返回到1.1步骤去检查摄像头sensor驱动是否有报错,检测I2C通讯是否正常。

往期精彩

超轻量级网红软件定时器multi_timer(51+stm32双平台实战)


使您的软件运行起来: 防止缓冲区溢出(C语言精华帖)


RT-Thread UART设备驱动框架初体验(中断方式接收带\r\n的数据)


数显仪表盘显示“速度、方向、计数器”的跑马灯


MCU串口命令解析器的实现TKM32F499评估板串口通信学习与实践笔记

目录
相关文章
|
1月前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
|
6天前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
123 81
|
3天前
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。
|
2月前
|
Cloud Native 安全 持续交付
深入理解微服务架构及其在现代软件开发中的应用
深入理解微服务架构及其在现代软件开发中的应用
53 4
|
2月前
|
监控 持续交付 API
深入理解微服务架构及其在现代应用开发中的应用
深入理解微服务架构及其在现代应用开发中的应用
30 4
|
2月前
|
运维 Kubernetes Docker
深入理解容器化技术及其在微服务架构中的应用
深入理解容器化技术及其在微服务架构中的应用
68 1
|
2月前
|
监控 持续交付 API
深入理解微服务架构及其在现代软件开发中的应用
深入理解微服务架构及其在现代软件开发中的应用
56 3
|
2月前
|
边缘计算 监控 自动驾驶
揭秘云计算中的边缘计算:架构、优势及应用场景
揭秘云计算中的边缘计算:架构、优势及应用场景
|
2月前
|
存储 监控 API
深入解析微服务架构及其在现代应用中的实践
深入解析微服务架构及其在现代应用中的实践
52 0
|
2月前
|
监控 物联网 持续交付
深入理解微服务架构及其在现代软件开发中的应用
深入理解微服务架构及其在现代软件开发中的应用
37 0

热门文章

最新文章