Android图形显示系统——下层显示4:图层合成下(硬件合成器)

简介: 硬件合成器-HwComposer使用3D合成,需要大面积的像素混合计算和大量的内存传输(GPU读写GraphicBuffer所需),对GPU和DDR来说是一个巨大的负担。在GPU/DDR重度使用的场景(比如玩游戏),会造成发热、卡顿等。 为了提升性能,减少功耗,可以将合成这个过程交由另一个芯片完成,减轻GPU负担。进一步,直接让这个芯片连LCD,在LCD需要显示某一行时

硬件合成器-HwComposer

使用3D合成,需要大面积的像素混合计算和大量的内存传输(GPU读写GraphicBuffer所需),对GPU和DDR来说是一个巨大的负担。在GPU/DDR重度使用的场景(比如玩游戏),会造成发热、卡顿等。
为了提升性能,减少功耗,可以将合成这个过程交由另一个芯片完成,减轻GPU负担。进一步,直接让这个芯片连LCD,在LCD需要显示某一行时在线合成。
HwComposer便是这一个/多个专用合成芯片的驱动HAL层。
驱动由集成芯片系统的厂商自行设计,但需要遵循一定的标准,这个标准就是Android规定的HwComposer接口。

接口定义

hwcomposer的接口定义位于此文件:
hardware/libhardware/include/hardware/hwcomposer.h
其中部分宏定义在:
hardware/libhardware/include/hardware/hwcomposer_defs.h

Layer

在SurfaceFlinger中,Layer对应于window表示一个Buffer循环体系,对HwComposer而言,Layer仅指代当前Buffer,也即SurfaceFlinger中的Layer的当前帧。

typedef struct hwc_layer_1 {
    int32_t compositionType;//合成类型,SurfaceFlinger将合成目标Framebuffer的合成类型设为HWC_FRAMEBUFFER_TARGET,其他hwcomposer在prepare时根据实际情况修改
    /*
     * HWC_FRAMEBUFFER_TARGET:该Layer是3D合成的目标Layer
     * HWC_FRAMEBUFFER:hwcomposer无法处理此Layer,该Layer需要走3D合成流程,用OpenGL绘制
     * HWC_OVERLAY:该Layer为硬件合成器所处理,不需要OpenGLES去渲染
     * HWC_SIDEBAND:该Layer为视频的边频带,需要硬件合成器作特殊处理,若不支持,OpenGL方式只能以一个色块替代,这个标志是外界(应用/驱动)调用窗口系统的perform方法配置的
     * HWC_CURSOR_OVERLAY:该Layer可通过setCursorPositionAsync 方法改变坐标
     */

    uint32_t hints;//hwcomposer设置,通知SurfaceFlinger需要修改的配置
    /*
    HWC_HINT_TRIPLE_BUFFER  = 0x00000001:表示需要SurfaceFlinger将此Layer改成3Buffer循环
    HWC_HINT_CLEAR_FB       = 0x00000002:要求SurfaceFlinger清空该Layer位置的FrameBuffer数据(即置0)
    */

    uint32_t flags;//SurfaceFlinger设置,hwcomposer作处理
    /*
    HWC_SKIP_LAYER = 0x00000001:此Layer不参与合成,应当忽略
    HWC_IS_CURSOR_LAYER = 0x00000002:此Layer建议设定为一个CURSOR_LAYER,hwcomposer能处理的话将其合成类型改为HWC_CURSOR_OVERLAY
    */

    /*该Layer的颜色/Buffer信息*/
    union {
        hwc_color_t backgroundColor;//背景颜色,适用于纯色Layer,hwc_color_t 为一个 argb 结构体

        struct {
            union {
                buffer_handle_t handle;//此即之间提到的GraphicBuffer
                const native_handle_t* sidebandStream;//HWC_SIDEBAND类型Layer的buffer
            };

            uint32_t transform;//该Layer所需要作的变换,具体为:
            /*
        HWC_TRANSFORM_FLIP_H = HAL_TRANSFORM_FLIP_H//水平翻转
        HWC_TRANSFORM_FLIP_V = HAL_TRANSFORM_FLIP_V//垂直翻转
        HWC_TRANSFORM_ROT_90 = HAL_TRANSFORM_ROT_90,//需要旋转90度
        HWC_TRANSFORM_ROT_180 = HAL_TRANSFORM_ROT_180,//需要旋转180度
        HWC_TRANSFORM_ROT_270 = HAL_TRANSFORM_ROT_270,//需要旋转270度
            */

            int32_t blending;//当前Layer绘制时,和底色/目标色的混合方式
            //HWC_BLENDING_NONE = 0x100:不混合,直接覆盖
            //HWC_BLENDING_PREMULT = 0x105:该Layer的颜色已经做过alpha预乘,因此混合方式为 src + (1-src.a)*dst
            //HWC_BLENDING_COVERAGE = 0x405:该Layer的颜色未做过预乘,按 src.a * src + (1-src.a) * dst 的方式混合

            union {
                // crop rectangle in integer (pre HWC_DEVICE_API_VERSION_1_3)
                hwc_rect_t sourceCropi;
                hwc_rect_t sourceCrop; // just for source compatibility
                // crop rectangle in floats (as of HWC_DEVICE_API_VERSION_1_3)
                hwc_frect_t sourceCropf;
            };//该Layer取哪一个区域进行合成

            hwc_rect_t displayFrame;//该Layer合成的目标区域

            hwc_region_t visibleRegionScreen;//该Layer的可见区域,该区域必然是displayFrame的子集。这个区域由SurfaceFlinger计算而得,用于提示hwcomposer不去合成该Layer的不可见区域,hwcomposer中应当以这个为基准,对应计算该Layer相应的sourcecrop。

            int acquireFenceFd;//由Buffer生产者创建,SurfaceFlinger传递进来,hwcomposer在使用该Layer的Buffer之前,需要等这个fence
            int releaseFenceFd;//由hwcomposer创建,生产者在使用该Buffer之前需要等此fence

            uint8_t planeAlpha;//整个Layer的alpha值,在取Layer的像素作运算之前,需要先乘 planeAlpha/255。

            /* Pad to 32 bits */
            uint8_t _pad[3];//用于结构体对齐,占位用

            hwc_region_t surfaceDamage;//记录相对上一次合成而言,发生了改变的source区域
        };
    };

//保留位,用于驱动层自行设计
#ifdef __LP64__
    uint8_t reserved[120 - 112];
#else
    uint8_t reserved[96 - 84];
#endif

} hwc_layer_1_t;

这里面最难理解和最易出错的是 SourceCrop、DisplayFrame和VisibleRegion,在处理SOC上的显示问题时,这往往是首先考虑的因素:
source_displayframe
如图所示,该Layer的显示区域部分被L2完全挡住,source crop 为该Layer参与合成的范围,display frame 为该Layer合成的目标区域,visibleRegion为该Layer被挡住后,剩余的可见区域集。

看完了这个结构体,上一篇
http://blog.csdn.net/jxt1234and2010/article/details/46057267
所提到的adb shell dumpsys SurfaceFlinger 所得到的表格,各参数表示什么意思自然一下就清楚了。

Display

typedef struct hwc_display_contents_1 {
    /* hwcomposer设置,surfaceflinger去等的fence。对于物理屏(实际上是使用在线合成方式的物理屏),对于虚拟屏/离线合成,此fence在离线合成的目标buffer完成全部写入后解除。
     */
    int retireFenceFd;

    union {
        struct {
            /* HWC_DEVICE_VERSION_1_0 使用,dpy和sur对应于EGLDisplay 和 EGLSurface
             */
            hwc_display_t dpy;
            hwc_surface_t sur;
        };//HWC_DEVICE_VERSION_1_0

        struct {
            /*HWC_DEVICE_VERSION_1_3 之后支持 hwcomposer合成多屏,这里是指虚拟屏的输出buffer和对应的fence*/
            buffer_handle_t outbuf;
            int outbufAcquireFenceFd;
        };
    };

    /*合成该显示屏的所有Layer*/
    uint32_t flags;
    size_t numHwLayers;
    hwc_layer_1_t hwLayers[0];

} hwc_display_contents_1_t;

关于物理显示屏(physical display)和虚拟显示屏(virtual display)

物理显示屏表示连接实际的显示仪器如LCD,目的是产生显示效果,可以使用在线合成。
虚拟显示屏表示目的是合成一个Buffer,不需要理会这个Buffer后续如何产生显示效果,这时需要把所有图层合成到指定的Buffer上。这种情况下必须离线合成。典型场景是手机连WFD/hdmi,手机合成好的Buffer通过wifi/hdmi传输到电视上显示。

Device

最后是device的函数指针定义

typedef struct hwc_composer_device_1 {
    struct hw_device_t common;
    //这种方式相当于C语言的继承实现,理解为 hwc_composer_device_1 继承于 hw_device_t 就可以了。
    //hw_device_t 包含一个基本信息 version(版本号),下面会提到

    /*对所有显示屏中所有Layer作合成准备(此时也可以开始发送合成的命令码下去,启动硬件合成,但不需要等待完成),hwcomposer需要正确汇报每个Layer的composetype,以告知SurfaceFlinger是否需要额外处理。
    version 为 1.0 的驱动,只支持一个显示屏
    version 为 1.1 的驱动,只支持物理显示屏
    version 为 1.3 及以上的驱动,支持物理和虚拟显示屏*/
    int (*prepare)(struct hwc_composer_device_1 *dev,
                    size_t numDisplays, hwc_display_contents_1_t** displays);

    /*此方法将完成各个图层的合成与显示,等效于EGL标准里面的eglSwapBuffers,不过eglSwapBuffers是对OpenGL标准/GPU有效,此方法是对硬件合成器有效*/
    int (*set)(struct hwc_composer_device_1 *dev,
                size_t numDisplays, hwc_display_contents_1_t** displays);

    /*这个接口一般只用于开启hwcomposer的vsync,在线合成触发vsync的机制较离线合成的设计会麻烦一些*/
    int (*eventControl)(struct hwc_composer_device_1* dev, int disp,
            int event, int enabled);

    //控制屏幕状态的方法
    union {
        /* HWC 1.3及之前版本,采用 blank 方式,开关某个显示屏 */
        int (*blank)(struct hwc_composer_device_1* dev, int disp, int blank);

        /* HWC 1.4及之后,提供更精细的 setPowerMode ,支持显示屏以较低功耗(但不关)的状态显示*/
        int (*setPowerMode)(struct hwc_composer_device_1* dev, int disp,
                int mode);
    };

    /*查询Hwcomposer的信息*/
    int (*query)(struct hwc_composer_device_1* dev, int what, int* value);

    /*注册
    *invalidate:屏幕刷新时触发
    *vsync:hwcomopser中的vsync事件产生时触发
    *hotplug:显示屏连接/断开时触发
    * 三个回调函数*/
    void (*registerProcs)(struct hwc_composer_device_1* dev,
            hwc_procs_t const* procs);

    /*打印信息,调试用*/
    void (*dump)(struct hwc_composer_device_1* dev, char *buff, int buff_len);

    /*获取显示屏配置、属性*/
    int (*getDisplayConfigs)(struct hwc_composer_device_1* dev, int disp,
            uint32_t* configs, size_t* numConfigs);
    int (*getDisplayAttributes)(struct hwc_composer_device_1* dev, int disp,
            uint32_t config, const uint32_t* attributes, int32_t* values);
    int (*getActiveConfig)(struct hwc_composer_device_1* dev, int disp);
    /*配置属性,index表示有效属性的编号*/
    int (*setActiveConfig)(struct hwc_composer_device_1* dev, int disp,
            int index);

    /*更改游标层的坐标*/
    int (*setCursorPositionAsync)(struct hwc_composer_device_1 *dev, int disp, int x_pos, int y_pos);

    /*自行添加的保留函数*/
    void* reserved_proc[1];

} hwc_composer_device_1_t;
相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
目录
相关文章
|
28天前
|
搜索推荐 Android开发 iOS开发
安卓与iOS系统的用户界面设计对比分析
本文通过对安卓和iOS两大操作系统的用户界面设计进行对比分析,探讨它们在设计理念、交互方式、视觉风格等方面的差异及各自特点,旨在帮助读者更好地理解和评估不同系统的用户体验。
19 1
|
2月前
|
搜索推荐 Android开发 iOS开发
探析安卓与iOS系统的优劣
【2月更文挑战第7天】安卓与iOS是当今手机市场上最主流的两款操作系统,各有优劣。本文将从用户体验、开放程度、生态系统等方面对两者进行深入探析,以期帮助读者更好地了解它们的特点。
|
2月前
|
Android开发 数据安全/隐私保护 iOS开发
安卓与iOS系统的发展趋势与比较分析
【2月更文挑战第6天】 在移动互联网时代,安卓和iOS系统作为两大主流移动操作系统,各自呈现出不同的发展趋势。本文将从技术角度出发,对安卓和iOS系统的发展方向、特点及未来趋势进行比较分析,以期为读者提供更深入的了解和思考。
35 4
|
22天前
|
机器学习/深度学习 人工智能 搜索推荐
探索安卓应用中的新趋势:人工智能驱动的智能推荐系统
传统的应用推荐系统已经无法满足用户日益增长的个性化需求。本文将探讨如何通过引入人工智能技术,构建智能推荐系统,为用户提供更加精准、个性化的应用推荐体验,进而提升应用的用户满意度和留存率。
17 0
|
1月前
|
搜索推荐 测试技术 定位技术
基于Android的自助导游系统的设计与实现(论文+源码)_kaic
基于Android的自助导游系统的设计与实现(论文+源码)_kaic
|
1月前
|
搜索推荐 安全 Android开发
安卓与iOS系统的用户体验比较
【2月更文挑战第11天】 在当今移动设备市场上,安卓和iOS系统一直是两大主流操作系统。本文将从用户界面设计、应用生态、系统定制性等方面对安卓和iOS系统进行比较分析,旨在探讨两者的优势和劣势,为用户选择合适的操作系统提供参考。
|
2月前
|
人工智能 vr&ar Android开发
探索安卓与iOS系统的发展趋势
【2月更文挑战第9天】 过去,人们对于安卓和iOS系统的争论主要集中在性能、用户体验和生态系统的比较上。然而,随着移动互联网的快速发展,两大操作系统在人工智能、物联网、安全性等方面的发展趋势也备受关注。本文将探讨安卓与iOS系统在技术发展方面的差异以及未来的发展趋势。
|
2月前
|
搜索推荐 Android开发 iOS开发
探讨安卓与iOS系统的用户体验差异
【2月更文挑战第7天】 在当今移动互联网时代,安卓和iOS系统是最受欢迎的手机操作系统。本文将从用户界面设计、应用生态系统、定制性能等方面探讨安卓与iOS系统的用户体验差异,为读者提供更深入的了解。
|
2月前
|
安全 开发工具 Android开发
安卓与iOS系统的优缺点比较
【2月更文挑战第6天】 安卓和iOS是目前市场上最流行的两种操作系统。虽然它们都拥有自己的独特之处,但它们也有一些共同之处。本文将探讨这两种操作系统的优缺点,并对它们进行比较。