Metal 简述 & API

简介: Metal是苹果在2018年推出用于取代在苹果端的业务的图形编程接口,在2018年之前使用的是基于OpenGL ES 封装的GLKit,通过Metal相关API直接操作GPU,能最大限度的利用GPU能力。

Metal介绍


Metal是苹果在2018年推出用于取代在苹果端的业务的图形编程接口,在2018年之前使用的是基于OpenGL ES 封装的GLKit,通过Metal相关API直接操作GPU,能最大限度的利用GPU能力。


特点


Metal具有以下特点


  • 低CPU开销
  • 最佳GPU性能,即metal 能在GPU上发挥最大的性能
  • 最大限度的提高CPU/GPU 的并发性
  • 有效的资源管理

image.png


图形管道 graphics pipelines


Metal中图形管道与OpenGL ES是一致的,并没有什么差别,如图所示

image.png

metal中的图形管道


  • 通过CPU将顶点数据传递到顶点着色器
  • 顶点着色器将处理好的顶点进行图元装配
  • 然后进行光栅化,得到每个像素点的颜色值
  • 然后将颜色传入片元着色器进行处理
  • 最后将数据存储到帧缓存区,并显示到屏幕上


Metal的使用建议


苹果对metal的使用有以下几点建议:


  • Separate Your Rendering Loop 分开渲染循环:不希望将渲染的处理放到VC中,希望将渲染循环封装在一个单独的类中
  • Respond to View Events 响应视图的事件,即MTKViewDelegate协议,也需要放在自定义的渲染循环中
  • Metal Command Objects 创建一个命令对象,即创建执行命令的GPU设备、MTLCommandQueue命令队列以及驱动GPU的MTCommandBuffer渲染缓存区


Metal命令对象之间的关系


metal命令对象之间的关系如下图所示


image.png


  • 命令缓存区(command buffer)是从命令队列(command queue)创建的
  • 命令编码器(command encoder)将命令编码到命令缓存区中
  • 提交命令缓存区并将其发送到GPU
  • GPU执行命令并将结果呈现为可绘制


下面介绍Metal的相关API


Metal API


MTKView


在MetalKit中提供了一个视图类MTKView,类似于GLKit中GLKView,它是NSView(macOS中的视图类)或者UIView(iOS、tvOS中的视图类)的子类。用于处理metal绘制并显示到屏幕过程中的细节。


所以在使用metal时,首先需要先创建MTKView对象,有两种创建方式


  • 直接修改storyboard中view的类
  • 使用init创建


MTLDevice


由于metal是操作GPU的,所以需要获取GPU使用权限,即拿到GPU对象,Metal中提供了MTLDevice协议表示GPU接口,在iOS中一般是通过默认的方式MTLCreateSystemDefaultDevice()获取GPU

_view.device = MTLCreateSystemDefaultDevice();

metal的使用必须使用真机,且必须是6s及以上的机型

如果设备不支持mental,将会返回空

如果想使用多个MTLDevice实例,或者从一个MTLDevice切换到另一个,则需要为每个MTLDevice创建单独的一组对象


MTLDevice协议表示可以执行命令的GPU,提供了如下功能


  • 创建新的命令队列
  • 从内存分配缓冲区
  • 创建纹理
  • 查询设备功能

image.png


MTLCommandQueue


在获取了GPU后,还需要一个渲染队列,即命令队列Command Queue类型是MTLCommandQueue,该队列是与GPU交互的第一个对象,队列中存储的是将要渲染的命令MTLCommandBuffer


队列的获取需要通过MTLDevice对象获取,且每个命令队列的生命周期很长,因此commandQueue可以重复使用,而不是频繁创建和销毁。

_commandQueue = [_device newCommandQueue];


在绘制之前,首先需要配置好MTKView、MTLDevice以及MTLCommandQueue后,其次是准备渲染到屏幕上的数据,即准备缓存数据MTLCommandBuffer,例如顶点数据等。

简单的渲染流程就是


  • 先通过MTLCommandBuffer创建渲染缓存区,
  • 其次通过MTLRenderPassDescriptor创建渲染描述符,
  • 然后再通过创建的渲染缓存区和渲染描述符创建命令编辑器MTLRenderCommandEncoder进行编码
  • 最后是结束编码,提交渲染命令,在完成渲染后,将命令缓存区提交至GPU


MTLCommandBuffer


命令缓存区 Command Buffer主要是用于存储编码的命令,其生命周期是知道缓存区被提交到GPU执行为止,单个的命令缓存区可以包含不同的编码命令,主要取决于用于构建它的编码器的类型和数量。


命令缓存区的创建可以通过调用MTLCommandQueuecommandBuffer方法。且command buffer对象的提交只能提交至创建它的MTLCommandQueue对象中


commandBuffer在未提交命令缓存区之前,是不会开始执行的,提交后,命令缓存区将按其入队的顺序执行,commandBuffer的提交方式有以下两种,不同的提交方式表示不同的执行顺醋

image.png



MTLRenderCommandEncoder


MTLRenderCommandEncoder表示单个渲染过程中相关联的渲染状态和渲染命令,有以下功能:


  • 指定图形资源,例如缓存区和纹理对象,其中包含顶点、片元、纹理图片数据
  • 指定一个MTLRenderPipelineState对象,表示编译的渲染状态,包含顶点着色器和片元着色器的编译&链接情况
  • 指定固定功能,包括视口、三角形填充模式、剪刀矩形、深度、模板测试以及其他值
  • 绘制3D图元


image.png

其中在创建commandEncoder之前,需要县创建渲染描述符MTLRenderPassDescriptor,渲染描述符通过MTKViewcurrentRenderPassDescriptor获取

MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;

然后通过commandBuffer结合渲染描述符创建命令编辑器

id<MTLRenderCommandEncoder> renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];

通过苹果官方文档-MTLRenderCommandEncoder,着重说下使用渲染命令编码器执行渲染的过程

image.png

命令编码器执行渲染的流程


  • 通过调用MTLCommandBuffer对象的makeRenderCommandEncoder(descriptor :)方法来创建MTLRenderCommandEncoder对象。
  • 调用setRenderPipelineState(_ :)方法以指定MTLRenderPipelineState,该状态定义图形渲染管道的状态,包括顶点和片段函数。
  • 指定用于顶点和片元函数输入和输出的资源,并在对应的参数中设置每个资源的位置(即索引),即将顶点数据等通过commandEncoder调用setVertexBytes:length:atIndex:函数传递到metal文件的顶点着色器和片元着色器函数
  • 指定其他的固定功能状态,例如通过commandEncoder调用setViewport:函数设置视口大小等
  • 绘制图形
  • 调用endEncoding()方法以终止渲染命令编码器。


参考链接



相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
相关文章
|
Web App开发 Android开发 iOS开发
iOS 调试:通过 Safari/Chrome 调试 WebView
iOS 调试:通过 Safari/Chrome 调试 WebView
4643 0
iOS 调试:通过 Safari/Chrome 调试 WebView
|
存储 缓存 算法
Linux 的 workqueue 机制浅析
## Intro workqueue 是 Linux 中非常重要的一种异步执行的机制,本文对该机制的各种概念,以及 work 的并行度进行分析,以帮助我们更好地**使用**这一机制;对 workqueue 机制并不陌生的读者也可以直接跳到第四节,即 "Concurrency" 小节,了解 workqueue 机制中 work 的并行度 以 v2.6.36 为界,workqueue 存在两个不
1452 0
Linux 的 workqueue 机制浅析
|
1月前
|
消息中间件 存储 NoSQL
.NET开源的处理分布式事务的解决方案
.NET开源的处理分布式事务的解决方案
|
JSON API 开发工具
API参考—实例管理—CreateDBInstance
API参考—实例管理—CreateDBInstance
130 0
|
XML JSON API
API参考—实例管理—DescribeDBInstances
调用DescribeDBInstances接口查看实例列表详情。
158 0
|
XML JSON API
API参考—实例管理—ModifyDBInstanceMaintainTime
调用ModifyDBInstanceMaintainTime接口修改实例可维护时间。
|
XML JSON API
API参考—实例管理—DeleteDBInstance
调用DeleteDBInstance接口释放实例。
|
XML JSON API
API参考—实例管理—ModifyDBInstanceDescription
调用ModifyDBInstanceDescription接口修改实例描述。
|
XML JSON API
API参考—实例管理—RestartDBInstance
调用RestartDBInstance接口重启实例。
|
1月前
|
分布式数据库 数据库
【中级软件设计师】—(针对上午题)数据库知识总结(二十七)
【中级软件设计师】—(针对上午题)数据库知识总结(二十七)