Metal 简述 & API

简介: Metal是苹果在2018年推出用于取代在苹果端的业务的图形编程接口,在2018年之前使用的是基于OpenGL ES 封装的GLKit,通过Metal相关API直接操作GPU,能最大限度的利用GPU能力。

Metal介绍


Metal是苹果在2018年推出用于取代在苹果端的业务的图形编程接口,在2018年之前使用的是基于OpenGL ES 封装的GLKit,通过Metal相关API直接操作GPU,能最大限度的利用GPU能力。


特点


Metal具有以下特点


  • 低CPU开销
  • 最佳GPU性能,即metal 能在GPU上发挥最大的性能
  • 最大限度的提高CPU/GPU 的并发性
  • 有效的资源管理

image.png


图形管道 graphics pipelines


Metal中图形管道与OpenGL ES是一致的,并没有什么差别,如图所示

image.png

metal中的图形管道


  • 通过CPU将顶点数据传递到顶点着色器
  • 顶点着色器将处理好的顶点进行图元装配
  • 然后进行光栅化,得到每个像素点的颜色值
  • 然后将颜色传入片元着色器进行处理
  • 最后将数据存储到帧缓存区,并显示到屏幕上


Metal的使用建议


苹果对metal的使用有以下几点建议:


  • Separate Your Rendering Loop 分开渲染循环:不希望将渲染的处理放到VC中,希望将渲染循环封装在一个单独的类中
  • Respond to View Events 响应视图的事件,即MTKViewDelegate协议,也需要放在自定义的渲染循环中
  • Metal Command Objects 创建一个命令对象,即创建执行命令的GPU设备、MTLCommandQueue命令队列以及驱动GPU的MTCommandBuffer渲染缓存区


Metal命令对象之间的关系


metal命令对象之间的关系如下图所示


image.png


  • 命令缓存区(command buffer)是从命令队列(command queue)创建的
  • 命令编码器(command encoder)将命令编码到命令缓存区中
  • 提交命令缓存区并将其发送到GPU
  • GPU执行命令并将结果呈现为可绘制


下面介绍Metal的相关API


Metal API


MTKView


在MetalKit中提供了一个视图类MTKView,类似于GLKit中GLKView,它是NSView(macOS中的视图类)或者UIView(iOS、tvOS中的视图类)的子类。用于处理metal绘制并显示到屏幕过程中的细节。


所以在使用metal时,首先需要先创建MTKView对象,有两种创建方式


  • 直接修改storyboard中view的类
  • 使用init创建


MTLDevice


由于metal是操作GPU的,所以需要获取GPU使用权限,即拿到GPU对象,Metal中提供了MTLDevice协议表示GPU接口,在iOS中一般是通过默认的方式MTLCreateSystemDefaultDevice()获取GPU

_view.device = MTLCreateSystemDefaultDevice();

metal的使用必须使用真机,且必须是6s及以上的机型

如果设备不支持mental,将会返回空

如果想使用多个MTLDevice实例,或者从一个MTLDevice切换到另一个,则需要为每个MTLDevice创建单独的一组对象


MTLDevice协议表示可以执行命令的GPU,提供了如下功能


  • 创建新的命令队列
  • 从内存分配缓冲区
  • 创建纹理
  • 查询设备功能

image.png


MTLCommandQueue


在获取了GPU后,还需要一个渲染队列,即命令队列Command Queue类型是MTLCommandQueue,该队列是与GPU交互的第一个对象,队列中存储的是将要渲染的命令MTLCommandBuffer


队列的获取需要通过MTLDevice对象获取,且每个命令队列的生命周期很长,因此commandQueue可以重复使用,而不是频繁创建和销毁。

_commandQueue = [_device newCommandQueue];


在绘制之前,首先需要配置好MTKView、MTLDevice以及MTLCommandQueue后,其次是准备渲染到屏幕上的数据,即准备缓存数据MTLCommandBuffer,例如顶点数据等。

简单的渲染流程就是


  • 先通过MTLCommandBuffer创建渲染缓存区,
  • 其次通过MTLRenderPassDescriptor创建渲染描述符,
  • 然后再通过创建的渲染缓存区和渲染描述符创建命令编辑器MTLRenderCommandEncoder进行编码
  • 最后是结束编码,提交渲染命令,在完成渲染后,将命令缓存区提交至GPU


MTLCommandBuffer


命令缓存区 Command Buffer主要是用于存储编码的命令,其生命周期是知道缓存区被提交到GPU执行为止,单个的命令缓存区可以包含不同的编码命令,主要取决于用于构建它的编码器的类型和数量。


命令缓存区的创建可以通过调用MTLCommandQueuecommandBuffer方法。且command buffer对象的提交只能提交至创建它的MTLCommandQueue对象中


commandBuffer在未提交命令缓存区之前,是不会开始执行的,提交后,命令缓存区将按其入队的顺序执行,commandBuffer的提交方式有以下两种,不同的提交方式表示不同的执行顺醋

image.png



MTLRenderCommandEncoder


MTLRenderCommandEncoder表示单个渲染过程中相关联的渲染状态和渲染命令,有以下功能:


  • 指定图形资源,例如缓存区和纹理对象,其中包含顶点、片元、纹理图片数据
  • 指定一个MTLRenderPipelineState对象,表示编译的渲染状态,包含顶点着色器和片元着色器的编译&链接情况
  • 指定固定功能,包括视口、三角形填充模式、剪刀矩形、深度、模板测试以及其他值
  • 绘制3D图元


image.png

其中在创建commandEncoder之前,需要县创建渲染描述符MTLRenderPassDescriptor,渲染描述符通过MTKViewcurrentRenderPassDescriptor获取

MTLRenderPassDescriptor *renderPassDescriptor = view.currentRenderPassDescriptor;

然后通过commandBuffer结合渲染描述符创建命令编辑器

id<MTLRenderCommandEncoder> renderEncoder = [commandBuffer renderCommandEncoderWithDescriptor:renderPassDescriptor];

通过苹果官方文档-MTLRenderCommandEncoder,着重说下使用渲染命令编码器执行渲染的过程

image.png

命令编码器执行渲染的流程


  • 通过调用MTLCommandBuffer对象的makeRenderCommandEncoder(descriptor :)方法来创建MTLRenderCommandEncoder对象。
  • 调用setRenderPipelineState(_ :)方法以指定MTLRenderPipelineState,该状态定义图形渲染管道的状态,包括顶点和片段函数。
  • 指定用于顶点和片元函数输入和输出的资源,并在对应的参数中设置每个资源的位置(即索引),即将顶点数据等通过commandEncoder调用setVertexBytes:length:atIndex:函数传递到metal文件的顶点着色器和片元着色器函数
  • 指定其他的固定功能状态,例如通过commandEncoder调用setViewport:函数设置视口大小等
  • 绘制图形
  • 调用endEncoding()方法以终止渲染命令编码器。


参考链接



相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
3月前
|
缓存 负载均衡 测试技术
‌API开发的基础概念和作用‌
API(Application Programming Interface)是一组定义了软件组件之间交互规则的接口。它提供了一种标准化的方式,让不同的软件组件之间可以进行通信和交互。
101 2
|
4月前
|
JavaScript Java API
跨平台的API
【10月更文挑战第16天】跨平台的API
56 2
|
4月前
|
编解码 中间件 API
API实现跨平台访问的方式
【10月更文挑战第16天】API实现跨平台访问的方式
71 2
|
9月前
|
XML JSON API
深入了解API:详解应用程序接口的作用和原理
在现代软件开发领域中,API(Application Programming Interface,应用程序接口)扮演着至关重要的角色。无论是在Web开发、移动应用还是大型软件系统中,API都是不可或缺的组成部分。本文将深入探讨API的作用和原理,帮助读者更好地理解和应用API
|
API 数据库
了解API:应用程序接口的基础知识
API,即应用程序接口,是指用于实现不同软件之间互相交流和共享数据的一些规范和工具。简单来说,API就是一种允许应用程序之间进行通信的方式。在现代软件开发中,API已经成为了不可或缺的一部分。
125 1
|
XML JSON 监控
应用程序接口(API)安全的入门指南
对于初学者来说,API 是指为两个不同的应用之间实现流畅通信,而设计的应用程序编程接口。它通常被称为应用程序的“中间人”。由于我们需要保护用户的持有数据、以及应用本身的完整性,因此 API 的安全性是一种“刚需”。 而对于开发人员而言,API 是一个非常好的工具。它可以在微服务和容器之间交换信息,并实现快节奏的通信交流。正如集成和互连对于应用开发的重要性那样,API 在某种程度上,驱动并增强了应用程序的设计
|
API 开发者
API:应用程序接口 的优势
API:应用程序接口 的优势
|
XML 设计模式 存储
|
编译器 API 图形学
unity常用API基础知识
常用API基础知识
187 0
|
传感器 Web App开发 Linux
关于API的概念和应用
关于API的概念和应用