NDK OpenGL ES 3.0 开发(二十一):3D 模型加载和渲染

简介: 3D 模型的设计一般是由许多小模型拼接组合成一个完整的大模型,一个小模型作为一个独立的渲染单元,我们称这些小模型为网格(Mesh)。

作者:字节流动

来源:https://blog.csdn.net/Kennethdroid/article/details/103825593


OpenGL ES 3D 模型加载和渲染

crysisi.gif

tank.gif

鸟.gif

上一节简单介绍了常用的 3D 模型文件 Obj 的数据结构和模型加载库 Assimp 的编译,本节主要介绍如何使用 Assimp 加载 3D 模型文件和渲染 3D 模型。

3D 模型的设计一般是由许多小模型拼接组合成一个完整的大模型,一个小模型作为一个独立的渲染单元,我们称这些小模型为网格(Mesh)。

网格作为独立的渲染单元至少需要包含一组顶点数据,每个顶点数据包含一个位置向量,一个法向量和一个纹理坐标,有了纹理坐标也需要为网格指定纹理对应的材质,还有绘制时顶点的索引。

这样我们可以为 Mesh 定义一个顶点:

struct Vertex {
    // 位置向量 
    glm::vec3 Position;
    // 法向量
    glm::vec3 Normal;
    // 纹理坐标
    glm::vec2 TexCoords;
};

还需要一个描述纹理信息的结构体:

struct Texture
{
    GLuint id;//纹理 id ,OpenGL 环境下创建
    String type; //纹理类型(diffuse纹理或者specular纹理)
};

网格作为独立的渲染单元至少需要包含一组顶点数据以及顶点的索引和纹理,可以定义如下:

class Mesh
{
Public:
    vector<Vertex> vertices;//一组顶点
    vector<GLuint> indices;//顶点对应的索引
    vector<Texture> textures;//纹理
    Mesh(vector<Vertex> vertices, vector<GLuint> indices, vector<Texture> texture);
    Void Draw(Shader shader);
private:
    GLuint VAO, VBO, EBO;
    void initMesh();
    void Destroy();
}

我们通过 initMesh 方法创建相应的 VAO、VBO、EBO,初始化缓冲,设置着色器程序的 uniform 变量。

Mesh(vector<Vertex> vertices, vector<GLuint> indices, vector<Texture> textures)
{
    this->vertices = vertices;
    this->indices = indices;
    this->textures = textures;
    this->initMesh();
}
void initMesh()
{
    //生成 VAO、VBO、EBO
    glGenVertexArrays(1, &this->VAO);
    glGenBuffers(1, &this->VBO);
    glGenBuffers(1, &this->EBO);
    //初始化缓冲区
    glBindVertexArray(this->VAO);
    glBindBuffer(GL_ARRAY_BUFFER, this->VBO);
    glBufferData(GL_ARRAY_BUFFER, this->vertices.size() * sizeof(Vertex), 
                 &this->vertices[0], GL_STATIC_DRAW);  
    glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, this->EBO);
    glBufferData(GL_ELEMENT_ARRAY_BUFFER, this->indices.size() * sizeof(GLuint), 
                 &this->indices[0], GL_STATIC_DRAW);
    // 设置顶点坐标指针
    glEnableVertexAttribArray(0); 
    glVertexAttribPointer(0, 3, GL_FLOAT, GL_FALSE, sizeof(Vertex), 
                         (GLvoid*)0);
    // 设置法线指针
    glEnableVertexAttribArray(1); 
    glVertexAttribPointer(1, 3, GL_FLOAT, GL_FALSE, sizeof(Vertex), 
                         (GLvoid*)offsetof(Vertex, Normal));
    // 设置顶点的纹理坐标
    glEnableVertexAttribArray(2); 
    glVertexAttribPointer(2, 2, GL_FLOAT, GL_FALSE, sizeof(Vertex), 
                         (GLvoid*)offsetof(Vertex, TexCoords));
    glBindVertexArray(0);
}
//销毁纹理和缓冲区对象
void Destroy()
{
    for (int i = 0; i < textures.size(); ++i) {
        glDeleteTextures(1, &textures[i].id);
    }
    glDeleteBuffers(1, &EBO);
    glDeleteBuffers(1, &VBO);
    glDeleteVertexArrays(1, &VAO);
    VAO = EBO = VBO = GL_NONE;
}

预处理指令 offsetof 用于计算结构体属性的偏移量,把结构体作为它的第一个参数,第二个参数是这个结构体名字的变量,函数返回这个变量从结构体开始的字节偏移量(offset)。如:offsetof(Vertex, Normal) 返回 12 个字节,即 3 * sizeof(float) 。

我们用到的顶点着色器(简化后):

#version 300 es
layout (location = 0) in vec3 a_position;
layout (location = 1) in vec3 a_normal;
layout (location = 2) in vec2 a_texCoord;
out vec2 v_texCoord;
uniform mat4 u_MVPMatrix;
void main()
{
    v_texCoord = a_texCoord;
    vec4 position = vec4(a_position, 1.0);
    gl_Position = u_MVPMatrix * position;
}

而使用的片段着色器需要根据使用到的纹理数量和类型的不同做不同的调整。如只有一个 diffuse 纹理的片段着色器如下:

#version 300 es
out vec4 outColor;
in vec2 v_texCoord;
uniform sampler2D texture_diffuse1;
void main()
{
    outColor = texture(texture_diffuse1, v_texCoord);
}

假如在一个网格中我们有 3 个 diffuse 纹理和 3 个 specular 纹理,那么对应的片段着色器中采样器的声明如下:

uniform sampler2D texture_diffuse1;
uniform sampler2D texture_diffuse2;
uniform sampler2D texture_diffuse3;
uniform sampler2D texture_specular1;
uniform sampler2D texture_specular2;
uniform sampler2D texture_specular3;

总结起来就是我们需要根据 Mesh 中纹理的数量和类型以及模型光照需求来使用不同的片段着色器和顶点着色器。

Mesh 的渲染的逻辑:

//渲染网格
void Draw(Shader shader) 
{
    unsigned int diffuseNr  = 1;
    unsigned int specularNr = 1;
    //遍历各个纹理,根据纹理的数量和类型确定采样器变量名
    for(unsigned int i = 0; i < textures.size(); i++)
    {
        glActiveTexture(GL_TEXTURE0 + i); // active proper texture unit before binding
        string number;
        string name = textures[i].type;
        if(name == "texture_diffuse")
      number = std::to_string(diffuseNr++);
    else if(name == "texture_specular")
      number = std::to_string(specularNr++); // transfer unsigned int to stream
        glUniform1i(glGetUniformLocation(shader.ID, (name + number).c_str()), i);
        // and finally bind the texture
        glBindTexture(GL_TEXTURE_2D, textures[i].id);
    }
    //绘制网格
    glBindVertexArray(VAO);
    glDrawElements(GL_TRIANGLES, indices.size(), GL_UNSIGNED_INT, 0);
    glBindVertexArray(0);
    glActiveTexture(GL_TEXTURE0);
}

Shader 类的逻辑简单包含了着色器程序的创建销毁和 uniform 类型变量的设置。

class Shader
{
public:
    unsigned int ID;//着色器程序的 ID 
    Shader(const char* vertexStr, const char* fragmentStr)
    {
        //创建着色器程序
        ID = GLUtils::CreateProgram(vertexStr, fragmentStr);
    }
    void Destroy()
    {
        //销毁着色器程序
        GLUtils::DeleteProgram(ID);
    }
    void use() 
    { 
        glUseProgram(ID); 
    }
    void setFloat(const std::string &name, float value) const
    { 
        glUniform1f(glGetUniformLocation(ID, name.c_str()), value); 
    }
    void setVec3(const std::string &name, float x, float y, float z) const
    { 
        glUniform3f(glGetUniformLocation(ID, name.c_str()), x, y, z); 
    }
    void setMat4(const std::string &name, const glm::mat4 &mat) const
    {
        glUniformMatrix4fv(glGetUniformLocation(ID, name.c_str()), 1, GL_FALSE, &mat[0][0]);
    }
};

前面我们知道了一个模型(Model)包含许多个网格(Mesh),各个 Mesh 独立渲染共同组成整个 Model。Model 类可定义如下:

class Model 
{
    public:
        Model(GLchar* path)
        {
            loadModel(path);
        }
        //渲染模型,即依次渲染各个网格
        void Draw(Shader shader); 
        //销毁模型的所有网格
        void Destroy();
    private:
        //模型所包含的网格
        vector<Mesh> meshes;
        //模型文件所在目录
        string directory;
        //加载模型
        void loadModel(string path);
        //处理 aiScene 对象包含的节点和子节点
        void processNode(aiNode* node, const aiScene* scene);
        //生成网格
        Mesh processMesh(aiMesh* mesh, const aiScene* scene);
        //创建纹理并加载图像数据
        vector<Texture> loadMaterialTextures(aiMaterial* mat, aiTextureType type, string typeName);
};

使用 Assimp 加载 3D 模型比较简单,最终模型被加载到一个 Assimp 中定义的 aiScene 对象中,aiScene 对象除了包含网格和材质,还包含一个 aiNode 对象(根节点),然后我们还需要遍历各个子节点的网格。

#include "assimp/Importer.hpp"
#include "assimp/scene.h"
#include "assimp/postprocess.h"
Assimp::Importer importer;
const aiScene* scene = importer.ReadFile(path, aiProcess_Triangulate | aiProcess_FlipUVs);

参数 aiProcess_Triangulate 表示如果模型不是(全部)由三角形组成,应该转换所有的模型的原始几何形状为三角形;aiProcess_FlipUVs 表示基于 y 轴翻转纹理坐标。

Model 类中加载模型的函数:

void loadModel(string const &path)
{
    Assimp::Importer importer;
    const aiScene* scene = importer.ReadFile(path, aiProcess_Triangulate | aiProcess_FlipUVs);
    if(!scene || scene->mFlags & AI_SCENE_FLAGS_INCOMPLETE || !scene->mRootNode) // if is Not Zero
    {
        LOGCATE("Model::loadModel path=%s, assimpError=%s", path, importer.GetErrorString());
        return;
    }
    directory = path.substr(0, path.find_last_of('/'));
    //处理节点
    processNode(scene->mRootNode, scene);
}
//递归处理所有节点
void processNode(aiNode *node, const aiScene *scene)
{
    for(unsigned int i = 0; i < node->mNumMeshes; i++)
    {
        aiMesh* mesh = scene->mMeshes[node->mMeshes[i]];
        if(mesh != nullptr)
            meshes.push_back(processMesh(mesh, scene));
    }
    for(unsigned int i = 0; i < node->mNumChildren; i++)
    {
        processNode(node->mChildren[i], scene);
    }
}
//生成网格 Mesh
Mesh processMesh(aiMesh* mesh, const aiScene* scene)
{
    vector<Vertex> vertices;
    vector<unsigned int> indices;
    vector<Texture> textures;
    for(GLuint i = 0; i < mesh->mNumVertices; i++)
    {
        Vertex vertex;
        // 处理顶点坐标、法线和纹理坐标
        ...
        vertices.push_back(vertex);
    }
    // 处理顶点索引
    for(unsigned int i = 0; i < mesh->mNumFaces; i++)
    {
        aiFace face = mesh->mFaces[i];
        for(unsigned int j = 0; j < face.mNumIndices; j++)
            indices.push_back(face.mIndices[j]);
    }
    // 处理材质
    if(mesh->mMaterialIndex >= 0)
    {
        aiMaterial* material = scene->mMaterials[mesh->mMaterialIndex]; 
        vector<Texture> diffuseMaps = loadMaterialTextures(material, aiTextureType_DIFFUSE, "texture_diffuse");
        textures.insert(textures.end(), diffuseMaps.begin(), diffuseMaps.end());
        ...
    }
    return Mesh(vertices, indices, textures);
}

在 native 层加载纹理的时候,我们使用 OpenCV 对图片进行解码,然后生成纹理对象:

unsigned int TextureFromFile(const char *path, const string &directory)
{
    string filename = string(path);
    filename = directory + '/' + filename;
    unsigned int textureID;
    glGenTextures(1, &textureID);
    unsigned char *data = nullptr;
    LOGCATE("TextureFromFile Loading texture %s", filename.c_str());
    //使用 OpenCV 对图片进行解码
    cv::Mat textureImage = cv::imread(filename);
    if (!textureImage.empty())
    {
        // OpenCV 默认解码成 BGR 格式,这里转换为 RGB
        cv::cvtColor(textureImage, textureImage, CV_BGR2RGB);
        glBindTexture(GL_TEXTURE_2D, textureID);
        glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, textureImage.cols,
                     textureImage.rows, 0, GL_RGB, GL_UNSIGNED_BYTE,
                     textureImage.data);
        glGenerateMipmap(GL_TEXTURE_2D);
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_REPEAT);
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT);
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR_MIPMAP_LINEAR);
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
        GO_CHECK_GL_ERROR();
    } else {
        LOGCATE("TextureFromFile Texture failed to load at path: %s", path);
    }
    return textureID;
}

绘制模型就是遍历每个 Mesh 进行绘制:

void Draw(Shader shader)
{
    for(unsigned int i = 0; i < meshes.size(); i++)
        meshes[i].Draw(shader);
}

最后就是这个 Model 类的使用示例:

//初始化,加载模型
m_pModel = new Model("/sdcard/model/poly/Apricot_02_hi_poly.obj");
m_pShader = new Shader(vShaderStr, fShaderStr);
//绘制模型
glClearColor(0.5f, 0.5f, 0.5f, 1.0f);
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
glEnable(GL_DEPTH_TEST);
UpdateMVPMatrix(m_MVPMatrix, m_AngleX, m_AngleY, (float)screenW / screenH);
m_pShader->use();
m_pShader->setMat4("u_MVPMatrix", m_MVPMatrix);
m_pModel->Draw((*m_pShader));
//销毁对象
if (m_pModel != nullptr) {
    m_pModel->Destroy();
    delete m_pModel;
    m_pModel = nullptr;
}
if (m_pShader != nullptr) {
    m_pShader->Destroy();
    delete m_pShader;
    m_pShader = nullptr;
}

实现代码路径:

NDK_OpenGLES_3_0


「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。

阿里云社区.png

相关文章
|
6月前
QT4.7版本的OPENGL的3D旋转模型例子
QT4.7版本的OPENGL的3D旋转模型例子
120 0
QT+OpenGL鼠标操作和模型控制
光线追踪法 从鼠标投射 3D 射线, 通过摄像机,进入场景,然后检查该光线是否与某个对象相交。
340 0
|
6月前
|
Java Android开发
Android开发之使用OpenGL实现翻书动画
本文讲述了如何使用OpenGL实现更平滑、逼真的电子书翻页动画,以解决传统贝塞尔曲线方法存在的卡顿和阴影问题。作者分享了一个改造后的外国代码示例,提供了从前往后和从后往前的翻页效果动图。文章附带了`GlTurnActivity`的Java代码片段,展示如何加载和显示书籍图片。完整工程代码可在作者的GitHub找到:https://github.com/aqi00/note/tree/master/ExmOpenGL。
144 1
Android开发之使用OpenGL实现翻书动画
|
6月前
|
Android开发 开发者
Android开发之OpenGL的画笔工具GL10
这篇文章简述了OpenGL通过GL10进行三维图形绘制,强调颜色取值范围为0.0到1.0,背景和画笔颜色设置方法;介绍了三维坐标系及与之相关的旋转、平移和缩放操作;最后探讨了坐标矩阵变换,包括设置绘图区域、调整镜头参数和改变观测方位。示例代码展示了如何使用这些方法创建简单的三维立方体。
72 1
Android开发之OpenGL的画笔工具GL10
|
6月前
|
前端开发 API vr&ar
Android开发之OpenGL绘制三维图形的流程
即将连载的系列文章将探索Android上的OpenGL开发,这是一种用于创建3D图形和动画的技术。OpenGL是跨平台的图形库,Android已集成其API。文章以2D绘图为例,解释了OpenGL的3个核心元素:GLSurfaceView(对应View)、GLSurfaceView.Renderer(类似Canvas)和GL10(类似Paint)。通过将这些结合,Android能实现3D图形渲染。文章介绍了Renderer接口的三个方法,分别对应2D绘图的构造、测量布局和绘制过程。示例代码展示了如何在布局中添加GLSurfaceView并注册渲染器。
193 1
Android开发之OpenGL绘制三维图形的流程
|
6月前
|
Linux API iOS开发
【Qt 渲染引擎】一文带你了解qt的三种 渲染引擎,包括栅格引擎(Raster)、OpenGL 和本地绘图系统
【Qt 渲染引擎】一文带你了解qt的三种 渲染引擎,包括栅格引擎(Raster)、OpenGL 和本地绘图系统
191 0
|
存储
QT+OpenGL开始3D
顶点坐标起始于局部空间,它在之后会变为世界坐标,观察坐标,裁减坐标,并最后以屏幕坐标的形式结束。
101 0
|
6月前
|
XML Java Android开发
Android App开发中OpenGL三维投影的讲解及实现(附源码和演示 简单易懂)
Android App开发中OpenGL三维投影的讲解及实现(附源码和演示 简单易懂)
78 1
|
6月前
|
JavaScript C++
从OpenGL渲染的角度排查 creator native 局部换肤的问题
从OpenGL渲染的角度排查 creator native 局部换肤的问题
89 0
|
6月前
|
XML 小程序 Java
【Android App】三维投影OpenGL ES的讲解及着色器实现(附源码和演示 超详细)
【Android App】三维投影OpenGL ES的讲解及着色器实现(附源码和演示 超详细)
121 0