干货直接上代码
#include <stdio.h> #include <stdlib.h> #include <string.h> #include <errno.h> #include <spdk/nvme.h> #define NUM_BLOCKS 1024 #define BLOCK_SIZE 4096 #define QUEUE_DEPTH 128 static struct spdk_nvme_ctrlr *g_ctrlr = NULL; static struct spdk_nvme_ns *g_ns = NULL; static void init_nvme(void) { struct spdk_nvme_transport_id trid = {0}; struct spdk_nvme_ctrlr_opts opts = {0}; struct spdk_nvme_ns_list *ns_list = NULL; struct spdk_nvme_ns *ns = NULL; int rc; /* Set up NVMe controller options */ opts.use_cmb_sqs = true; opts.keep_alive_timeout_ms = 0; /* Set up NVMe transport identifier */ trid.trtype = SPDK_NVME_TRANSPORT_PCIE; trid.adrfam = SPDK_NVMF_ADRFAM_IPV4; trid.traddr = "0000:04:00.0"; /* Probe for NVMe controllers */ rc = spdk_nvme_probe(&trid, NULL, NULL, NULL, &ns_list); if (rc != 0) { fprintf(stderr, "Failed to probe for NVMe controllers: %!s(MISSING)\n", spdk_strerror(-rc)); exit(1); } /* Connect to the first NVMe controller */ g_ctrlr = spdk_nvme_connect(&trid, &opts, 0); if (g_ctrlr == NULL) { fprintf(stderr, "Failed to connect to NVMe controller\n"); exit(1); } /* Get the first namespace */ ns = spdk_nvme_ns_list_first(ns_list); if (ns == NULL) { fprintf(stderr, "No NVMe namespaces found\n"); exit(1); } /* Connect to the namespace */ g_ns = spdk_nvme_ctrlr_get_ns(g_ctrlr, spdk_nvme_ns_get_id(ns)); if (g_ns == NULL) { fprintf(stderr, "Failed to connect to NVMe namespace\n"); exit(1); } } static void io_complete(void *cb_arg, const struct spdk_nvme_cpl *completion) { printf("I/O completed\n"); } int main(int argc, char **argv) { int i, j, rc; void *buf[NUM_BLOCKS]; /* Initialize SPDK and NVMe */ spdk_env_init(NULL); init_nvme(); /* Allocate memory buffers */ for (i = 0; i < NUM_BLOCKS; i++) { buf[i] = spdk_dma_zmalloc(BLOCK_SIZE, BLOCK_SIZE, NULL); if (buf[i] == NULL) { fprintf(stderr, "Failed to allocate memory buffer\n"); exit(1); } } /* Submit I/O requests */ for (i = 0; i < NUM_BLOCKS; i += QUEUE_DEPTH) { struct spdk_nvme_qpair *qpair = spdk_nvme_ctrlr_alloc_io_qpair(g_ctrlr, NULL, 0); if (qpair == NULL) { fprintf(stderr, "Failed to allocate I/O queue pair\n"); exit(1); } for (j = 0; j < QUEUE_DEPTH && i + j < NUM_BLOCKS; j++) { rc = spdk_nvme_ns_cmd_write(g_ns, qpair, buf[i + j], i + j, 1, io_complete, NULL, 0); if (rc != 0) { fprintf(stderr, "Failed to submit write I/O request: %!s(MISSING)\n", spdk_strerror(-rc)); exit(1); } } spdk_nvme_qpair_process_completions(qpair, -1); spdk_nvme_ctrlr_free_io_qpair(g_ctrlr, qpair); } /* Free memory buffers */ for (i = 0; i < NUM_BLOCKS; i++) { spdk_dma_free(buf[i]); } /* Disconnect from NVMe namespace and controller */ spdk_nvme_detach(g_ctrlr); spdk_env_cleanup(); return 0; }
这个代码的作用是向NVMe SSD写入一些数据。它的执行流程如下:
- 初始化SPDK环境。
- 初始化NVMe控制器。
- 分配一些内存缓冲区。
- 提交I/O请求,每次提交QUEUE_DEPTH个写请求,其中每个请求写入一个BLOCK_SIZE大小的数据块。
- 等待I/O请求完成。
- 释放内存缓冲区。
- 断开与NVMe SSD的连接。
- 清理SPDK环境。
- 在这个代码中,我们使用了以下的NVMe相关函数:
- spdk_nvme_probe:探测NVMe控制器。
- spdk_nvme_connect:连接到NVMe控制器。
- spdk_nvme_ctrlr_get_ns:连接到NVMe命名空间。
- spdk_dma_zmalloc 和 spdk_dma_free:分配和释放DMA内存
- spdk_nvme_ctrlr_alloc_io_qpair 和 spdk_nvme_ctrlr_free_io_qpair:分配和释放I/O队列对。
- spdk_nvme_ns_cmd_write:提交写I/O请求。
- spdk_nvme_qpair_process_completions:处理I/O请求完成事件。
- spdk_nvme_detach:断开与NVMe SSD的连接。
这个代码演示了如何使用SPDK的NVMe模块向NVMe SSD写入数据。它使用了SPDK的异步I/O架构,可以在保持低延迟的同时实现高吞吐量。在实际的应用程序中,我们可以根据需要修改这个代码,比如读取数据、使用多个队列、使用多个命名空间等。
推荐一个零声学院免费公开课程,个人觉得老师讲得不错,分享给大家:Linux,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK等技术内容,立即学习