背景 ：将大型矩阵保存为稀疏矩阵格式的意义在于减少存储空间和提高数据处理的效率。稀疏矩阵是一种特殊的矩阵，其中大部分元素为零。相比之下，密集矩阵中的大多数元素都是非零的。在大型数据集中，密集矩阵可能会占用大量的存储空间，而稀疏矩阵则可以大大减少存储空间。此外，稀疏矩阵还可以提高算法的效率，因为在处理稀疏矩阵时，可以跳过大量的零元素，从而减少计算量。因此，将大型矩阵保存为稀疏矩阵格式可以减少存储空间的占用，提高数据处理的效率和速度，特别是在处理大型数据集时。
1、Python平台操作 SparseMatrix
加载读取稀疏矩阵的mmread 和 转换数据框的 Pandas模块
from scipy.io import mmread
import pandas as pd
import numpy as np
读取10X单细胞矩阵： matrix.mtx.gz（coo_matrix格式的sparse 矩阵） 、barcodes.tsv.gz （10X矩阵的列名，对应细胞Barcode）、features.tsv.gz （10X矩阵的行名，对应细胞Barcode的 gene_ID或 gene_Symbol）
_index = pd.read_csv("./features.tsv.gz", index_col=0,sep = '\t',header=None)
_index.index.name =None #把索引列的列名去掉
_col = pd.read_csv("./barcodes.tsv.gz", index_col=0,sep = '\t',header=None)
_col.index.name =None #把列名向量的名去掉
_data = mmread("./matrix.mtx.gz").todense()
用Pandas转换稀疏矩阵转换成DataFrame后可以应用相关函数进行操作
rna_count = pd.DataFrame(data=_data,index = _index.index,columns=_col.index)
print(rna_count .iloc[0:3,0:2])
print("gene_ID_len : "+str(rna_count .shape[0])) ### 获取表达矩阵基因数
rna_count = ( rna_count +1 ).applymap(np.log2) ### log 校正数据偏态
重新写出 DataFrame为 10X格式的sparse matrix等相关文件
import os
import shutil
import gzip
import scipy
import time
fmt='%Y-%m-%d %a %H:%M:%S'
Date=time.strftime(fmt,time.localtime(time.time()))
outdir = ".Matrix_reAnno"
os.makedirs(outdir, exist_ok=True)
## ...save matrix.mtx.gz
reAnno_count_sparse_mtx = scipy.sparse.coo_matrix(rna_countrna_count_combine.values)
scipy.io.mmwrite(os.path.join(outdir,'matrix.mtx'),
reAnno_count_sparse_mtx,
comment='This counts is regenerate and remapped symbol by zhuzhiyong \n Generate DateTime::'+str(Date)
)
with open(os.path.join(outdir,'matrix.mtx'),'rb') as mtx_in:
with gzip.open(os.path.join(outdir,'matrix.mtx') + '.gz','wb') as mtx_gz: #创建一个读写文件'matrix.mtx.gz'，用以将matrix.mtx拷贝过去
shutil.copyfileobj(mtx_in, mtx_gz)
os.remove(os.path.join(outdir,'matrix.mtx'))
## ...save barcodes.tsv.gz
barcodesFile = pd.DataFrame(rna_countrna_count_combine.columns)
barcodesFile.to_csv(os.path.join(outdir,"barcodes.tsv.gz"),sep='\t',header =False,index=False)
## ...save features.tsv.gz
featuresFile = pd.DataFrame(rna_countrna_count_combine.index)
featuresFile.to_csv(os.path.join(outdir,"features.tsv.gz"),sep='\t',header =False,index=False)
2、R平台写出 SparseMatrix
library(Matrix)
sparse.gbm <- Matrix(pbmc_small@assays$RNA@counts, sparse = T )
write(x = sparse.gbm@Dimnames[[1]], file = "features.tsv")
write.table(scRAN@meta.data, file = 'scRNA_ref_meta.tsv', sep = '\t', quote = FALSE)
writeMM(obj = sparse.gbm, file="matrix.mtx")
system("gzip matrix.mtx") #创建压缩文件并删除原文件 matrix.mtx.gz
scales::number_bytes(file.size("matrix.mtx.gz"))
