R语言-Chunk大型数据框与稀疏矩阵应对 as.matrix溢出异常 “problem too large”

单细胞组学数据分析接触到的项目大都使用压缩文件(rds,txt,tsv,csv,mtx)进行数据存储。有时候，我们会操作相当大的压缩数据对象，而超大型的数据集如（一个包含约 100 万个细胞和约 3 万个基因的表达矩阵）在进行数据类型转换等处理的时候会遇到异常 Error in asMethod(object) : Cholmod error 'problem too large' ，指的是其中 as.matrix()转换 Dense矩阵，导致内存溢出。这个问题意味着处理数据的维度超过 as.matrix() 支持的最大元素容量 $(2147483647 (2^{31}-1))$。

本文提出一种在R里面将超大数据集切块后用as.matrix() 转换，再转换超大数据框和稀疏矩阵方法（as.spM_DF，as.DF_spM）。在R中 Chunk数据是一种有效处理大型数据集的方法，该方法虽然一定程度上牺牲了一些效率，但能有效避免内存溢出、程序崩溃等严重问题。

0、测试数据生成

getData <- function(n=100,is.str=FALSE,data.class="data.frame"){
    data.retro = data.frame(
        value = ceiling(runif(n = n,min = -1,max = 1)),
        norm = rnorm(n=n,mean=10,sd=1),
        expr = rexp(n),
        No = seq(n)
    )
    if (is.str) {data.retro = cbind(data.retro,strings = stringi::stri_rand_strings(n, 5, pattern = "[A-Za-z0-9]"))}
    switch (data.class,
            data.frame = {data.frame},
            matrix = {as.matrix(data.frame)}
    )
    return(data.retro)
}

1、 超大型稀疏矩阵转换出数据框

as.spM_DF <- function(data.use,chun_size=20000000) {
    lapply(  split(seq(nrow(data.use)), (seq(nrow(data.use))-1) %/% as.numeric(chun_size) )  , function(nx) {
        if ( is.null(nrow(data.use[nx,])) ) {
            as.data.frame(t(as.matrix(data.use[nx,])))
        }else{
            as.data.frame(as.matrix(data.use[nx,]))
        }
    }) %>% dplyr::bind_rows()
}

方法调用: as.spM_DF(as(as.matrix(getData(100)),"dgCMatrix"))

2、 超大型数据框转换出稀疏矩阵

as.DF_spM <- function(data.use,chun_size="20000000",sparseClass="dgCMatrix") {
    lapply(  split(seq(nrow(data.use)), (seq(nrow(data.use))-1) %/% as.numeric(chun_size) )  , function(nx) {
        switch(sparseClass,
               dgTMatrix = {as(as.matrix(data.use[nx,]),"dgTMatrix")},
               dgCMatrix = {as(as.matrix(data.use[nx,]),"dgCMatrix")},
               dgRMatrix = {as(as.matrix(data.use[nx,]),"dgRMatrix")},
               stop("Enter one of the three types of sparse matrix(\"dgTMatrix\",\"dgCMatrix\",\"dgRMatrix\")")
               )
        }) %>% Matrix.utils::rBind.fill()
}

方法调用 : as.DF_spM(getData(100),sparseClass = "dgTMatrix")

3、 分块写出超大型数据框

write_big_DF <- function(data.use,chun_size="20000000",file = "text.tsv",sep="\t",col.names=F,row.names=T,quote=F){
    ### first write colnames
    if (col.names) {write.table(x = data.use[0,],file = file,sep = sep,quote = quote,append = F,row.names = row.names,col.names = T)}
    lapply(  split(seq(nrow(data.use)), (seq(nrow(data.use))-1) %/% as.numeric(chun_size) )  , function(nx) {
        ### append content
        write.table(x = data.use[nx,],file = file,sep = sep,quote = quote,append = T,row.names = row.names,col.names = F)
    }) -> . ;rm(.)
}

方法调用 :write_big_DF(getData(10,is.str = T),chun_size = 3,file = "text.tsv",col.names=T,row.names = F)