单细胞不同样本数据整合-解决AnnData合并时ValueError: cannot reindex from a duplicate axis问题

简介: 单细胞不同样本数据整合-解决AnnData合并时ValueError: cannot reindex from a duplicate axis问题

项目场景:

使用scanpy包进行单细胞数据分析时,往往需要整合多个样本的数据,也就是将多个AnnData对象合并为一个AnnData对象。

例如将adata_1和adata_2合并为adatas,可行的一种方法是:·

import anndata as ad 
adatas = [adata1,adata2]
adatas = ad.concatenate(adatas)

(concatenate请参考https://anndata.readthedocs.io/en/latest/generated/anndata.AnnData.concatenate.html#anndata.AnnData.concatenate)


问题描述:

在一次合并中,出现报错:“ValueError: cannot reindex from a duplicate axis”


原因分析:

“ValueError: cannot reindex from a duplicate axis”,按我的理解是指合并方向上的索引出现重复。


在本例中即adata_1和adata_2中的adatas.obs_names(adata.obs.index)有重复。

来看看单个数据的obs.index:

adata_1.obs_names  #adata_1.obs.index
Index(['AAACCCAAGCTGTTAC-1', 'AAACCCAAGTTTCTTC-1', 'AAACCCACATGGGATG-1',
       'AAACCCAGTCTGTAGT-1', 'AAACCCATCACATTGG-1', 'AAACCCATCTCTGCCA-1',
       'AAACGAAAGAGTCGAC-1', 'AAACGAAAGCATTTCG-1', 'AAACGAAGTCCATAGT-1',
       'AAACGCTCACCCATAA-1',
       ...
       'TTTGGTTGTAAGCAAT-1', 'TTTGGTTGTAGCTTGT-1', 'TTTGGTTGTCACTCTC-1',
       'TTTGGTTTCTCCGAAA-1', 'TTTGTTGCAATTTCTC-1', 'TTTGTTGCACTAGTAC-1',
       'TTTGTTGCAGCTCATA-1', 'TTTGTTGGTCGACGCT-1', 'TTTGTTGTCCGTACGG-1',
       'TTTGTTGTCCTGGTCT-1'],
      dtype='object', length=5699)

可以看到未经处理的index默认就是每个细胞的barcode字符串

第一种可能:单个数据内部obs.index重复(因为index是单个实验的barcode,因此可能性比较小);

第二种可能:两个数据使用了相同的obs.index造成重复(两个实验的barcode重复,可能性比较大).

接下来依次排查解决。

解决方案:

首先,为排除第一种可能,对单个数据的obs_name进行make_unique,调用AnnData对象obs_names_make_unique函数:

data_1.obs_names_make_unique()
data_2.obs_names_make_unique()


再次进行数据合并:

adata = ad.concat(adata, merge = "same")

不再出现报错,问题解决。

但出现警告:

Observation names are not unique. To make them unique, call `.obs_names_make_unique`.


说明第二种可能性也发生了,即不同样本使用了相同的barcode,造成合并后index和细胞不一一对应。


为了区分不同样本的obs,在原先默认的obs.index上加上样本标记,例如:

adata_1.obs_names=['sub_CRC3-'+x for x in adata_1.obs_names]
adata_1.obs_names
Index(['sub_CRC3-AAACCCAAGCTGTTAC-1', 'sub_CRC3-AAACCCAAGTTTCTTC-1',
       'sub_CRC3-AAACCCACATGGGATG-1', 'sub_CRC3-AAACCCAGTCTGTAGT-1',
       'sub_CRC3-AAACCCATCACATTGG-1', 'sub_CRC3-AAACCCATCTCTGCCA-1',
       'sub_CRC3-AAACGAAAGAGTCGAC-1', 'sub_CRC3-AAACGAAAGCATTTCG-1',
       'sub_CRC3-AAACGAAGTCCATAGT-1', 'sub_CRC3-AAACGCTCACCCATAA-1',
       ...
       'sub_CRC3-TTTGGTTGTAAGCAAT-1', 'sub_CRC3-TTTGGTTGTAGCTTGT-1',
       'sub_CRC3-TTTGGTTGTCACTCTC-1', 'sub_CRC3-TTTGGTTTCTCCGAAA-1',
       'sub_CRC3-TTTGTTGCAATTTCTC-1', 'sub_CRC3-TTTGTTGCACTAGTAC-1',
       'sub_CRC3-TTTGTTGCAGCTCATA-1', 'sub_CRC3-TTTGTTGGTCGACGCT-1',
       'sub_CRC3-TTTGTTGTCCGTACGG-1', 'sub_CRC3-TTTGTTGTCCTGGTCT-1'],
      dtype='object', length=5699)

在adata_1的obs_names字符串前加上用来样本名称“sub_CRC3”,用来在后续整合分析中区分各样本。

相关文章
|
2月前
|
存储 数据可视化 数据挖掘
scRNA-seq|Seurat 整合分析
scRNA-seq|Seurat 整合分析
61 0
|
2月前
QGIS【实例 01】筛选范围内的数据相交intersection工具使用及Feature (347897) has invalid geometry问题处理
QGIS【实例 01】筛选范围内的数据相交intersection工具使用及Feature (347897) has invalid geometry问题处理
129 0
|
11月前
|
存储 机器学习/深度学习 数据可视化
Series(序列)
Series(序列)是数学和统计学中的概念,表示按照一定规律排列的一组数据。在计算机科学和数据分析领域,Series也是指一种数据结构,用于存储一维数据,并具有标签或索引。
114 2
|
11月前
|
索引
Data Science | 时间序列的索引与切片
Data Science | 时间序列的索引与切片
ArcSWAT报错:数据集未投影;Dataset must have a projected coordinate system
ArcSWAT报错:数据集未投影;Dataset must have a projected coordinate system
|
数据挖掘
ENVI:分类后处理_小斑块去除_Majority/Minority处理、聚类处理、过滤处理等
ENVI:分类后处理_小斑块去除_Majority/Minority处理、聚类处理、过滤处理等
838 0
|
存储 关系型数据库 数据挖掘
R语言-Chunk大型数据框与稀疏矩阵应对 as.matrix溢出异常 “problem too large”
本文提出一种在R里面将大型数据集通过分块的方式转换出 DataFrame和 SparseMatrix的方法,能有效避免内存溢出、程序崩溃等严重问题。
183 0
|
机器学习/深度学习 存储 并行计算
【Pytorch】Tensor的分块、变形、排序、极值与in-place操作
【Pytorch】Tensor的分块、变形、排序、极值与in-place操作
413 0
|
索引
如何将datasets.IMDB中train_data完备划分为10份数据,10份数据互不重复
在这段代码中,首先使用list()函数将range对象test_indices转换为列表,然后使用random.shuffle方法将其随机打乱顺序。接下来,使用KFold方法将test_indices划分为K个互不重叠的子集,每个子集包含相同数量的索引。接着,使用这些索引从test_data.examples中选择相应的examples,并将其作为新的子集添加到test_subsets列表中。最终,test_subsets列表中将包含10个不重叠的测试集子集。
145 0
|
PyTorch 算法框架/工具
如何将x_data和y_data利用torch转换成小批量数据,并要求打乱数据,以及将数据标准化或者归一化,如何处理?
以上代码中,在定义预处理操作transform时,只在Normalize函数的第一个参数中传入x_data的均值和标准差,而在第二个参数中传入空元组,表示不对y_data进行标准化。 接着,将标准化后的x_data和原始的y_data转换为张量格式,并将它们合并为一个TensorDataset对象。最后,定义dataloader对象,设置batch_size和shuffle参数,并使用上述数据集对象作为输入数据。
290 0

热门文章

最新文章