数据处理|数据查重怎么办?去重,就这么办!

简介: 数据处理|数据查重怎么办?去重,就这么办!

本文首发于“生信补给站”公众号  https://mp.weixin.qq.com/s/oxOSaVxQNPDxFDq5Wu9WjQ


论文查重怎么办?就那么办!OK!

数据查重怎么办?就这么办!KO!

数据清洗过程中的典型问题:数据分析|R-缺失值处理数据分析|R-异常值处理和重复值处理,本次简单介绍一些R处理重复值的用法:

  • 将符合目标的重复行全部删掉;
  • 存在重复的行,根据需求保留一行

数据准备

使用GEO数据库的表达数据,抽取一些并稍加处理(为方便展示)

data<-read.csv("A.csv",header=TRUE)

可以明显看到ID_REF存在重复,那要怎么处理呢?

一个不留


对于重复的行,一个不留!

1. unique 直接去重

data1<-unique(data)

data1

简单,直接,可以看到第9行完全重复的已经被删除。

如果我还想去掉ID_REF重复的行,怎么办?


2. duplicated 可选去重

1)删除数据集中完全重复的行,同unique

data2<-data[!duplicated(data),]

2)选择性删除

A:删除某一列存在重复的行

data2<-data[!duplicated(data$ID_REF),]  

删除了ID_REF列存在重复的行,搞定!

B:删除某几列重复的行

#等价
data2 <- data[!duplicated(data[,c("ID_REF","GSM74876")]),]
data2 <- data[!duplicated(data[,c(1,3)]),]

删除了ID_REF列和GSM74876列均重复的行,Done!

择“优”录取


存在重复,但是不想完全删除,根据数据处理的目的保留一行。

1. aggregate函数

A : ID_REF重复行,保留其均值

data3<-aggregate( .~ID_REF,data=data, mean)

保留其最大值如下即可:

data3<-aggregate( .~ID_REF,data=data, max)

2 dplyr函数

A : ID_REF重复行,保留其均值,同aggregate函数结果一致。



library(dplyr)data4 <- data %>% group_by(ID_REF) %>% summarise_all(mean)

表达量去重

芯片表达数据中,会存在一个基因多个探针的情况,此处选择在所有样本中表达量之和最大的探针。

library(tibble)
data5 <- data %>%
 #计算每个探针(行)的表达量均值
 mutate(rowMean =rowMeans(.[grep("GSM", names(.))])) %>%
 #表达量均值从大到小排序
 arrange(desc(rowMean)) %>%
 # 选择第一个,即为表达量最大值
 distinct(ID_REF,.keep_all = T) %>%
 #去除rowMean这一列
 select(-rowMean) %>%
 # 将ID_REF列变成行名
 column_to_rownames(var = "ID_REF")


好了,常用的数据去重方法先介绍这些,绝对比论文查重简单多了!


◆  

数据分析相关:

R|批量循环处理同一格式文件-csv,txt,excel

R In Action |基本数据管理

数据分析|R-缺失值处理

数据分析|R-异常值处理

数据分析|R-描述性统计

小数据| 描述性统计(Python/R 实现)

数据挖掘|R-相关性分析及检验

数据处理 | R-tidyr包

数据处理|R-dplyr

R|apply,tapply

数据处理|数据框重铸

R|ML_code-入门(1)

R|ML_code-线性回归(2)

R|机器学习入门-多元线性回归(3)

相关文章
|
BI 关系型数据库 数据库
银行业大数据量清单报表案例
银行数据查询业务中,经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛,因此会从数据库中查出几百上千万甚至过亿行的记录,比如银行流水记录;为了避免内存溢出,一般都会使用关系型数据库的分页机制来做,但结果往往也不尽人意;有些情况下甚至底层采用了非关系型数据库,这更会加剧了问题的复杂度。
1284 0
|
数据可视化 数据挖掘 BI
【氚云】还在用Excel表格做数据分析?两步打造数据大脑
还在用Excel表格做数据分析?两步打造数据大脑
553 0
【氚云】还在用Excel表格做数据分析?两步打造数据大脑
|
存储 分布式计算 流计算
离线数据Join我懂,但是实时数据怎么做Join的? by彭文华
离线数据Join我懂,但是实时数据怎么做Join的? by彭文华
|
算法 搜索推荐 BI
【课后任务】房源画像及统计报表建设|学习笔记
快速学习【课后任务】房源画像及统计报表建设
225 0
|
数据挖掘 数据库
小白学数据分析----->从购买记录分析道具支付环节
昨天发现充值异常增高,于是准备做一次详尽的分析,但是当我开始提取数据时,发现了一件比较异常的事情,这是在查询玩家的购买记录时发现的(这是因为往往我们要分析充值时,也要辅助的去看一下当日的购买情况),截图如下: 可以看得到玩家对于该道具的购买需求很高,在一段时间内不断的购买,但是商城不支持批量购买,玩家每次交易只能买一件,然后再次点击再次购买。
993 0
|
数据挖掘
小白学数据分析------->充值记录分析
 充值记录分析的方法有很多种,维度很多,今天就说说一个比较初级的分析方法,希望对于各位有一定的帮助和指导。 首先来看一下充值记录的格式,一般而言我们取到的数据都是交易格式(什么事交易格式这里不说了,大家应该都了解) 账户 充值额 充值大区 充值...
1332 0
|
数据采集 SQL 存储
整体技术流程-数据入库(ETL)|学习笔记
快速学习整体技术流程-数据入库(ETL)
1167 1
整体技术流程-数据入库(ETL)|学习笔记
|
供应链 算法 数据挖掘
一文看懂:销售数据分析怎么做?
今天跟大家分享数据分析里最高频的一个工作:销售分析。不管是实打实挣钱的公司,还是指望上市圈钱的公司,销售业绩都是领导们最看重的指标。 很多人从事数据分析工作,也是从基础的“销售统计专员”做起的。今天就简单分享下,销售分析该如何做。
753 0
一文看懂:销售数据分析怎么做?

热门文章

最新文章