GWAS结果自动批量整理算法(下)

简介: GWAS结果自动批量整理算法(下)

step2:计算变异位点类型

首先进行初始化,设置参数确定连续变异位点的评判标准,然后读取参考基因组,新建内存空间用于添加候选标记位点。

# 根据GWAS得到的显著性SNP,将其标注到参考基因组上对应位置(300kb内为连续,大于300kb为单标记)
### 数据导入与参数设置 ====================================================================
windows_near <- 300*1000 #默认300kb内为连续
# 连续位点的评判标准是任意两个相邻位点的距离小于windows_near
id_list <- list.files("./out/1_GWAS_Result_txt2csv/")
Ref <- read_csv("./data/Ref.csv",show_col_types = FALSE)
Ref_chr <- Ref
all_single <- list() #汇总单标记
all_near <- list() #汇总连续标记

对于每个文件都要进行循环操作,以下列举其中一个文件的计算思路:

file_name <- paste0("./out/1_GWAS_Result_txt2csv/",id)
  # loc <- substr(file_name,14,18)
  # job <- substr(file_name,10,26)
  atom <- str_split(id,"[.]")
  print(file_name)
  data <- read_csv(file_name,show_col_types = FALSE)
  loc <- data$loc[1] 
  job <- paste0(atom[[1]][1],"_",atom[[1]][2],"_",atom[[1]][3])
  way <- atom[[1]][3]

以下进行单标记位点的筛选:主要的思路是对每一个位点,计算其前后相邻位点的距离,针对开头和结尾进行特殊考虑,中间的位点识别其是否相邻距离小于阈值。

# 计算基因位置间距
data$longH <- NA
data$longQ <- NA
data$class <- NA
for (i in 2:nrow(data)){
  a <- data$POS[i]
  i <- i+1
  b <- data$POS[i]
  i <- i-2
  c <- data$POS[i]
  i <- i+1
  if(i == nrow(data)){
    data$class[i] <- "wei"
    break
  }
  if(a-c<0){
    data$class[i] <- "shou"
    next
  }
  if(b-a<0){
    data$class[i] <- "wei"
    next
  }
  data$longH[i] <- (b-a)
  data$longQ[i] <- (a-c)
}
data$class[1] <- "shou"
# 对距离进行区分,按照windows_near为区分阈值
for (i in 1:nrow(data)){
  if (is.na(data$longH[i]) | is.na(data$longQ[i])){
    next
  }
  if (data$longH[i]>windows_near & data$longQ[i]>windows_near){
    data$class[i] <- "single"
  }
}

找出了连续的标记位点后,需要将其进行整理,转换为数据框格式,第一列为物理位置,第二列为信息,第三列为染色体,第四列为表型区,方法如下:

# 单标记位置信息写入single
single <- data.frame(matrix(ncol = 4))
single <- single[-1,]
colnames(single) <- c("positon","info","chr","loc") 
for (i in 1:nrow(data)){
  tem_class <- data$class[i]
  tem_add <- c(data$POS[i],data$ws[i],data$chr[i],data$loc[i])
  ifelse(tem_class == 'single',single <- rbind(single,tem_add),"1")
  ifelse(tem_class == 'shou',single <- rbind(single,tem_add),"2")
  ifelse(tem_class == 'wei',single <- rbind(single,tem_add),"3")
}
colnames(single) <- c("positon","info","chr","loc")

接下来进行连续型标记位点的查找筛选,首先初始化一个矩阵用于储存中间变量。

需要注意的是连续型位点有两个位置参数,分别代表这个连续区段的开始和结束,另外需要统计该区段内有多少的实际位点。

near <- data.frame(matrix(ncol = 5)) #初始化矩阵
near <- near[-1,]
colnames(near) <- c("p1","p2","info","chr","number")

然后按照染色体进行迭代,每个染色体分开计算,主要步骤如下:

for (x in c(1:7)){
  for (y in c("A","B","D")){
    chr_id <- paste0(x, y, sep="")
# 将x和y连接起来,形成染色体编号chr_id
foot <- 0
# 步长,用于迭代计算阅读框,初始化为0
for (i in which(data$chr == chr_id)) {
  # 遍历data中chr等于chr_id的索引(位点)
  if (sum(data$chr == chr_id) < 2) {
    next
    # 若某个染色体的位点数小于3则跳过当前循环
  }
  if (foot > 0) {
    foot <- foot - 1
    next
    # 如果foot变量大于0,说明两个位点存在跨越关系,将foot减1,然后跳过当前循环
  }
  n_pos_1 <- data$POS[i]
  # 获取当前位点的位置信息
  for (m in which(data$chr == chr_id)) {
    n_pos_2 <- data$POS[m]
    # 获取另一个位点的位置信息
    if (n_pos_2 - n_pos_1 < 0) {
      next
      # 后一个位点位置小于前一个位点时,跳过当前循环
    } else {
      if (n_pos_2 - n_pos_1 == 0) {
        next
        # 两个位点位置相等时,跳过当前循环
      } else {
        if (n_pos_2 - n_pos_1 < windows_near) {
          foot <- foot + 1
          # 任意两个位点距离小于预设窗口大小,增加foot的值,跨越一个位点
          if (is.na(data$class[i])) {
            data$class[i] <- "near"
            # 如果位点尚不属于特定类别,则将其标记为"near"
          }
        } else {
          if (foot > 10) {
            n_wn <- paste0(data$SNP[i], "-", data$SNP[m-1], ", [", foot, "], Find in ", job)
          } else {
            n_wn <- paste0(data$SNP[i], "-", data$SNP[m-1], ", Find in ", job)
          }
          # 构建一个文本信息n_wn,描述了位点之间的关系和发现位置
          n_add <- c(n_pos_1, data$POS[m-1], n_wn, data$chr[i], foot)
          # 将相关信息存储在n_add向量中
          if (is.na(data$class[i])) {
            data$class[i] <- "near"
          }
          # 如果位点尚不属于特定类别,则将其标记为"near"
          break
        }
      }
    }
  }
  if (length(data$POS[m-1]) > 0) {
    if (n_pos_1 != data$POS[m-1]) {
      near <- rbind(near, n_add)
      n_add <- c()
    }
  }
}
}}
colnames(near) <- c("p1","p2","info","chr","number")

主要是对位点数据进行迭代和处理,根据位点位置以及预设的窗口大小,识别和处理相邻的位点之间的关系,最终将处理后的信息存储在不同变量中。

删除重复数据

由于部分信息统计时出现重复折叠,因此通过下述代码对结果中重复信息进行过滤。

# 删除重复行
near_new <- data.frame(matrix(ncol =5)) 
near_new <- near_new[-1,]
for (i in 1:nrow(near)){
  if (!identical(near$p1[i],near$p2[i])){
    new_add <- c(near$p1[i],near$p2[i],near$info[i],near$chr[i],near$number[i])
    near_new <- rbind(near_new,new_add)
  }
}
colnames(near_new) <- c("p1","p2","info","chr","number") 
near <- near_new

按染色体进行标注

连续型变异区段的标注方法:

for (i in 1:nrow(near)){
  if (identical(near$chr[i],"Chr")){
    my_a <- which.min(abs(as.numeric(near$p1[i]) - as.numeric(chr_1A$Start.1)))
    my_b <- which.min(abs(as.numeric(near$p2[i]) - as.numeric(chr_1A$Start.1)))
    chr_1A$out[my_a:my_b] <- near$info[i]
  }
}

单独型变异位点标注方法:

for (i in 1:nrow(single)){
  if (identical(single$chr[i],"1A")){
    index <- which.min(abs(as.numeric(single$positon[i]) - as.numeric(chr_1A$X3G.Start.1)))
    chr_1A$out[index] <- single$info[i]
    OK <- OK+1
  }
}

step3:比对参考基因组

第二步中已经对标记位点进行分类整理,接下来将其填入参考基因组对应区间,看看有哪些基因或QTL,主要流程如下:

Ref_file <- "data/Ref.csv"
Ref <- read_csv(Ref_file)
id_list <- list.files("./out/3_Gene_Maping_Result/")
index <- 8
for (id in id_list){
  now <- read.csv(paste0("./out/3_Gene_Maping_Result/",id))
  atom <- str_split(id,"[.]")
  job <- atom[[1]][1]
  tem <- bind_cols(tem,now[,8])
  colnames(tem)[index] <- job
  index <- index + 1
  print(id)
}
for (i in 1:nrow(tem)){
  # 判断每个基因有多少个对应的位点
  tem$End[i] <- ncol(tem) - sum(tem[i,8:ncol(tem)] == "") - 7
}
colnames(tem)[4] <- "CountSNP"

如果想将多个表型或者环境的结果合并到一起,可以通过下面的代码进行操作:

tem$all <- NA
# 将多个环境区的数据合并到同一列-----------
for (i in 1:nrow(tem)){
  var_add <- c()
  for (m in 8:(ncol(tem)-1)){
    if (tem[i,m] == ""){
      next
    }else{
      var_add <- c(var_add,tem[i,m])
    }
  }
  add_info <- str_c(var_add,sep = "",collapse = " ; ")
  tem$all[i] <- add_info
}
all_col <- tem[,ncol(tem)]
out <- cbind(tem[,1:7],all_col,tem[,8:(ncol(tem)-1)])

由于上述过程涉及到两次迭代循环,计算量比较大,因此对其进行重构优化,实现并行计算,方法如下:

# 多线程重构并行运算-----------
library(foreach)
library(doParallel)
library(stringr)
# 获取计算机可用线程数
num_cores <- parallel::detectCores() - 2
cl <- makeCluster(num_cores)
registerDoParallel(cl)
n <- nrow(tem)
result <- foreach(i = 1:n, .combine = rbind) %dopar% {
  var_add <- c()
  for (m in 8:(ncol(tem)-1)){
    if (tem[i,m] == ""){
      next
    } else {
      var_add <- c(var_add, tem[i,m])
    }
  }
  add_info <- stringr::str_c(var_add, sep = "", collapse = " ; ")
  tem$all[i] <- add_info
  return(tem[i, ])
}
# 关闭并行计算
stopCluster(cl)
registerDoSEQ()
# 将结果写回原始数据框tem
tem <- result

step4:特殊结构变异区段查找

有一些大范围的结果变异,比如CNV等也比较重要,因此通过以下算法实现CNV类型初步判断与整理:

opt_snp_near <- 300*1000 # 相邻片段的最大间距,默认为300kb
opt_windows <- 2*1000*1000 # CNV片段的最小宽度,默认阈值为2MB,若连续位点跨度大于该值表示CNV
# CNV的评判标准:在连续型位点中,第一个位点和最后一个位点的间距跨度大于opt_windows
CNV_find <- as.data.frame(matrix(ncol = 7,nrow = 0))
colnames(CNV_find) <- c("p1","p2","info","chr","number","gap","type")
for (page in 1:length(SNP_near_all)){
  job <- names(SNP_near_all)[page]
  print(job)
  job_name <- str_replace(job,".csv","")
  if (nrow(SNP_near_all[[page]]) < 3){next} # 过滤小于2行的数据集
  df <- SNP_near_all[[page]]
  df$gap <- as.numeric(df$p2) -as.numeric(df$p1)
  df$type <- NA
  for (i in 1:nrow(df)){
    # 判断三种特殊情况,过滤具有单个位点的染色体
    if (i == 1 & df$chr[i] != df$chr[i+1]){df$type[i] <- "del";next}
    if (i == 1 & df$chr[i] == df$chr[i+1]){
      if (as.numeric(df$p1[i+1]) - as.numeric(df$p2[i]) < opt_snp_near){
        df$type[i] <- str_c(job_name,"_CNV_1")
        next
      }else{next}
    }
    if (i == nrow(df) & df$chr[i] != df$chr[i-1]){df$type[i] <- "del";next}
    if (df$chr[i] != df$chr[i-1] & df$chr[i] != df$chr[i+1]){df$type[i] <- "del";next}
  }
  df <- df[which(is.na(df$type)),] # 删除单个染色体
  if (nrow(df) == 0){next} # 若删除后数据为空则跳过
  # 进行CNV判断
  temp_type <- 1 # CNV片段分类计数
  for (i in 1:nrow(df)){
    foot <- 0 # 记录前进步数
    if (!is.na(df$type[i])){
      next
    }
    is_add <- F # 记录是否添加CNV
    # 最后一行特殊处理
    if (i == nrow(df)){ 
      if (as.numeric(df$p1[i]) - as.numeric(df$p2[i-1]) < opt_snp_near){
        df$type[i] <- df$type[i-1]
      }else{next}
    }
    for (index in (i+1):nrow(df)) { #从下一行开始查找连续区段,直到终止
      # if (foot != 0){foot <- foot -1 ;next}
      if (as.numeric(df$p1[index]) - as.numeric(df$p2[i+foot]) < opt_snp_near){
        df$type[i+foot] <- str_c(job_name,"_CNV_",temp_type)
        df$type[index] <- str_c(job_name,"_CNV_",temp_type)
        is_add <- T
        foot <- foot + 1
      }else{
        break
      }
    }
    if (is_add){
      temp_type <- temp_type +1
    }
  }
  out <- df[which(!is.na(df$type)),]
  CNV_find <- rbind(CNV_find,out)
}

行文至此,流程结束!以上内容中可能还有一些不完善的地方,欢迎加我好友交流,感谢你能看到这里,如果愿意的话点个在看或转发支持一下吧。

END

© 素材来源于网络,侵权请联系后台删除

笔记合集,点击直达

相关文章
|
11月前
|
存储 算法 Serverless
GWAS结果自动批量整理算法(上)
GWAS结果自动批量整理算法
|
11月前
|
算法 Linux Python
SGAT丨快捷GWAS结果显著SNP位点归类提取与变异类型转化算法,基于R语言tidyverse
SGAT丨快捷GWAS结果显著SNP位点归类提取与变异类型转化算法,基于R语言tidyverse
|
11月前
|
算法 Linux 数据处理
SGAT丨GWAS得到的结果怎么处理?一种基于tidyverse的数据整理实用小算法
SGAT丨GWAS得到的结果怎么处理?一种基于tidyverse的数据整理实用小算法
|
5天前
|
算法 安全 数据库
基于结点电压法的配电网状态估计算法matlab仿真
**摘要** 该程序实现了基于结点电压法的配电网状态估计算法,旨在提升数据的准确性和可靠性。在MATLAB2022a中运行,显示了状态估计过程中的电压和相位估计值,以及误差随迭代变化的图表。算法通过迭代计算雅可比矩阵,结合基尔霍夫定律解决线性方程组,估算网络节点电压。状态估计过程中应用了高斯-牛顿或莱文贝格-马夸尔特法,处理量测数据并考虑约束条件,以提高估计精度。程序结果以图形形式展示电压幅值和角度估计的比较,以及估计误差的演变,体现了算法在处理配电网状态估计问题的有效性。
|
1天前
|
数据采集 存储 算法
基于BP算法的SAR成像matlab仿真
**摘要:** 基于BP算法的SAR成像研究,利用MATLAB2022a进行仿真。SAR系统借助相对运动合成大孔径,提供高分辨率图像。BP算法执行回波数据预处理、像素投影及图像重建,实现精确成像。优点是高精度和强适应性,缺点是计算量大、内存需求高。代码示例展示了回波生成、数据处理到插值显示的全过程。
|
9天前
|
机器学习/深度学习 自然语言处理 算法
m基于深度学习的OFDM+QPSK链路信道估计和均衡算法误码率matlab仿真,对比LS,MMSE及LMMSE传统算法
**摘要:** 升级版MATLAB仿真对比了深度学习与LS、MMSE、LMMSE的OFDM信道估计算法,新增自动样本生成、复杂度分析及抗频偏性能评估。深度学习在无线通信中,尤其在OFDM的信道估计问题上展现潜力,解决了传统方法的局限。程序涉及信道估计器设计,深度学习模型通过学习导频信息估计信道响应,适应频域变化。核心代码展示了信号处理流程,包括编码、调制、信道模拟、降噪、信道估计和解调。
31 8
|
11天前
|
算法
基于GA遗传优化的混合发电系统优化配置算法matlab仿真
**摘要:** 该研究利用遗传算法(GA)对混合发电系统进行优化配置,旨在最小化风能、太阳能及电池储能的成本并提升系统性能。MATLAB 2022a用于实现这一算法。仿真结果展示了一系列图表,包括总成本随代数变化、最佳适应度随代数变化,以及不同数据的分布情况,如负荷、风速、太阳辐射、弃电、缺电和电池状态等。此外,代码示例展示了如何运用GA求解,并绘制了发电单元的功率输出和年变化。该系统原理基于GA的自然选择和遗传原理,通过染色体编码、初始种群生成、适应度函数、选择、交叉和变异操作来寻找最优容量配置,以平衡成本、效率和可靠性。
|
2天前
|
算法 vr&ar
基于自适应波束成形算法的matlab性能仿真,对比SG和RLS两种方法
```markdown - MATLAB2022a中比较SG与RLS自适应波束成形算法。核心程序实现阵列信号处理,强化期望信号,抑制干扰。RLS以其高效计算权重,而SG则以简单和低计算复杂度著称。[12345] [6666666666] [777777] ```
|
3天前
|
算法 索引
基于Prony算法的系统参数辨识matlab仿真
Prony算法在MATLAB2022a中用于信号分析,识别复指数信号成分。核心程序通过模拟信号X1,添加不同SNR的噪声,应用Prony方法处理并计算误差。算法基于离散序列的复指数叠加模型,通过构建矩阵并解线性方程组估计参数,实现LTI系统动态特性的辨识。
|
12天前
|
机器学习/深度学习 算法
基于鲸鱼优化的knn分类特征选择算法matlab仿真
**基于WOA的KNN特征选择算法摘要** 该研究提出了一种融合鲸鱼优化算法(WOA)与K近邻(KNN)分类器的特征选择方法,旨在提升KNN的分类精度。在MATLAB2022a中实现,WOA负责优化特征子集,通过模拟鲸鱼捕食行为的螺旋式和包围策略搜索最佳特征。KNN则用于评估特征子集的性能。算法流程包括WOA参数初始化、特征二进制编码、适应度函数定义(以分类准确率为基准)、WOA迭代搜索及最优解输出。该方法有效地结合了启发式搜索与机器学习,优化特征选择,提高分类性能。