可视化生信分析利器-Galaxy(第一讲)

简介: 什么是Galaxy很多公司开始推广他们的可视化生信分析工具,有人说未来的趋势是无代码,分析只要拖拖点点就行了。无代码只能说是一个噱头,毕竟人人都会“用"excel,也不是人人都是数据分析师。

什么是Galaxy

很多公司开始推广他们的可视化生信分析工具,有人说未来的趋势是无代码,分析只要拖拖点点就行了。无代码只能说是一个噱头,毕竟人人都会“用"excel,也不是人人都是数据分析师。

但是一个数据分析师肯定知道如何正确的使用excel,所以一个真正的生信媛/猿也不会嫌弃那些可视化的工具。毕竟写代码累了,没事拖拖点点也是别样的乐趣。

Galaxy就是很多年前在云计算背景下诞生的开源项目, 目前在GitHub上有362个star,165个贡献者。

官方站点: https://usegalaxy.org/,如果感兴趣的话可以在云端玩耍下。

img_b5209a2f5d2b83239168febb9c84614b.png
Galaxy

然后,将有一波galaxy学习笔记更新而来。

安装

在正式安装之前,确保自己使用的是Unix/Linux系统,并且安装了Python,且版本是2.7.(最好还有Git)。

galaxy的安装非常简单,就是从github上克隆一份到本地,然后运行部署脚本,然后等着。

# 我习惯把软件安装在biosoft下
cd ~/biosoft
# 克隆到本地
git clone -b release_17.09 https://github.com/galaxyproject/galaxy.git
cd galaxy
# 修改配置文件
cp config/galaxy.ini.sample config/galaxy.ini
# The port on which to listen.
port = 1024
# The address on which to listen.  By default, only listen to localhost (Galaxy
# will not be accessible over the network).  Use '0.0.0.0' to listen on all
# available network interfaces.
host = 0.0.0.0
# 运行
sh run.sh

我这里简单的修改了配置文件, 使其可以被内网的其他用户通过“IP:1024"的方式访问。

img_e867cdb119377e6c52d65dcc8e941c32.jpe
image

配置

管理员账号

Galaxy后续如果要进行软件安装,管理用户等操作,就必须要先要成为管理员。

第一步: 在galaxy进行注册

img_f12a636ff7438437c4dd31c3a6cace47.jpe
image

第二步: 修改配置文件config/galaxy.ini,更改其中的admin_users.

# this should be a comma-separated list of valid Galaxy users
admin_users = user1@example.com,user2@example.com

第三步: 重启run.sh或者重新登陆账号,就会发现在工作栏上多了Admin这一部分。

安装软件

安装工具OR下载数据有三种方法:

  • 从Tool Shed安装
  • 手动添加到Galaxy中
  • 脚本自动化完成

其中从Tool shed安装最方便,官方教程介绍的非常详细,跟从APP Store下载软件没有啥太大区别。

如下演示BWA软件如何安装。

img_bc0e288371b89734be94879972c0da58.jpe
image

小技巧: galaxy同样利用bioconda进行生信软件管理,因此修改galaxy/config/galaxy.ini中如下行

# conda_ensure_channels = iuc,bioconda,conda-forge,defaults,r
conda_ensure_channels = iuc,https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/,https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/,defaults,r

这行代码仅针对国内用户,感谢清华镜像源。

可视化数据管理

数据管理是一件非常琐碎,非常基础,但是却非常重要的事情。你不能直接把数据丢在一边,假装他已经被你整理了。你必须面对这只”灰犀牛“,知道如何正确的对数据进行管理。

生信分析的数据可以分为以下几类:

  • 参考序列,注释文件,索引文件
  • 用户上传数据
  • 分析过程中所产生的数据

Galaxy建立了专门的数据管理体系,用于记录这几类数据,便于不同工具间的交互。

Part I:准备参考基因序列并建立索引。

和这部分相关的工具位于Data ManagersData source两个工具分类下。

img_4bc5eea065f623a68644a940e4e1c280.jpe
image

这一部分需要安装的工具如下,请参考安装软件一节完成安装。

  • data_manager_fetch_genome_dbkeys_all_fasta
  • data_manager_bwa_mem_index_builde
  • data_manager_bowtie2_index_builder
  • data_manager_fetch_gene_annotation
  • data_manager_hisat2_index_builder

安装完成之后,点击adminlocal data会出现如下内容。

img_bd9d7cd7b574b11eb5f77a350c73eb99.jpe
image

hu

拟南芥为例, 我事先在TAIR上复制了其参考基因组的下载地址, 随后在adminlocal data中选择"ata_manager_fetch_genome_dbkeys_all_fasta"进行下载。

img_75a42e317996bec1ee897bd9f93213cc.jpe
image

hua

随后就能在如下的"Data Manager Jobs"查看运行进程。

img_bc1219dc7d1c554243436683014e6411.jpe
image

不难发现,其实我也是在2次失败的尝试后,才找到的正确地使用方式。但是由于我重复添加同一个物种,结果后面各种报错,于是我就只能使用了最后的绝招--重装Galaxy。

后续需要对参考基因组建立索引,过程和上面的一致,只不过你需要选择BWA-MEM index,之后就是点点然后等几分钟就行了。

如果是人类的参考基因组,可以考虑下载已有的索引,然后修改galaxy的配置文件。

Part II: 用户上传数据

用户上传数据这一块比较简单,如下图选择Upload File, 然后从本地选择需要的数据进行上传即可。

img_28076245904236879462ac14f9081975.jpe
image

Part III: 中间数据。 这个部分目前不需要担心,你可以将分析结果下载到本地,然后在本地用IGV进行查看。这个部分在workflow会继续再介绍。

img_4ddf68c6f2cef2ec4baad6adfb0e5557.jpe
image

下一讲

如何自动化安装软件?如何配置galaxy项目还没有的工具?大规模数据应该如何上传?

这些内容见下一讲吧。

目录
相关文章
|
7月前
|
机器学习/深度学习 数据可视化 数据挖掘
Python技术应用:数据分析与可视化的利器
【2月更文挑战第7天】在当今信息爆炸的时代,数据分析和可视化已经成为各行业的核心竞争力。Python作为一种简洁、高效的编程语言,为数据分析带来了全新的可能性。本文将介绍Python在数据分析和可视化领域的应用,探讨其在实际工作中的重要性和价值。
71 2
|
1月前
|
SQL 数据可视化 数据挖掘
让项目数据更有说服力:五款必备数据可视化管理工具推荐
在现代企业管理中,数据是决策的重要依据。有效的数据可视化工具能帮助项目经理快速洞察项目进展、评估风险、优化资源配置。本文推荐五款必备的数据可视化管理工具,包括板栗看板、Power BI、Tableau、Google Data Studio和Qlik Sense,从功能、易用性和优缺点等方面进行全面评析,帮助您将数据转化为行动,推动项目高效前行。
57 4
|
2月前
|
数据可视化 数据挖掘 新能源
2024年五大备受瞩目的数据可视化工具推荐
在当今数据驱动的时代,数据可视化工具已成为各行各业不可或缺的助手。这些工具不仅能够帮助用户更好地理解和分析数据,还能将数据转化为洞察,从而支持更明智的决策。以下是2024年五大备受瞩目的数据可视化工具推荐,每款工具都有其独特的优势和适用场景。
|
4月前
|
存储 数据可视化 前端开发
基于python的当当二手书数据分析与可视化系统设计与实现
本文设计并实现了一个基于Python的当当二手书数据分析与可视化系统,通过数据收集、清洗、聚类分析和可视化展示,为二手书市场提供全面的数据分析和决策支持,以促进资源循环利用和市场效率优化。
130 0
基于python的当当二手书数据分析与可视化系统设计与实现
|
4月前
|
数据采集 存储 数据可视化
【优秀python数据分析案例】基于python的中国天气网数据采集与可视化分析的设计与实现
本文介绍了一个基于Python的中国天气网数据采集与可视化分析系统,通过requests和BeautifulSoup库实现数据爬取,利用matplotlib、numpy和pandas进行数据可视化,提供了温湿度变化曲线、空气质量图、风向雷达图等分析结果,有效预测和展示了未来天气信息。
1224 3
|
5月前
|
人工智能 算法 数据可视化
算法金 | 我最常用的两个数据可视化软件,强烈推荐
**算法金**分享数据可视化利器——Tableau与Python的Matplotlib。Tableau,BI界的精英,提供直观拖放界面,快速生成美观图表;Matplotlib,Python绘图库鼻祖,支持复杂图形定制,广泛应用于科学可视化。文中通过趋势图、频数图、结构图、分布图、相关图等多种图表实例,展示了两者在洞察数据、揭示模式和关系方面的强大功能。无论新手还是老将,都能借助这些工具提升数据分析和展示的技艺。
44 0
算法金 | 我最常用的两个数据可视化软件,强烈推荐
|
7月前
|
数据可视化
共享单车数据可视化分析|附代码数据
共享单车数据可视化分析|附代码数据
|
数据可视化 数据挖掘 API
漏刻有时可视化数据分析专向大屏训练通升级说明
漏刻有时可视化数据分析专向大屏训练通升级说明
148 0
|
7月前
|
监控 数据可视化 数据挖掘
热门的数据分析软件推荐
热门的数据分析软件推荐
|
数据可视化 安全 Cloud Native
AntV 你的保姆级数据可视化解决方案
AntV 你的保姆级数据可视化解决方案
788 0