# 批量计算 #
0
关注
190内容
|
收藏！一张图帮你快速建立大数据知识体系
对海量数据进行存储、计算、分析、挖掘处理需要依赖一系列的大数据技术，而大数据技术又涉及了分布式计算、高并发处理、高可用处理、集群、实时性计算等，可以说是汇集了当前 IT 领域热门流行的 IT 技术。本文对大数据技术知识体系进行划分，共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理，进行相关的阐述说明，并列出目前业界主流的相关框架、系统、数据库、工具等。（文末福利：下载大数据知识体系图）
|
为什么已经有了自建服务器，还需要去IDC机房托管，最后又去上云呢？
上云前序 我们公司因为业务需求，需要来服务器托管微信公众号平台。之前我们先是自建服务器，然后就是使用IDC机房托管服务器，后来因为种种原因，最后转到了阿里云上云。很多同学会有疑问，为什么已经有了自建服务器，还需要去IDC机房托管，最后又去上云呢？ 因为在自建服务器的时候，这个服务器是由我们公司一群参差不齐不齐的"网络工程师"一起弄的。
|
一文让你秒懂批量计算的功能特性
用户使用工具（如 SDK，命令行工具等）向 BatchCompute 提交作业，BatchCompute 使用用户指定的镜像（如：ubuntu）启动虚拟机（VM）, 在虚拟机中运行用户程序, 运行完成后释放虚拟机（VM）。
|
【云栖号案例 | 医疗健康】华大基因上云 打造精准医疗应用云平台日志方案
基因数据产生的体量越来越大，超出了原有计算能力所能支持的范围。通过使用Maxcompute加速对人群结构的分析速度的进展，计算成本大幅降低至1000美金以内。
|
数据库必知词汇：流计算
在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当人们需要的时候通过数据库对数据做查询，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常的紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。
|
GATK 软件分析流程
GATK 软件分析流程由阿里云和 Broad Institute 合作提供。Broad Institute 提供的 GATK 流程最佳实践用 工作流定义语言（WDL） 编写，通过批量计算集成的 Cromwell 工作流引擎解析执行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付资源之外的附加费用。
Broad Institute GATK 网站和论坛为 GATK 工具和 WDL 提供了更完整的背景信息，文档和支持。
如果需要执行用 WDL 编写的通用工作流程，请参考 cromwell 工作流引擎和 WDL 支持的 APP 。
免费试用