大批量处理excel文件到ODPS中方案
大批量处理excel文件到ODPS中方案
前言
最近所做的项目需要将近五千个excel文件导入到ODPS,并且excel文件内容格式全部不一样。
刚接到需求时特别的懵,不过工作还是要做的,首先通过查询dataworks中文档来看怎么实现该需求,通过文档了解到只支持csv、txt等格式进行单个上传,然后就开始着手做。
MaxCompute( 原ODPS)下的表分区解释
大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
完成数据的打通-豌豆荚被阿里巴巴收购后的168天
曾经表示“要做伟大的公司”的豌豆荚在今年7月被阿里收购了。这家公司巅峰时期,估值曾高达10亿美元。然而,最后被收购时金额大跳水。据传当时的收购价为2亿美元,不过这一数额并未得到阿里巴巴和豌豆荚的确认。
MaxCompute2.0助力众安保险快速成长
摘要:2017云栖大会阿里云大数据计算服务(MaxCompute)专场,众安保险数据总监王超群带来MaxCompute助力众安保险方面的演讲。本文主要从MaxCompute优势开始谈起,进而谈及大数据能够公司运营带来的好处,最后重点分析了众安保险的数据平台建设,包括任务调度、元数据和数据质量监控等。
基于 MaxCompute 的极速的基因测序分析
转载自yizhuo
基因、测序、分析
基因,生命的基本因素,是人类和其他生物的基础遗传物质。人有 23 对染色体,总共记录了大约 3Gb 个碱基(这里的 b 是 base,即碱基,可不是 bit,参考这里),每个位置上的碱基可能是 ATCG 中的一个。简单理解起来,就是有了这 3Gb 长的字