吴刚专访--大数据和 MaxCompute 技术和故事
2019大数据技术公开课第一季《技术人生专访》来袭，本季将带领开发者们探讨大数据技术，分享不同国家的工作体验。本文整理自阿里巴巴计算平台事业部高级技术专家吴刚的专访，将为大家介绍Apache ORC开源项目、主流的开源列存格式ORC和Parquet的区别以及MaxCompute选择ORC的原因。
一张图看学霸，杭州云栖大会前13位顶尖科学家聚会
2017杭州云栖大会开幕前夕，马云在董事局密会13名顶尖科学家，包括多名中美院士。两个多小时的会谈信息量很大……中国唯一的图灵奖获得者姚期智院士、中国量子力学第一人潘建伟院士、哥伦比亚大学的Jeanette Wang教授都来了!
伏羲—阿里云分布式调度系统
在12月12日的云栖社区在线培训上，“飞天”分布式系统核心开发人员陶阳宇分享了《伏羲-阿里云分布式调度系统》。他主要从伏羲系统架构、任务调度、资源调度、容错机制、规模挑战、安全与性能隔离方面介绍了伏羲分布式系统架构和设计理念。
干货：解码OneData，阿里的数仓之路。
据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4万亿GB)，这一数据量是2013年的10倍。正在“爆炸式”增长的数据的潜在巨大价值正在被发掘，它有可能成为商业世界的“新能源”，变革我们的生产，影响我们生活。当我们面对如此庞大的数据之时，如果我们不能有序、有结构的进行分类组织
品《阿里巴巴大数据实践-大数据之路》一书（上）
7月有人推荐阿里巴巴刚出的这本书《阿里巴巴大数据实践-大数据之路》，到亚马逊一看才是预售状态，拍下直到8月才拿到。
翻看目录一看，欢喜的很，正好出差两天就带在身边，由于在机场滞留超过12个小时，就把它读完了。
spark集群使用hanlp进行分布式分词操作说明
本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作，文章整理自【qq_33872191】的博客，感谢分享！以下为全文：
分两步：
第一步：实现hankcs.
大数据存储平台之异构存储实践
经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次；在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。
Hive 调优总结
一、查看执行计划explain extended hql；可以看到扫描数据的hdfs路径二、hive表优化分区（不同文件夹）：动态分区开启：set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;
默认值：strict 描述：strict是避免全分区字段是动态的，必须
存储与计算分离：OSS构建表 + 计算引擎对接
看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？
本文先给出基本结论：
OSS是什么?
对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。
