MaxCompute实践
一、写在前面
本人之前一直从事程序开发的（PHP、JAVA、Python）工作，在之前的工作经历中有过一段时间配合Hadoop工程师的事务，但接触的并不深，只能说略知点皮毛，有点管中窥豹的感觉。
今年进了新公司，因为公司正在组建新的数据部门，非常有幸本人得以调入该部门，恰逢MaxCompute横空出世，刚好因为我那时工作比较空闲，得以安排调研它的功能及测试是否符合我们的要求。
Mars——基于张量的统一分布式计算框架
很高兴在这里宣布我们的新项目：Mars，一个基于张量的统一分布式计算框架。我们已经在 Github 开源：https://github.com/mars-project/mars 。
背景
Python
Python 是一门相当古老的语言了，如今，在数据科学计算、机器学习、以及深度学习领域，Python 越来越受欢迎。
Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程
作者：摇摆少年梦
微信号： zhouzhihubeyond
spark-submit 脚本应用程序提交流程
在运行Spar应用程序时，会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：
root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin#
.
【教程】5分钟在PAI算法市场发布自定义算法
概述
在人工智能领域存在这样的现象，很多用户有人工智能的需求，但是没有相关的技术能力。另外有一些人工智能专家空有一身武艺，但是找不到需求方。这意味着在需求和技术之间需要一种连接作为纽带。
今天PAI正式对外发布了“AI市场”以及“PAI自定义算法”两大功能，可以帮助用户5分钟将线下的spark算法或是pyspark算法发布成算法组件，并且支持组件发布到AI市场供更多用户使用。
开源SQL-on-Hadoop系统一览
查询分析是大数据要解决的核心问题之一，而SQL作为查询分析中使用最简单、最广泛的的语言之一，必然而然的催生了许多支持在Hadoop上使用SQL的系统，这就是所谓的SQL-on-Hadoop系统，其中大众熟知的Hive就是最早的SQL-on-Hadoop系统。
flume java介绍
近期在做shark flume开发框架的测试，该框架是一个简单高效的面向数据的pipeline框架，采用flume java的思想，实现了一套flume java on MaxCompute的library。为了更好的了解shark自己也去阅读了flume java的paper，这里做一些总结，主要
PyODPS开发中的最佳实践
PyODPS支持用 Python 来对 MaxCompute 对象进行操作，它提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理，并且可以用 ml 模块来执行机器学习算法。