继盛
继盛
程序猿一枚，把梦想揣进口袋的挨踢工作者。主要工作是分布式数据分析（DataFrame并行化框架），以及大规模分布式多维数组计算框架等。
本文首先对Mars的概念、功能、优势进行了介绍，随后，对Mars几个典型的应用场景进行介绍，并通过两个Demo展示了在使用Mars后数据科学性能的提升，最后总结了Mars的最佳实践，让使用Mars更高效便捷。
本文从数据科学概念、背景和现状切入，引出加速数据科学的新方式Mars，并介绍了Mars具体能解决的一些问题和背后的逻辑、哲学，同时对Mars整体数据处理流程进行了介绍。
Mars 是一个并行和分布式 Python 框架，能轻松把单机大家耳熟能详的的 numpy、pandas、scikit-learn 等库，以及 Python 函数利用多核或者多机加速。这其中，并行和分布式 Python 函数主要利用 Mars Remote API。
Mars 能利用并行和分布式技术，加速 Python 数据科学栈，包括 numpy、pandas 和 scikit-learn。同时，也能轻松与 TensorFlow、PyTorch 和 XGBoost 集成。
最早的 "DataFrame" ，来源于贝尔实验室开发的 S 语言。R 语言，作为 S 语言的开源版本，于 2000 年发布了第一个稳定版本，并且实现了 dataframe。pandas 于 2009 年被开发，Python 中于是也有了 DataFrame 的概念。
在数据科学世界，Python 是一个不可忽视的存在，且有愈演愈烈之势。而其中主要的使用工具，包括 Numpy、Pandas 和 Scikit-learn 等。 Mars 在 MaxCompute 团队内部诞生，它的主要目标就是让 Numpy、pandas 和 scikit-learn 等数据科学的库能够并行和分布式执行，支持通过 RAPIDS 平台用 GPU 加速数据科学。
本月，Mars 发布了 0.4.0b1 ，0.4.0b2 和 0.3.2 以及 0.3.3，点击链接查看详细的 Release Notes。本月两次发布版本是特殊情况，0.4.0b2 修复了 0.4.0b1 中比较紧急的问题。
相信大家对排序算法都非常熟悉了，快速排序、堆排序、归并排序等等。如果我们想在一个很大的数据集上进行排序，能利用上多核，甚至是分布式集群，有什么办法么？ 本文就介绍一种并行排序算法：并行正则采样排序算法（Parallel Sorting by Regular Sampling），简称 PSRS 算法。
在数据科学世界，Python 是一个不可忽视的存在，且有愈演愈烈之势。而其中主要的使用工具，包括 Numpy、Pandas 和 Scikit-learn 等。 Mars 在 MaxCompute 团队内部诞生，它的主要目标就是让 Numpy、pandas 和 scikit-learn 等数据科学的库能够并行和分布式执行，支持通过 RAPIDS 平台用 GPU 加速数据科学。
PyODPS 提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理，本文主要介绍如何使用 PyODPS 执行笛卡尔积的操作。 笛卡尔积最常出现的场景是两两之间需要比较或者运算。
在使用 PyODPS DataFrame 编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及提供部分场景下解决问题的方法。
之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言，MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包，例如 oss2 依赖的 crcmod，PyPI 并未提供 Wheel 包，因而需要自行打包。
Mars 是一个基于矩阵的统一分布式计算框架，在之前的文章中已经介绍了 Mars 是什么， 以及 Mars 分布式执行 ，而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么，这几乎取决于你想做什么，因为 Mars 作为底层运算库，实现了 numpy 70% 的常用接口。
先前，我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用，本文将介绍 Mars 已实现的分布式执行架构，欢迎大家提出意见。 架构 Mars 提供了一套分布式执行 Tensor 的库。
最近，在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars，基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听到 Mars，很多第一次听说的同学都会灵魂三问：Mars 是什么，能做什么，怎么做的。
很高兴在这里宣布我们的新项目：Mars，一个基于张量的统一分布式计算框架。我们已经在 Github 开源：https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言了，如今，在数据科学计算、机器学习、以及深度学习领域，Python 越来越受欢迎。
背景 [PyODPS DataFrame]http://pyodps.readthedocs.io/zh_CN/latest/) 提供了类似 pandas 的接口，来操作 ODPS 数据，同时也支持在本地使用 pandas，和使用数据库来执行。
新版 MaxCompute Isolation Session 支持 Python UDF。也就是说，Python UDF 中已经可以跑二进制包。刚才以 Scipy 为例踩了一下坑，把相关的过程分享出来。
PyODPS 中使用 Python UDF 包含两方面，一个是直接使用，也就是在 MaxCompute SQL 中使用；一个是间接的方式，也就是 PyODPS DataFrame，这种方式你不需要直接写 Python UDF，而是写普通的 Python 函数或者类。
提交了问题
2017-11-21
PyODPS支持用 Python 来对 MaxCompute 对象进行操作，它提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理，并且可以用 ml 模块来执行机器学习算法。
前几天，PyODPS发布了0.7版本，这篇文章给大家介绍下PyODPS新版本带来的重要特性。 之前也有若干篇文章介绍过了，我们PyODPS DataFrame是延迟执行的，在调用立即执行的方法，比如execute、persist等之前，都只是构建了表达式。
这篇文章解释了PyODPS DataFrame是什么，能做什么事情，以及简单介绍一下实现的原理。
PyODPS，拥有对于Python用户传统的数据分析和机器学习愉快的体验，包括了DataFrame框架和机器学习模块，它们类似于pandas+scikit-learn，能用它们进行数据分析、绘图、机器学习等等。
PyOdps 0.4版本，DataFrame API支持使用pandas进行本地计算，用户因此能join ODPS和本地数据，也能进行本地debug，另外还有MapReduce API等新特性
PyOdps正式发布DataFrame框架（此处应掌声经久不息），DTer的福音！有了它，就像卷福有了花生，比翼双飞，哦不，如虎添翼。 快过年了，大家一定没心情看长篇大论的分析文章。作为介绍PyOdps DataFrame的开篇文章，我只说说其用起来爽的地方。其余的部分，从使用、问题到实现原理，我
发表了文章
2020-12-18
发表了文章
2020-12-18
发表了文章
2020-10-26
发表了文章
2020-05-08
发表了文章
2020-04-26
发表了文章
2020-04-13
发表了文章
2020-04-13
发表了文章
2020-04-13
发表了文章
2020-04-13
发表了文章
2019-06-12
发表了文章
2019-06-06
发表了文章
2019-02-28
发表了文章
2019-01-08
发表了文章
2019-01-08
发表了文章
2019-01-08
发表了文章
2019-01-08
发表了文章
2018-05-10
发表了文章
2018-05-10
发表了文章
2017-12-22
发表了文章
2017-11-30
提交了问题
2017-11-21
回答了问题
2019-07-17
回答了问题
2019-07-17
回答了问题
2019-07-17
回答了问题
2019-07-17
回答了问题
2019-07-17
