分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37780内容
MaxCompute上你从未体验过的数据分析和机器学习过程
PyODPS,拥有对于Python用户传统的数据分析和机器学习愉快的体验,包括了DataFrame框架和机器学习模块,它们类似于pandas+scikit-learn,能用它们进行数据分析、绘图、机器学习等等。
| |
来自: 云存储
使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南
概述 现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。
Schedulerx2.0分布式计算原理&最佳实践
1. 前言 Schedulerx2.0的客户端提供分布式执行、多种任务类型、统一日志等框架,用户只要依赖schedulerx-worker这个jar包,通过schedulerx2.0提供的编程模型,简单几行代码就能实现一套高可靠可运维的分布式执行引擎。
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
预聚合是高性能分析中的常用技术,通过预先聚合降低纬度,从而在查询时大幅减少计算量,提升响应速度。本文介绍了 spark-alchemy 这个开源库中的 HyperLogLog 这一个高级功能,并且探讨它是如何解决大数据中数据聚合的问题。
【最全合集】一文看尽 2019杭州云栖大会 MaxCompute 技术分享
本文汇集2019杭州云栖大会上MaxCompute的主题分享,内容涵盖MaxCompute技术关键进展及展望,超大规模企业级计算引擎,分布式智能调度执行框架,列式存储引擎,MaxCompute生态,大数据平台的安全风控以及混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践等内容,从底层技术到最佳实践,内容广泛而深入,希望能让读者有所收获。
阿里云服务器配置选择方法和经验(CPU+内存+宽带)
阿里云ECS云服务器配置的选择不仅仅包括CPU核数、内存及宽带多少,还需要根据实际业务场景选择对应的规格族,云吞铺子分享阿里云服务器的选配方法和经验: 云服务器的CPU+内存选配 普通的个人小型网站,如:个人博客等小流量网站,可选择入门级配置的云服务器推荐配置:1核CPU、1G或2G内存、硬盘40G、1M或2M带宽 论坛、门户类网站:论坛、门户类网站,用户活跃性与访问量较高,为了保证足够的服务器资源空间,提升访问速度。
标签分类理论
最近在做DMP,负责设计一套标签管理系统。在对现有标签进行整理的过程中,整理出了这套东西。 0. 标签的定义:标签分类学(Taxonomy) 对于标签(tag),很难列出一个公认的定义,指明这个概念的种差与属概念。所以为了把握这个概念,就需要采取定义另一种办法:分类与枚举。 我们要解决的第一个
阿里云 MaxCompute 2020-8 月刊
MaxCompute商业化发布数据备份恢复和数据科学Mars两项重要功能,同时公测发布MaxCompute查询加速。秒级恢复误删除数据,分布式加速 Python 数据科学栈,自动识别短查询作业并加速处理,满足报表分析、即席查询场景的使用要求尽在8月刊。
从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践
摘要:在2017年云栖大会•北京峰会的大数据专场中,来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中,李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题;然后,他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。
免费试用