Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？

 想用阿里云数加·大数据计算服务（MaxCompute），但是现在数据还在hadoop上，怎么办？   别烦恼，跟着我们走，来一次MaxCompute零基础数据迁移之旅～Let’s Go！

本手册为阿里云MVP《云计算·大数据：海量日志数据分析与应用》的《数据加工：用户画像》篇而准备。主要阐述在使用大数据开发套件过程中如何将已经采集至MaxCompute上的日志数据进行加工并进行用户画像，学员可以根据本实验手册，去学习如何创建SQL任务、如何处理原始日志数据。

MaxCompute/DataWorks权限问题排查建议 __前提：__MaxCompute与DataWorks为两个产品，在权限体系上既有交集又要一定的差别。在权限问题之前需了解两个产品独特的权限体系。

DT时代，越来越多的企业应用数据步入云端。 Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。 阿里云数加MaxCompute (原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。

本文主要介绍阿里巴巴-搜索事业部算法团队上半年在智能内容生成方向工作的一些实践和思考。

收集一些MaxCompute常用命令。

在云栖社区主办的云栖计算之旅第5期–大数据与人工智能分享中，阿里云计算平台高级专家薛明为大家深入地介绍了阿里云大数据IDE–MaxCompute Studio，并对于其特性和背后的技术思想进行了讲解。

### 背景 Google 将在2020年**2月4号**发布的 Chrome 80 版本（schedule：[https://www.chromestatus.com/features/schedule](https://www.

文章转载：小白杨1990 如今，阿里云的产品可谓是多种多样，纷繁复杂。面对各种各样的技术和产品，ECS、RDS、OSS…等等一系列的东西，很容易让人找不到头绪，尤其是刚刚开始接触网站建设的朋友。阿里云湖北授权服务中心武汉捷讯结合阿里云官网的资料，针对建站相关的内容为大家整理一些阿里云典型的应用场景

通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。

近期在做shark flume开发框架的测试，该框架是一个简单高效的面向数据的pipeline框架，采用flume java的思想，实现了一套flume java on MaxCompute的library。为了更好的了解shark自己也去阅读了flume java的paper，这里做一些总结，主要

Ha3是阿里巴巴搜索团队开发的搜索引擎平台，它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。

有很多同学希望把 DataV 创建的数据可视化大屏整合到自己的网站中，我们很早就提供了这样的支持。

实际问题 在流计算场景中，数据会源源不断的流入Apache Flink系统，每条数据进入Apache Flink系统都会触发计算。如果我们想进行一个Count聚合计算，那么每次触发计算是将历史上所有流入的数据重新新计算一次，还是每次计算都是在上一次计算结果之上进行增量计算呢？答案是肯定的，Apache Flink是基于上一次的计算结果进行增量计算的。

阿里云Elasticsearch集成了Elastic Stack商业版的X-Pack组件包，包括安全、告警、监控、报表生成、图分析、机器学习等组件，用户可以开箱即用。本文将对X-Pack 的监控组件功能进行详细解读。

老板每天都要出这些业务数据（销售总额、总交易量、总点击次数、总加入购物车次数、总加入收藏夹次数...），我得想个一劳永逸的方法了…

大数据开发过程中常遇到不同运行周期的任务进行依赖，常见**天任务依赖小时任务**、**小时任务依赖分钟任务**。那么如何通过大数据开发套件开发这两种场景呢？ 本文将从这两个场景出发，结合调度依赖/参数/调度执行等，介绍不同周期调度依赖的最佳操作实践。

随着DT时代互联网、智能设备及其他信息技术的发展，数据爆发式增长，如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 为什么需要数据建模 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕混乱的桌面，经常为找一个文件而不知所措。

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

日志服务收集的日志除了可以被实时查询外，还可以把日志数据投递到大数据计算服务MaxCompute（原ODPS），进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势： 使用非常简单。用户只需要完成2步配置即可以把日志服务Logstore的日志数

转载自xingbao     各位好，这是介绍阿里云伏羲(fuxi)调度器系列文章的第一篇，今天主要介绍多租户(QuotaGroup)管理的实现 一、FuxiMaster简介 FuxiMaster和Yarn非常相似，定位于分布式系统中资源管理与分配的角色：一个典型的资源分配流程图如下所

基于Blink为新商业调控打造实时大数据交互查询服务 从IT到DT、从电商到新商业，阿里巴巴的每个细胞都存在大数据的DNA，如何挖掘大数据的价值成为抢占未来先机的金钥匙！传统的大数据开发主要基于离线计算平台MaxCompute（ODPS）进行天级别、小时级别的批量数据分析，但近些年随着618、99.

美甲帮APP目前有几百万的用户，然而不同用户喜好和动机不同，譬如是想提升美甲技艺，还是想通过美甲图片选款，或者是想在商城里购买美甲产品，如何挖掘用户需求并以此进行精准化营销或个性化推荐，提升客户体验同时又可以增加收入，这些都是美甲帮最关注的问题。

BasicEngine是阿里巴巴搜索事业部自研的推荐在线召回引擎，依托强大的搜索底层技术支持，可以在线实现复杂的关联排序运算，支持灵活的推荐策略组合，为推荐系统的升级发展拓展了无限想象空间。

MaxCompute 的数据上传接口（Tunnel）定义了数据 block 的概念：一个 block 对应一个 http request，多个 block 的上传可以并发而且是原子的，一次同步请求要么成功要么失败，不会污染其他的 block。这种设计对于服务端来讲十分简洁，但是也把记录状态做 fa.

理解大数据开发套件和大数据计算服务的权限体系。

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。

本文PPT来自阿里云数据事业部高级专家薛明/艺卓于10月15日在2016年杭州云栖大会上发表的《MaxCompute大数据生态集成和开发工具》。

最近有朋友问，客户在香港ECS上搭建的MySQl，大概有100GB以上的数据，能否通过MaxCompute做海量数据分析，我的回答是YES！ 但客户担心香港与大陆之前数据连通性问题，我的回答依然是YES！ 为了让更多个客户不再困扰，笔者做了一份教程，可以通过大数据开发套件中的经典网络进行同步数据

现在越来越多的技术架构下会组合使用MaxCompute和TableStore，用MaxCompute作大数据分析，计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力，而TableStore提供海量数据高并发低延迟读写的能力。

根据John Matherly的说法，不适当地配置HDFS服务器——主要是Hadoop安装——将会泄露超过5PB的信息。John Matherly是用于发现互联网设备的搜索引擎Shodan的创始人。 这位专家说，他发现了4487个HDFS服务器实例，这些服务器可通过公共IP地址获得，而且不需要身份验证。

MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源，60CU以上的用户（备注：CU过小无法发挥计算资源及管家的优势）。 2、支持区域，MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

网聚宝基于阿里云数加及基础云服务等产品，向客户提供全域大数据SaaS应用，向二次开发者、集成商及合作伙伴提供PaaS API以及DaaS API，从而为客户、合作伙伴、集成商、二次开发者进行全面的大数据赋能。

我们通过阿里云MaxCompute 和大数据开发套件，引用第三方的Base64 JAR，来实现字符串的编码、解码；

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。 简介 Group By + Agg这个最经典的SQL使用方式。Group By是SQL中最基础的分组操作，agg的全称是aggregation(聚合操作)，是一类SQL算子的统称，Flink中最常用的Agg操作有COUNT/SUM/AVG等，详情参见Flink支持的聚合操作列表。

转载自云享团 因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候，对如何设置数据同步策略有疑惑，所以今天第一波我们来聊一下数据的同步策略，根据数据的特性，看看哪些数据适合增量同步，哪些适合全量同步，又是如何实现的？请认真看完下面的介绍，这些问题都不是事儿。

觉得裸用MaxCompute（原ODPS）门槛较高？想做数据开发，却苦于没有好的管理工具？想体验Data IDE觉得前期准备工作太长，欢迎进入大数据体验馆，快速开启体验：https://data.aliyun.com/experience

“C-Tech Awards 2016最具价值大奖评选”活动已经正式结束。从2016年12月22日线上征集至今，活动获得各大技术行业企业的高度关注，现已有来自国内外的近400家企业参与到了本次评选活动中，并提交了全面的产品简介和创新点解析。

E-MapReduce提供HBase服务，本文介绍了几种HBase集群间迁移的方法

随着互联网、云计算、物联网、社交网络等技术的兴起和普及，全球数据的增长快于任何一个时期，可以称作是爆炸性增长。收集大量数据，并在数据中发现趋势，能使企业能够更快、更平稳、更有效地发展。然而，大数据对许多企业和数据专业人员来说，它仍然很难理解，那么，什么是大数据分析?如何利用阿里云数加平台进行海量数据分析，帮助企业更好地利用数据资源?“天德π客”众创空间特举办本期论坛——“基于阿里云的大数据实践——海量日志分析”，邀请华北电力大学电力系统及其自动化博士，阿里云大数据高级认证讲师宋亚奇主讲。

2017云栖大会·杭州峰会：《在线用户行为分析：基于流式计算的数据处理及应用》之《流数据采集：海量流式视频日志收集》篇