本文对Spark的资源调度的进行了介绍，涉及到4个维度的调度，包括SparkApplication/pool/TaskSetManager/Task。

在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。

基于阿里云数加·MaxCompute构建大数据仓库的开发工具利器Data IDE《MaxCompute（原ODPS）开发入门指南——数据开发工具篇》，那么基于Data IDE进行数据开发想必也遇到一些不少的困惑，就自己在培训过程中的一些经验或者说阿里集团内的踩坑之路与大家在此分享，也欢迎拍砖。

来自阿里云IDST褚崴为大家带来分布式机器学习平台方面的内容，主要从大数据的特点和潜在价值开始讲起，然后介绍阿里的业务场景中常用到的机器学习算法，以及阿里采用的分布式机器学习框架，最后介绍了PAI算法平台，一起来看下吧。

阿里云大数据实验室时阿里云开发的一站式大数据教学实践和科研创新平台，提供创业创新大赛平台，为各行业用户提供简单易用的大数据真实环境，让数据价值触手可及。在阿里云大数据实验室中集成了MaxCompute。

Analytics Zoo 是由 Intel 开源,基于 Apache Spark 和 Inte BigDL 的大数据分析和 AI 平台，方便用户开发基于大数据、端到端的深度学习应用。本文简单介绍了如何在阿里云 E-MapReduce 使用 Analytics Zoo 来进行深度学习。

Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。

PyOdps 0.4版本，DataFrame API支持使用pandas进行本地计算，用户因此能join ODPS和本地数据，也能进行本地debug，另外还有MapReduce API等新特性

本文介绍了时间序列数据的特点和主流的技术分类，以及Elasticsearch在时序数据库场景下的技术特点。

我们知道Kafka提供一套非常完善的Metrics数据，覆盖Broker，Consumer，Producer，Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka Broker metrics信息，可以很好地监控Broker运行状态。

在深度学习领域流传着这样一句话，“一张好的表示图，胜过一千个公式” 本文会介绍如何通过PAI-DSW中的FastNerualNetwork功能实现深度学习网络的可视化编辑。 神经网络最早诞生于生物领域，用来模仿生物大脑复杂的神经元构成，后来人类为了探索大脑是如何思考，通过一层一层的数学公式来模拟大脑分析事物的过程。

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

为了验证字符串中是否包含中文汉字，今天为大家提供一个自动判断中文字符的MaxCompute UDF，下载地址见附件。 效果如下： MaxCompute UDF代码如下： package com.

通过demo分析istio的网络转发流程，从而对istio实现原理有更为直观的认识。本文先介绍了涉及到的相关概念和背景知识，然后对具体应用进行分析。背景知识概念分散，参考文章较多，敬请谅解。

摘要：华大基因股份公司总监金鑫介绍了华大基因，并浅谈了与阿里云的情缘，包括Maxcompute等方面应用案例。一起来看下吧。   关于华大基因 华大基因是中国最领先的基因科技公司，华大基因为消除人类病痛、经济危机、国家灾难、濒危动物保护、缩小贫富差距等方面提供分子遗传层面的技术支持。

机器学习PAI通过声音数据分辨男女（含语音特征提取相关数据和代码）

网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐 ，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。

从98年成立至今的18年中，网鱼累计签约门店已接近900家，已拥有超过830万会员，2016年网鱼网咖共服务了3300多万人次，服务范围覆盖全国100多个城市，现在网鱼网咖已走出国门，在加拿大、澳大利亚、新加坡等国家开设多家门店。

Serverless 架构旨在将应用开发者从底层基础设施的运维中解放出来，更加专注于业务价值的实现上,这种思想对于大数据应用尤其适用,数据科学家更需要投入到数据价值的探索和挖掘上。本文讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛，真正的实现普惠大数据。

5月底MaxCompute开启大数据计算技术共享计划，第一季，为大数据爱好者和企业客户带来了MaxCompute数据开发实战的四次主题分享，有1500多名用户线上参加了共享季直播。7月24日，MaxCompute开启第二季技术公开课，近6000名大数据爱好者和企业客户参加了第二季的5次主题直播，越来越多的大数据专家、技术牛人、爱好者参与到我们的技术共享活动中来，让我们一起玩大数据如烹小鲜吧。

从此，人类可以在 DataV 里一键批量对齐组件了。

回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上，阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享，钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。

工业界和学术界也先后推出了用于Deep Learning建模用途的多种开源工具和框架，这里详细解读下阿里云推出的PAI(Platform of Artificial Intelligence)。其致力于通过系统与算法协同优化的方式，来有效解决Deep Learning训练工具的使用效率问题，目前PAI集成了TensorFlow、Caffe、MXNet这三款流行的Deep Learning框架，并针对这几款框架做了定制化的性能优化支持，以求更好的解决用户建模的效率问题。

有很多同学希望把 DataV 创建的数据可视化大屏整合到自己的网站中，我们很早就提供了这样的支持。 但是如果限定权限则成为了一个问题。 如你嵌入到自己网站中的大屏，可能不希望被别人提取出来，自己打开。

本文就将lstm用户行为序列预测term的偏好 和 ctr预估相结合做了探索和应用，并在线下和线上取得了正向的效果。

这篇文章解释了PyODPS DataFrame是什么，能做什么事情，以及简单介绍一下实现的原理。

要：在2017杭州云栖大会阿里云大数据计算服务（MaxCompute）专场上，阿里巴巴高级技术专家李睿博为大家分享了阿里云大数据计算服务MaxCompute对于开源系统的支持和融合，以及在拥抱开源和生态的时候阿里巴巴的技术团队遇到过哪些问题和挑战。

在票选最美云上大数据暨大数据技术峰会上，来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手，延伸到DTS、Logstash、DataX等官方/开源软件，向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据，分享最后还介绍了如何在Python和R语言中使用MaxCompute。

聊什么 为了满足本系列读者的需求，在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前，我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例，向大家介绍在Apache Flink中如何使用Kafka。

传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契，但受制于离线计算的时效性制约，越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建，目前该系统已支持日均处理日志数量超过百亿，接入产品线、业务日志类型若干。

2017年11月1日，阿里云计算宣布大数据计算服务MaxCompute北京节点正式对外开放运营，这是继杭州、青岛之外，阿里云在全球对外服务的第三个数据中心。阿里云方面表示，北京数据中心将更好地服务众多互联网公司和世界级企业总部。

想在1天内快速搞定实时业务数据大屏吗？想用最短路径逆袭成为数据可视化大神吗？想在除了PRD外什么都没有的情况下，体验职场真人版绝境求生吗？

Cuckoo Hash Table 使用了两个哈希函数来解决冲突。Cuckoo查询操作的理论复杂度为最差O(1)，而Cuckoo的插入复杂度为均摊O(1)。我们引入Cuckoo是希望它在实际应用中，能够在较高的空间利用率下，仍然维持不错的查询性能。

本手册为阿里云MVP Meetup Workshop之《云计算·大数据：海量日志数据分析与应用》场的前提准备条件所需。

大家在使用大数据计算服务MaxCompute时，最头疼就是我现在已有的数据如何快速上云？我的日志数据如何采集到MaxCompute上？等等。。。具体详见《MaxCompute（原ODPS）开发入门指南——数据上云篇》。

摘要： 目前我国物流业保持较快增长，但还是存在一些问题：物流成本高、效率低，条块分割严重（自营物流、规模小、技术落后、标准不统一）、基础设施相对滞后（物流基础设施之间不衔接、不配套），对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.

                        阿里集团搜索中台TisPlus 搜索中台的发展     从阿里很多技术产品的发展路径来看都遵循着技术驱动、产品驱动、数据驱动三个阶段，那阿里巴巴的搜索技术的发展也基本基于上述的发展路径。

2017云栖大会·杭州峰会将于10月10日-14日在杭州云栖小镇隆重举行，据相关数据显示大会多场主题分论坛门票都已经售罄。在这110余场主题分论坛中，可能备受大家最为感兴趣是人工智能、大数据的专场。大数据的热度在深圳峰会、成都峰会、上海峰会都逐一印证。

地图数据（散点、呼吸气泡、飞线等）不显示问题：经纬度放反、API返回结果或者SQL查询结果与组件所需数据格式不匹配、数据过滤器、跨域问题。

看到很多用户经常会问如何对分组内进行排序。官方文档：https://help.aliyun.com/document_detail/34994.html?spm=5176.doc27891.6.611.

流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移。