本文节选自阿里云MVP第五期嘉宾阿里云产品专家赵弘扬分享话题《基于Elasticsearch构建网站日志处理系统》。介绍如何基于阿里云的Elasticsearch，离线数仓加工工具，数据同步工具等产品来快速构建日志处理系统。

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群，并运行Storm作业消费Kafka数据。

按照惯性思维，统计一个字段去重后的条数我们的sql写起来如下： Distinct的作用是用于从指定集合中消除重复的元组，经常和count搭档工作，语法如下 COUNT( { [ DISTINCT ] expression ] | * } ) 这时，可能会碰到如下情况，你想统计同时有多列字段重复的数目，你可能会立马想到如下方法： select count( distinct col1 , col2 , col3 , .......) from table 但是，这样是有问题的，如果值包含空，那么我们的结果是什么呢？如果你实验过，正如你实验的一样，结果会比实际少。

在过去的两年内，MaxCompute进行了翻天覆地的重构，从1.0版本全面升级到了2.0版本。而大家或许对于MaxCompute 2.0的一些新特性并不了解，在本文中，MaxCompute技术专家秋鹏就为大家详细介绍MaxCompute 2.0的新特性。

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306，在地名中输入“WH”，就会出现“武汉”“芜湖”“威海”等地名，输入“WUHU”就会出现“芜湖”。 我们在MaxCompute开发中也会遇到此类问题，今天为大家提供一个转换的UDF，下载地址见附件。

随着业务的增长与发展，不同的Elasticsearch集群承担着多厚多样的功能需求。尤其是当集群规模增长、业务庞大时，需要耗费大量的精力运维集群。阿里云Elasticsearch研发了一套智能运维系统，可通多专家经验与数据驱动两个重要抓手帮助用户运维集群、提升业务的稳定性。

在这个初夏，MaxCompute与大数据开发者们共同开启 “因计算，共成长” 分享季。 第一季《MaxCompute开发实战，爽爽不油腻》，共四次主题分享，每周二 18:30-19:00 “MaxCompute开发者交流钉钉群” 在这里等你。

报表的数据源如何组织？数据链路是怎样？怎样快捷方便的拿到数据？

阿里云E-MapReduce1.6.0版本上线，增加交互式工作台、支持独享机型； 国际站上线，海外用户可以购买E-MapReduce服务

数据生态治理要啃硬骨头、将人类送上火星、大数据框架对比、SQL on Hadoop

一个ElasticSearchDemo，讲解如何使用Jsoup爬取歌词数据写入阿里云Elasticsearch，并搭建Web框架实现歌词的全文检索。

如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。

本文主要是介绍如何在 CDH6.3 中安装 Flink 1.9 以及运行你的第一个 Flink 例子。

运行于云端的Hadoop——数据即服务的论证，预先知晓Hadoop3.0新特性。

本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。 衣二三作为亚洲最大的共享时装平台，MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢？程异丁通过衣二三数据体系架构，从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助力衣二三构建智能化运营工具的。

Spark GraphX是一个比较流行的图计算框架，如果你使用了阿里云的E-MapReduce服务，可以很方便的运行图计算的作业。 下面以PageRank为例，看看如何运行GraphX作业

关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发，比如，如何使用各种算子(Join/Window/AGG etc.)，如何使用各种 Connector(Kafka, CSV, Socket etc.)，还有一些实际的案例。

On February 9, 2018, Alibaba Cloud MaxCompute will be officially available in Jakarta. By then, Indonesia will be the 12th region in MaxCompute global.

本文主要从Ververica由来开始谈起，着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini，以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。

本文PPT来自阿里云iDST视觉计算技术专家慕开于10月15日在2016年杭州云栖大会上发表的《云端大规模视频分析：MaxCompute在视觉计算中的应用》。

随着大数据 Hadoop/Spark 开源生态的不断发展和成熟，TextFile、CSV这些文本格式存储效率低，查询速度慢，往往不能很好地满足大数据系统中存储和查询的需求，列式存储也在大数据社区逐渐兴起到成熟。

本文介绍使用HAProxy反向代理实现通过Gateway节点访问Presto服务的方法。该方法也很容扩展到其他组件，如Impala等。

利用ajdk实现jvm虚拟化，实现容器业务方案的热部署和资源隔离

2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴高级技术专家吴永明为大家分享了MaxCompute，基于Serverless的高可用大数据服务，以及MaxCompute低计算成本背后的秘密。

方便和辅助 MaxCompute 开发人员使用 Java / Python SDK 方式进行日常代码的开发工作。

blink测试团队成立一年多的时间，从无到有，逐步建立起完整的blink测试体系，从代码质量到集成测试再到预发测试，全方位保障blink质量，取得了显著的成果。

社区整理了这样一份知识图谱，由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。看完这份图谱，才算真的搞懂 Flink！

        作为搜索的用户，我觉得最关心的是两个方面：一是召回的结果是否符合预期，二是召回结果的排序是否符合预期。OpenSearch作为一个搜索服务提供平台，在这两个方面我们提供了一定机制方便用户定制自己的召回和排序逻辑。

“数据驱动测试优化，突破自动测试边界，赋能智慧测试新模式。”——京信智能制造副总经理葛鑫 “进入车间，映入眼帘的是一条长约20 米的 O 型生产线，产线前三名工人和几个机器人正协同工作，将各种元器件的印刷线路板（PCBA 板）与产品壳体组装起来。

阿里云E-MapReduce实践 云HBase助力物联网建设 物联网最大的特点写入量大，要求延迟低，且数据存量巨大。云HBase非常满足物联网存储需求，存储数P甚至百P的空间存储需求，延迟稳定在数毫秒之内，跟Hadoop分析体系有较为深入的结合，满足分析类的需求。

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。本文属个人原创，仅做技术交流之用，笔者才疏学浅，如有错误，欢迎指正。 什么是view（视图）：视图无非就是存储在数据库中并具有名字的 SQL 语句，或者说是以预定义的 SQL 查询的形式存在的数据表的成分。

为进一步提升Apache Flink在国内的技术影响力，实时计算组运营团队在过去两个月的时间里，对Flink China社区持续进行品牌包装与推广，现将运营效果通过生态建设 / 活动运营 / 问卷调研 / 社区共建 / 内容输出 / 运营计划 六个方面展示。

本文中，来自阿里云搜索推荐技术团队的三秋为大家介绍了阿里云智能推荐AIRec产品的技术架构、核心功能，并与大家分享了使用阿里云智能推荐AIRec的实际案例以及技术场景。

很多开发者希望利用Lightning的特性开发数据应用，本文将结合示例介绍Java和Python如何连接访问Lightning进行应用开发。内容包括通过Java的JDBC、druid方式连接访问Lightning，Python通过pyscopg2、pyodbc访问Lightning。

云上Hadoop之最佳实践

爱学习的你的国庆最佳选择

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品，是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

示例程序 强连通分量 在有向图中，如果从任意一个顶点出发，都能通过图中的边到达图中的每一个顶点，则称之为强连通图。一张有向图的顶点数极大的强连通子图称为强连通分量。此算法示例基于 parallel Coloring algorithm。

搭建Gateway向E-MapReduce集群提交作业