# 开源大数据平台 E-MapReduce #
0
关注
1606内容
首次揭秘|为6.4亿人次出行提供无线网络的技术架构
借助“互联网+大数据+机场”三轮驱动，掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。
随着业务的拓展，随之后来的挑战是数据量的暴增。
2016年，掌慧纵盈（股票代码：835736）通过阿里云产品，率先构建了业界领先的大数据平台。
本文阐述了一家物联网企业的业务架构和数据架构，以及技术选型
使用Ranger对Hive数据进行脱敏
Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。
使用Spark Streaming SQL基于时间窗口进行数据统计
流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。
Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南
Virgin Hyperloop One（超级高铁公司）是一家从事超级高铁研究的公司，致力于能让高铁达到飞机的速度并且拥有更低的成本。为了能够制造一个商业的系统，我们需要收集并且分析非常大量的各种不同的数据，包括各种运行测试数据，多种模拟数据，技术设施数据，甚至社会经济数据等等。
国内Spark开发者的免费入门宝典！首发作者阵容高手云集！
《Apache Spark 中文实战攻略》上下两册电子书重磅来袭，本书集结国内外顶级大厂技术专家，汇集多年实战经验，带你走进全球顶级开源社区之一 Apache Spark，探秘时下最流行的开源分布式内存式大数据处理引擎。
数据湖实操讲解【 JindoTable 计算加速】第二十讲：Spark 对 OSS 上的 ORC 数据进行查询加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
云湖共生-释放企业数据价值
摘要：2021云栖大会云原生企业级数据湖专场，阿里云智能资深技术专家、对象存储 OSS 负责人罗庆超为我们带来《云湖共生-释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0 进化亮点等方面分享了云湖共生带来的企业价值。
ClickHouse Keeper 源码解析
ClickHouse 社区在21.8版本中引入了 ClickHouse Keeper。ClickHouse Keeper 是完全兼容 Zookeeper 协议的分布式协调服务。本文对开源版本 ClickHouse v21.8.10.19-lts 源码进行了解析。
Delta Lake基础介绍（开源版）【Databricks 数据洞察公开课】
针对社区版本Delta Lake提供的几大核心特性进行讲解，并通过示例演示如何使用这些特性。
免费试用