AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Hadoop Summit Tokyo 2016】使用Hadoop来构建实时和批数据的数据质量服务

2017-02-27 2718
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲，主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin，Griffin可以用于处理批量数据、实时数据和非结构化的数据，并且构建了统一的过程来检测无效或者不准确等DQ问题，讲义中介绍了eBayGriffin的技术架构、以及用例等。

本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲，主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin，Griffin可以用于处理批量数据、实时数据和非结构化的数据，并且构建了统一的过程来检测无效或者不准确等DQ问题，讲义中介绍了eBayGriffin的技术架构、以及用例等。

e6705bd264fb7b5a5262f51a80902ea6f67445bf

9f9648022f3db655b2df007702b4fa6bbe3a9789

66d6f6c9ecb99596117c4fdd46fea5613ba37b69

d787b36250d7092e43bcb5f32ad0fa548075c9f1

0b8bd2d5a8bd3d4c2235b5b3e05bedd0ae090938

3d6868cf80515a28d3309e8040fbe18da75a8ffc

43149dc4c81602aca547bd14ecff49c28d9b3b19

1c7874787f2c9d4bdee92abed63cd7f9b3f79a6b

e06d2633259682ebb96c7f32192e958be34f5354

c626769679f85708661bdf77a4b429c43896c788

aa62a7c80cc6a1ac21f4bda947c28b5373308639

41aa3bedc2d2bf4a24c54cc9f699d27f4d1372e2

658d009a031eca5de61e8dff762f1715e9248ae0

76730a12ffa6a56f43ad02aa341127e6f7901473

5f01035799c2beccd0b3260d57f63008887ca58b

bae26f857d1e820dd1f28ab6e2f184e1dd08a4a1

17c57dec59dc613d172c48c81802c1f0e3cf9d86

8300d914e4f05e034c3636c69eb1f0c468f5d89b

126531d247d39519c29d5e5f1effac0c8335423d

227d2c1a59d190cf0c30498bee094187f3855ac7

304d10388d3c7368aca688c8f3c428d6738e33b5

2ba2dcd11158bc6771cfd585c3c6695801552e16


文章标签：
分布式计算
Hadoop
数据采集
关键词：
hadoop数据
hadoop服务
hadoop构建
hadoop数据质量
hadoop summit tokyo
小猫吃鱼569
目录
相关文章
蓝易云
|
9月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点，看到那个熟悉的Hadoop管理界面时，所有的艰辛都会化为乌有。仔细观察，尽全力，这就是构建高可用Hadoop 3集群的挑战之旅。
蓝易云
349 21
武子康
|
分布式计算 Java Hadoop
Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
武子康
198 1
Echo_Wish
|
12月前
|
分布式计算 Hadoop 大数据
从Excel到Hadoop：数据规模的进化之路
从Excel到Hadoop：数据规模的进化之路
Echo_Wish
274 10
别惹CC
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想，使用Java实现其核心功能MapReduce，解决海量数据处理问题。通过类比图书馆管理系统，详细解释了Hadoop的两大组件：HDFS（分布式文件系统）和MapReduce（分布式计算模型）。具体实现了单词统计任务，并扩展支持CSV和JSON格式的数据解析。为了提升性能，引入了Combiner减少中间数据传输，以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性，鼓励Java开发者学习Hadoop以拓展技术边界。
别惹CC
441 7
小白学大数据
|
数据采集 分布式计算 Hadoop
使用Hadoop MapReduce进行大规模数据爬取
使用Hadoop MapReduce进行大规模数据爬取
小白学大数据
245 1
武子康
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
武子康
289 4
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
武子康
392 3
武子康
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
武子康
248 2
武子康
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
武子康
261 2
武子康
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
武子康
283 1

热门文章

最新文章

  • 1
    Hadoop配置LDAP集成Kerberos
  • 2
    weekend110（Hadoop）的 第五天笔记
  • 3
    [Hadoop]Hadoop上Data Locality
  • 4
    完全分布模式hadoop集群安装配置之一安装第一个节点
  • 5
    Hadoop中Partition解析
  • 6
    探索Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
  • 7
    hadoop实例 RandomWriter
  • 8
    hadoop组件介绍（转载）
  • 9
    HADOOP都升级到2.5啦~~~
  • 10
    CCAH-CCA-500-4题:Where are Hadoop task log files stored?
  • 1
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    627
  • 2
    CentOS中构建高可用Hadoop 3集群
    349
  • 3
    “Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事
    487
  • 4
    Hadoop生态系统：从小白到老司机的入门指南
    492
  • 5
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    567
  • 6
    Dataphin功能Tips系列（41）-Hadoop集群管理
    294
  • 7
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    1313
  • 8
    从Excel到Hadoop：数据规模的进化之路
    274
  • 9
    MPP 架构与 Hadoop 架构技术选型指南
    1446
  • 10
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    441

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！