本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲，主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin，Griffin可以用于处理批量数据、实时数据和非结构化的数据，并且构建了统一的过程来检测无效或者不准确等DQ问题，讲义中介绍了eBayGriffin的技术架构、以及用例等。
【Hadoop Summit Tokyo 2016】使用Hadoop来构建实时和批数据的数据质量服务
2017-02-27
2645
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲，主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin，Griffin可以用于处理批量数据、实时数据和非结构化的数据，并且构建了统一的过程来检测无效或者不准确等DQ问题，讲义中介绍了eBayGriffin的技术架构、以及用例等。
目录
相关文章
|
23天前
|
存储
SQL
分布式计算
Hadoop生态系统概述：构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能，Hadoop将继续在大数据时代发挥重要作用。
43
3
3
|
2月前
|
分布式计算
Hadoop
|
2月前
|
分布式计算
Hadoop
测试技术
|
2月前
|
存储
分布式计算
Hadoop
|
3月前
|
存储
分布式计算
Hadoop
|
2月前
|
分布式计算
资源调度
安全
|
2月前
|
分布式计算
Hadoop
关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
103
1
1
|
2月前
|
存储
分布式计算
Hadoop
|
2月前
|
存储
JSON
分布式计算
|
2月前
|
存储
分布式计算
Hadoop
阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合：构建高效、可扩展的数据处理平台
技术持续创新：随着新技术的不断涌现和应用场景的复杂化，阿里巴巴将继续投入研发力量推动技术创新和升级换代。
生态系统更加完善：Hadoop生态系统将继续扩展和完善，为用户提供更多元化、更灵活的数据处理工具和服务。
135
0
0
热门文章
最新文章
1
后Hadoop时代，我们该如何去架构自己的大数据平台
2
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
3
Hadoop——大数据处理的宠儿
4
hadoop namenode管理元数据机制
5
hadoop删除节点和添加节点
6
基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化
7
hadoop安装入门
8
spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPi.scala（图文详解）
9
基于Docker一键部署大规模Hadoop集群及设计思路
10
【总结】Hadoop中的Combiner实践