本讲义出自Shwetha Shivalingamurthy与Suma Shivaprasad在Hadoop Summit Tokyo 2016上的演讲，主要分享了企业数据分类和治理的案例并且深入地讲解了大数据治理的相关内容，并介绍了Atlas的概览和架构设计以及其特性和发展路线。
【Hadoop Summit Tokyo 2016】企业数据分类和治理
2017-03-01
1690
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本讲义出自Shwetha Shivalingamurthy与Suma Shivaprasad在Hadoop Summit Tokyo 2016上的演讲，主要分享了企业数据分类和治理的案例并且深入地讲解了大数据治理的相关内容，并介绍了Atlas的概览和架构设计以及其特性和发展路线。
目录
相关文章
|
3月前
|
分布式计算
Java
Hadoop
Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
48
1
1
|
9天前
|
存储
分布式计算
Hadoop
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想，使用Java实现其核心功能MapReduce，解决海量数据处理问题。通过类比图书馆管理系统，详细解释了Hadoop的两大组件：HDFS（分布式文件系统）和MapReduce（分布式计算模型）。具体实现了单词统计任务，并扩展支持CSV和JSON格式的数据解析。为了提升性能，引入了Combiner减少中间数据传输，以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性，鼓励Java开发者学习Hadoop以拓展技术边界。
34
7
7
|
1月前
|
数据采集
分布式计算
Hadoop
|
3月前
|
SQL
分布式计算
Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
67
4
4
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
125
3
3
|
3月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
57
2
2
|
3月前
|
分布式计算
Java
Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
90
1
1
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
153
0
0
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
66
0
0
|
3月前
|
SQL
分布式计算
关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
86
0
0
热门文章
最新文章
1
MPP 架构与 Hadoop 架构技术选型指南
2
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
3
Flume+Hadoop：打造你的大数据处理流水线
4
使用Hadoop MapReduce进行大规模数据爬取
5
Hadoop2.6.0运行mapreduce之推断（speculative）执行（下）
6
hadoop环境初始化搭建
7
Hive报错:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
8
简单的hadoop启动脚本
9
安装hadoop集群(Multi Cluster)
10
解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper问题
1
MPP 架构与 Hadoop 架构技术选型指南
64
2
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
34
3
Flume+Hadoop：打造你的大数据处理流水线
68
4
使用Hadoop MapReduce进行大规模数据爬取
55
5
linux中HADOOP_HOME和JAVA_HOME删除后依然指向旧目录
37
6
【赵渝强老师】基于ZooKeeper实现Hadoop HA
123
7
【赵渝强老师】部署Hadoop的本地模式
77
8
【赵渝强老师】Hadoop生态圈组件
287
9
Hadoop集群管理：向繁琐的计算源创建Say ByeBye
103
10
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
159