AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Hadoop Summit Tokyo 2016】使用Apache Ranger和Apache Atlas进行数据治理

2017-02-28 6805
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Madhan Neethiraj在Hadoop Summit Tokyo 2016上的演讲，主要分享了如何使用Apache Ranger和Apache Atlas保障数据安全并进行数据治理，首先分享了Apache Ranger的概览、授权策略、行过滤和列标记策略以及审计日记等相关内容，之后分享了Apache Atlas的概览的相关内容。

本讲义出自Madhan Neethiraj在Hadoop Summit Tokyo 2016上的演讲，主要分享了如何使用Apache Ranger和Apache Atlas保障数据安全并进行数据治理，首先分享了Apache Ranger的概览、授权策略、行过滤和列标记策略以及审计日记等相关内容，之后分享了Apache Atlas的概览的相关内容。

4e405858c94aefd87665a802c48825fb0bc43ce9

56617f9df501479b4256897c9c58d1d1dac579c5

6d8c9272f5b9ecf126d2de07232a7570970deb60

cddb80154c71f75480483b7762ec898b8ba14dd7

3e9ab847688171077be82a8c7ffcc1a4ea5b3f0d

b4e6faddeec6e4529e974289fbd83caef2aa2a7c

8b50396193cedf6ff942c71f103d313d28b82aa8

9d87c71f77b10fa4947dc4ffde36f21b2853c584

72f6a2287e1b29c16caa331bcad139acacea0265

75233b218d5a14fe9b5f0eae799cd46de3b664d3

379527bb47ccaca2ad762cfe588fbc90ec400bb7

6c654d4ae05b355074cad76042177308a2294f3b

7805097168e4e9341c0888c0db51002c8b38eef2

e098322f3a659f86f43cbef629fd5bac280d3901

4eba18d7ac1154597bbad46761b7808dab6b9299

5462a2351e780db89dacb4096e96ca67f24355b0

809ccad371a1a0c282619a76518ae8337b002fb3

46c54b69c55a7e58613a338bef2ec3dcc9755667


文章标签：
Apache
atlas
分布式计算
Hadoop
数据安全/隐私保护
关键词：
hadoop summit治理
Apache ranger atlas
小猫吃鱼569
目录
相关文章
武子康
|
分布式计算 Java Hadoop
Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
Hadoop-18 Flume HelloWorld 第一个Flume尝试！编写conf实现Source+Channel+Sink 控制台查看收集到的数据 流式收集
武子康
375 1
Echo_Wish
|
分布式计算 Hadoop 大数据
从Excel到Hadoop：数据规模的进化之路
从Excel到Hadoop：数据规模的进化之路
Echo_Wish
472 10
别惹CC
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想，使用Java实现其核心功能MapReduce，解决海量数据处理问题。通过类比图书馆管理系统，详细解释了Hadoop的两大组件：HDFS（分布式文件系统）和MapReduce（分布式计算模型）。具体实现了单词统计任务，并扩展支持CSV和JSON格式的数据解析。为了提升性能，引入了Combiner减少中间数据传输，以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性，鼓励Java开发者学习Hadoop以拓展技术边界。
别惹CC
631 7
小白学大数据
|
数据采集 分布式计算 Hadoop
使用Hadoop MapReduce进行大规模数据爬取
使用Hadoop MapReduce进行大规模数据爬取
小白学大数据
353 1
武子康
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
武子康
410 4
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
武子康
494 3
武子康
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
武子康
373 1
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
499 0
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
314 0
武子康
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
412 0

热门文章

最新文章

  • 1
    带你读《Flink原理、实战与性能优化》之一：Apache Flink介绍
  • 2
    apache命令
  • 3
    CORS跨域+Nginx配置、Apache配置
  • 4
    Apache Flink 2.1.0: 面向实时 Data + AI 全面升级，开启智能流处理新纪元
  • 5
    zabbix：web服务Apache/Nginx状态监控
  • 6
    apache日志切割问题
  • 7
    Apache Dubbo 首个 Node.js 3.0-alpha 版本正式发布
  • 8
    Apache ZooKeeper - 使用ZK实现分布式锁(非公平锁/公平锁/共享锁 )
  • 9
    使用 DataFlux 采集 Apache 性能指标并分析展示
  • 10
    Redhat as4 下Snort＋base＋mysql＋php＋apache with gd and Image_Graph 安装与配置
  • 1
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    1120
  • 2
    CentOS中构建高可用Hadoop 3集群
    505
  • 3
    “Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事
    681
  • 4
    Hadoop生态系统：从小白到老司机的入门指南
    747
  • 5
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    811
  • 6
    Dataphin功能Tips系列（41）-Hadoop集群管理
    412
  • 7
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    1841
  • 8
    从Excel到Hadoop：数据规模的进化之路
    472
  • 9
    MPP 架构与 Hadoop 架构技术选型指南
    1807
  • 10
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    631

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境

    • 推荐镜像

    更多
  • apache
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！