胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计

简介:

一、引言:

  最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧。项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了。所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家。

二、安全架构

  大数据安全架构主要从六个方面考虑,包括物理安全、系统安全、网络安全、应用安全、数据安全和管理安全六个维度。物理安全强调物理硬件的国产化,避免类似美国轰炸伊拉克悲剧的重演,这也算是一个国家战略的产物,虽未正式立法,但是类似IBM小机之类的东西是要尽可能屏蔽掉的;系统安全强调操作系统的开源化,毕竟Windows8也已经被正式踢出政府采购名单了;网络安全包括设备安全和部署安全两个层面上的内容,美国人不用华为,同样中国人不会用思科;应用安全则重点考虑统一认证和分级授权,看该看的,访问该访问的则是一个基本原则;数据安全从数据存储、访问和传输三个方面保障,这也是一个重点;管理安全强调的是规章和规范。

三、服务器安全机制

  Hadoop本身的安全机制弱爆了,因此必须考虑集成Kerberos认证机制,服务器安全的设计主要考虑三个方面,如下图所示:

四、数据安全策略

数据安全策略从技术和规则两个方面加以控制,大数据底层技术所不支持的安全机制,则需要集成其他技术框架进行解决。重点考虑以上几个因素。

最近在做大数据管理平和数据管理可视化平台的方案规划,有感兴趣的可以参与进来,群号:347018601

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
分布式计算 资源调度 大数据
一图胜千言:大数据入门必备的16张数据流转图(建议收藏)
一图胜千言:大数据入门必备的16张数据流转图(建议收藏)
174 0
|
7月前
|
存储 分布式计算 算法
OpenSearch向量检索版和MaxCompute快速搭建图搜服务
本方案介绍用户在没有向量数据的情况下,通过直接导入图片源数据,在OpenSearch内部便捷完成图片向量化、向量搜索等步骤,实现以图搜图、以文搜图等多种图像检索能力。
1477 0
|
8月前
|
存储 分布式计算 MaxCompute
基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
本文将介绍企业在没有向量数据的情况下,如何通过OpenSearch向量检索版、MaxCompute以及OSS,快速搭建图像搜索服务。
42684 1
基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
|
10月前
|
SQL 存储 分布式计算
从大数据到图计算-Graph On BigData
从大数据到图计算-Graph On BigData
从大数据到图计算-Graph On BigData
|
机器学习/深度学习 SQL 分布式计算
图解大数据 | GraphFrames @基于图的数据分析挖掘
GraphFrames库构建在DataFrame之上,具备DataFrame强大的性能,也提供了统一的图处理API。本文讲解GraphFrames的构建使用,包括query与数据分析、图中点与边的计算、图入度与出度的应用等。
906 0
图解大数据 | GraphFrames @基于图的数据分析挖掘
|
存储 算法 大数据
原创 | 一张图秒杀滴滴大数据场景题(已拿offer)
原创 | 一张图秒杀滴滴大数据场景题(已拿offer)
原创 | 一张图秒杀滴滴大数据场景题(已拿offer)
|
SQL 分布式计算 算法
传统金融IT男转型互联网大数据码农,图啥?
传统金融IT男转型互联网大数据码农,图啥?
|
SQL 数据采集 JSON
天池大数据竞赛 Spaceack带你利用Pandas,趋势图与桑基图分析美国选民候选人喜好度
竞赛地址: https://tianchi.aliyun.com/competition/entrance/531837/introduction 首先,这是一篇面向新人的教程导向的分析文章,(by the way其实我也是新手,从比赛开始才学的Pandas库,这也是我的一篇学习笔记),所以会包含很多函数的基础用法,解题思路等等, 流程会比较详细。 其次,本文在官方教程基础上会加入创新内容,但是绝不会为了用而用某种新方法,一定本着分析数据有所帮助的原则和对数据敬畏的态度来做。
395 0
天池大数据竞赛 Spaceack带你利用Pandas,趋势图与桑基图分析美国选民候选人喜好度
|
机器学习/深度学习 分布式计算 算法
MaxCompute 图计算用户手册(下)
示例程序 强连通分量 在有向图中,如果从任意一个顶点出发,都能通过图中的边到达图中的每一个顶点,则称之为强连通图。一张有向图的顶点数极大的强连通子图称为强连通分量。此算法示例基于 parallel Coloring algorithm。
2401 0
|
机器学习/深度学习 分布式计算 算法
MaxCompute 图计算用户手册(上)
概要 ODPS GRAPH是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点(Vertex)和边(Edge)组成,点和边包含权值(Value),ODPS GRAPH支持下述图编辑操作: 修改点或边的权值; 增加/删除点; 增加/删除边; 备注: 编辑点和边时,点与边的关系需要用户维护。
28357 0

热门文章

最新文章