持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护 | 学习笔记(二)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 快速学习持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护

开发者学堂课程【SaaS 模式云数据仓库实战持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/761/detail/13350


持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护


 7、SaaS 模式的大数据服务和常见自建大数据平台的对比如下:

1物理安全,区别在于自建大数据需要管理主机,首先要保证数据中心的安全。 Max compute构建于阿里云平台之上,由阿里云的团队负责数据中心的设置、保障安全管控和防护安全。

2大数据平台的软件能力。在自建大数据平台的时候,往往开源的框架当中提供了众多不同的安全组件。需要通过众多的安全组织去集成,形成解决方案。 Max compute所有的安全能力是开箱即用,在产品服务当中包含了法国空军授权。由于Max computer是和阿里云体系打通的,对于每个访问的账号,可以绑定到员工个人身份。

3节约控制, Max compute支持访问的IP白名单的策略,可以设置IP访问的时段范围是VDC访问、保利机的访问、公共IP访问。

4权限的策略, Max compute不仅支持传统数据库当中的角色授权,支持列级授权。

5安全隔离云上的特点是多租户共享,很多企业在做数据平台建设时,即使是在物理的集群上,也希望能够为企业的不同组织提供相对隔离的空间。这些隔离空间应该保证不同的内部组织之间相互安全隔离。 Max compute提供强大的安全隔离能力。

6风控和审计, Max compute默认的提供了数据库标准,开放了用户的系统元数据和用户使用行为,Max compute提供实时审计的日志,删除数据、赋权、下载数据等行为实时推送给用户,能够通过实时行为进一步做安全审计。

7数据保护, Max compute做了能力加固,提供数据加密能力。数据托管给了云服务商通过BIOK的方式,在存储侧加密企业数据的同时加密密钥掌握在企业自身手里,加强了企业数据安全。企业很大的风险是敏感数据的泄露,Max compute有内建的数据托管,敏感数据自动发现的能力。敏感数据访问查询的时默认为脱敏,以上是产品内建的能力。不管平台被任何用户以什么形式访问,都能够统一的对敏感数据进行控制。

8应用安全,数据中台产品,企业的数据平台能够被更多业务方挖掘探索。如何对数据进行最小权限管理,能够结合企业的管连流程进行全新控制。Max computer提供和登录集成的产品化数据授权管理流程的能力。同时利用数据保护伞的能力,提供了数据的分级。风险识别的预警能力进一步加强对敏感数据的发现,对敏感数据的分类以及对敏感数据的保护能力。

自建的大数据平台和SaaS模式大数据平台有一个区别在于自建大数据平台的安全能力需要企业投入大量成本解决复杂的问题,来达到较好的安全管理能力。 Saas模式大数据平台把安全能力嵌套在管理能力当中,提供安全和简单的解决方案。

8、Max compute 重大安全能力发布

Max compute在安全方面持续进行创新和发布,重点发布了以下内容:(1)实时审计日志

(2)细粒度授权

(3)数据脱敏

(4)存储加密

(5)持续备份

(6)恢复跨地域的容灾备份

防止数据不删除的这种情况,通过容灾的能力,能够很好的满足行业客户跨地域的数据备份,跨地域的应用融灾,保障业务的连续性。

 

二、 Max compute 安全最佳实践

Max compute近期在企业级安全能力上的重要发布如下:

(1)细粒度授权

(2)数据脱敏

(3)数据加密

(4)持续备份

(5)恢复跨地域的容灾备份

(6)实时审计日志

图片6.png

从最底层往上看,在底层是基础平台和平台可信,例如数据中心的安全保障、网络安全等。再往上一层是大数据平台安全,主要有4个维度的功能:访问控制和健全、安全隔离、风控与审计以及数据保护。应用安全其实是基于大数据平台安全能力,向用户从工具层面提供数据管理工具,风险保障工具等等,给用户更好的使用体验。常见的数据安全风险有数据误用,数据滥用,数据泄露以及数据丢失等。

1.数据误用

数据误用主要是指数据的错误使用,由于用户对数据不够了解,所以应对数据误用的话,入手点从了解数据开始,在Max compute云数据仓库层面,Max compute提供了统一的远数据管理,基于平台上的新功能, data works给了用户图形化的界面工具,让用户可以更直观了解数据。 Max compute提供基础的原数据信息,DATAWORKS的数据地图给用户图形化的界面工具。在数据地图上主要功能有远数据展示,访问信息展示,学员分析产出数源等,从截图看,用户可以方便直观的了解到有哪些数据,数据总量情况如何,有哪些表,对于具体的某一个表,原数据情况如何,数据定义如何,产出信息如何,访问访问控统计又是如何。

图片7.png

 

其中最重要的一环在数据地图的数据血缘关系中,能清楚地得知数据从哪里来往哪里去,从哪个表格加工出来,又被哪些节点使用,这种数据产出数据的血缘分析,能够让用户较好的了解到数据的来龙去脉,在具体的业务场景使用中能够更好的发挥价值,将它用到正确的地方。

2.数据风险

数据风险是指数据滥用,数据滥用主要是指数据的过度使用,数据的过度分析,如果要看一个店铺的日常运营情况,只需要店铺本身的日常运营数据即可,但是在实际情况中,用户可能会获取到更多的数据,例如其他店铺的运营情况或者其他地区,甚至是国家层面的店铺运营情况来产出这份数据,其中就会涉及到数据滥用的情况。应对数据滥用的风险,核心思路就是做精细化权限管理。把数据使用限制在最小的授权范围内。首先需要Max compute大数据平台支持细粒度权限管理体系。从不同层面做到精细化权限管理能力。在Max compute大数据平台之上,最好有图形化工具让用户方便的实施权限管理。

图片8.png

在近期的安全能力升级中,全线管理体系的新功能主要是全线模型2.0,这是全线模型的升级,在权限模型升级中,它的不同之处就是细粒度的权限管理,例如字段及细粒度权限管理、Package内部的数据泄露权限管理。首先,Max compute支持不同权限管理机制ACL, ACL是用户自主访问控制的,由用户控制,对哪些用户对象授权。其次Max computer支持mandatory the access control,也就是强制访问控制,强制的MAC的权限机制是属于全局范围的,个人用户或者单个用户无法去自主的选择是ground的还是revoke。第三种权限机制就是robe的access control。除了以上权限机制之外,还通过protect模式和Package形式,做到项目之间的数据隔离和数据共享。不论是哪种权限机制或哪种功能,在授权鉴权中都涉及到三个要素。第一个要素是action,是指权限操作,在最近的功能发布中,增加了对数据下载的权限支持,也就是download的权限管理。由于数据下载一般涉及到大批量数据共享或数据下载,这种大批量的数据分发面临的数据风险比单个的风险要大。在此之前批量下载的权限没有独立开通。在近期的权限新功能中,把download权限管理独立出来,可以对大批量的数据分发做精细控制。第二个要素是object对象,,例如table、vie、resource和用户自定义函数等。不能中,也支持字段级的权限管理,包括权限授予收回以及有效期管理等。第三个要素是subject,支持了一个新的角色叫super administrator,主要的应用场景是它可以帮助project owner去做一系列的权限管理和项目管理的工作,一般来说,很多公共以上的用户的project owner都是公司用户的主号,可能集中在几个人手里,有了super administrator,可以把管理权限下发到的管理团队,而不再由集中的project owner集中承担。支持Package的系列。区别在于,在以往的版本中,Package作为一个整体,所有的table都是放在Package中,全部统一授权到另外一个project的用户身上,一旦把Package授权到了另外一个项目的用户上,被授权的用户就有了对Package下面所有内容的访问权。这并不是理想的操作,涉及到过度的数据使用和过度授权。以往的情况下,如果用户要做更精细的管理,就需要把大的package拆分成若干个小的package,在新版本中也可支持了package下所有内容的一个细粒度的权限管理,可以把package里面的某一个table授权给另外一个项目的用户,可以把所有需要共享的数据都放到大的package里面,然后再对package下面的内容做精细化的管理,能够改善用户的使用体验,并且能够支持多个package的分享,以上就是在近期的安全能力升级中,权限体系方向上的新功能。基于Max compute平台化权限体系能力,在此之上构建了白屏化的权限管理工具,用户可以通过data works安全中心去使用。推荐的权限管理上的最佳实践如下,第一步是数据分类分析,第二步是做具体的授权审批,每一次数据的使用都要通过用户申请权限,通过管理员做权限审批授权才能进行数据分发和共享以及最后的数据使用。第三步就是定期审计,需要项目的管理团队对所有的数据使用权限授予情况以及其他数据共享情况做定期审计。最后一步,基于定期使用结果,做权限的及时清理回收。例如对离职转岗人员,及时更新状态,回收过期权限等。在安全中心中主要的功能模块有权限查看,例如列出用户名下的所有的数据以及相应的权限内容以及有效期以及做权限申请。申请之后,就由具体的管理员审批流程中的某一个人来做权限,最后可以基于安全中心做权限审计,例如某一张表上有哪些用户有哪些权限,都可以看清楚的看到。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
Web App开发 编解码 Java
B/S基层卫生健康云HIS医院管理系统源码 SaaS模式 、Springboot框架
基层卫生健康云HIS系统采用云端SaaS服务的方式提供,使用用户通过浏览器即能访问,无需关注系统的部署、维护、升级等问题,系统充分考虑了模板化、配置化、智能化、扩展化等设计方法,覆盖了基层医疗机构的主要工作流程,能够与监管系统有序对接,并能满足未来系统扩展的需要。
512 5
|
Apache 流计算 OceanBase
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
2145 0
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
7月前
|
供应链 JavaScript 前端开发
Java基于SaaS模式多租户ERP系统源码
ERP,全称 Enterprise Resource Planning 即企业资源计划。是一种集成化的管理软件系统,它通过信息技术手段,将企业的各个业务流程和资源管理进行整合,以提高企业的运营效率和管理水平,它是一种先进的企业管理理念和信息化管理系统。 适用于小微企业的 SaaS模式多租户ERP管理系统, 采用最新的技术栈开发, 让企业简单上云。专注于小微企业的应用需求,如企业基本的进销存、询价,报价, 采购、销售、MRP生产制造、品质管理、仓库库存管理、财务应收付款, OA办公单据、CRM等。
424 23
|
9月前
|
运维 供应链 前端开发
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
547 4
|
10月前
|
存储 人工智能 分布式计算
阿里云云数据仓库:助力企业构建智能数据基石的云端利器 。阿里云云数据仓库优势与选型指南
阿里云数据仓库体系基于MaxCompute、AnalyticDB等核心产品,提供弹性敏捷的PB级数据处理能力,支持实时分析与智能决策。其六大优势包括无限弹性伸缩、极致性能表现、智能成本优化、全栈安全体系、生态无缝对接和AI增强分析,助力企业在数字经济时代应对数据爆发式增长的挑战。灵活透明的定价体系和行业实践案例展示了其在证券、新零售、物联网等领域的成功应用,为企业构建智能数据基座提供了清晰路径。
412 6
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
851 14
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
人工智能 Cloud Native 容灾
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
313 2
|
测试技术 API 数据库
云数据库之添加数据
云数据库之添加数据
142 2
|
存储 安全 数据安全/隐私保护
备份SaaS数据的5个原因
【10月更文挑战第28天】SaaS虽被认为是几乎全能的解决方案,但企业仍需对业务和利润保持警惕。备份SaaS数据至关重要,原因包括:恢复过程可能缓慢;服务条款可能变化;云端数据并非永恒;人为错误难以避免;以及防止信息失控。因此,企业应确保有独立备份以应对各种风险。
263 0
|
前端开发 算法 JavaScript
无界SaaS模式深度解析:算力算法、链接力、数据确权制度
私域电商的无界SaaS模式涉及后端开发、前端开发、数据库设计、API接口、区块链技术、支付和身份验证系统等多个技术领域。本文通过简化框架和示例代码,指导如何将核心功能转化为技术实现,涵盖用户管理、企业店铺管理、数据流量管理等关键环节。