大家好,我是独孤风,一位曾经的港口煤炭工人,目前在某国企任大数据负责人,公众号大数据流动主理人。在最近的两年的时间里,因为公司的需求,还有大数据的发展趋势所在,我开始学习数据治理的相关知识。
数据治理需要进行系统的学习才能真正掌握,也需要进行专业的考试认证才能证明自己在数据治理方面的学习能力和知识掌握情况。如果对数据治理和数据治理认证CDMP有疑问的话,可以参考我之前的文章,有详细的介绍。
5000字详解数据治理如何入门(附国际数据治理认证考试-CDMP学习群)
正文共:6623字 7图
预计阅读时间:17分钟
本文档基于数据治理相关学习资料整理,为数据治理专业认证CDMP的学习笔记(思维导图与知识点)整理。
文章较长,建议收藏后阅读。
后续的文档请关注公众号 大数据流动,会持续的更新~
本文档为数据安全思维导图与知识点整理。共分为6个部分,由于页面显示原因,部分层级未能全部展开。结构如下图所示。
一、数据安全
数据安全需求来自:利益相关方。政府法规。特定业务关注点。合法访问需求。合同义务。
数据安全语境关系图如下:
业务驱动因素:降低风险和促进业务增长是数据安全活动的主要驱动因素。
1、降低风险
对组织数据分类分级:1)识别敏感数据资产并分类分级。2)在企业中查找敏感数据。3)确定 保护每项资产的方法。4)识别信息与业务流程如何交互。
2、业务增长
3、数据安全性作为资产
目标:1 启用对企业数据资产的适当访问,并防止不适当的访问。2 理解并遵守所有有关隐私、 保护和保密的法规和政策。3 确保所有利益相关方的隐私和保密需求得到执行和审计。
活动:1 识别数据安全需求。2 制定数据安全制度。3 制定数据安全细则。4 评估当前安全风险。 5 实施控制和规程。
组织数据安全遵循以下指导原则:1)协同合作。2)企业统筹。3)主动管理。4)明确责任。5) 元数据驱动。6)减少接触以降低风险。
为方便理解,整理本部分思维导图如下:
二、基本概念
1、脆弱性:系统中容易遭受攻击的弱点或缺陷,漏洞敞口。
2、威胁:可能对组织采取的潜在进攻行动。 可以是内部或外部。不一定总是恶意。
3、风险:损失的可能性,构成潜在损失的事物或条件。
计算风险:
(1)威胁发生的概率及其可能的频率
(2)每次威胁事件可能造成的损害类型和规模。
(3)损害对收入或业务运营的影响
(4)发生损害后的修复成本
(5)预防威胁的成本,包括漏洞修复手段
(6)攻击者可能的目标或意图
4、风险分类:关键风险数据。高风险数据。中等风险数据
5、数据安全组织:取决于不同的企业规模。
6、安全过程
数据安全需求和过程分为4个方面,4A
【4A】:访问(Access)、审计(Audit)、验证(Authentication)、授权(Authorization)。权限(Entitlement)。
区分:访问:使具有授权的个人能够及时访问系统。作动词用,意味着主动连接到信息系统并使用数据;作名词用,是指此人对数据具有有效的 授权。授权:授予个人访问与其角色相适应的特定数据视图的权限。在获得授权后,访问控制系统在每次用户登录时都会检查授权令牌的有效性。权限:由单个访问授权决策向用户公开的所有数据元素的总和。
【监控】
系统应包括检测意外事件的
1、主动监控。2、被动监控。
7、数据完整性
整体状态要求,以免于遭受不当增删改查所造成的影响。
8、加密
加密方法:
1、哈希:将任意长度数据 转换为固定长度数据,有 MD5、SHA。
2、对称加密:使用同一 个密钥加解密数据。DES、3DES、AES、IDEA。
3、非对称加密:发送方和接收方使用不同的密钥。 发送方使用公开提供的公钥加密,接收方使用私钥解密,如 PGP。
9、混淆或脱敏
混淆:变得模糊或不明确。
脱敏:删除、打乱或以其它方式更改数据的外观等。
数据脱敏分为静态脱敏和动态脱敏。
1、静态数据脱敏:永久且不可逆转的更新数据,分不落地脱敏(不会留下 中 间文件或带有未脱敏数据 的数据库,非常安全)和落地脱敏(当数据源和目标相同时使用。从数源中读取未脱敏数据,或在安全位置中另有数据副本,在移动至不安全位置之前进行脱敏处置。有风险。)。
2、动态数据脱敏:在不改基础数据的情况下,在最终用户或系统中改变数据的外观。 如将 123456,改为 12**56。
3、脱敏方法
1)替换(Substitution)。将字符或整数值替换为查找或标准模式中的字符或整数值。
2)混排(Shuffling)。在一个记录中交换相同类型的数据元素或者在不同行之间交换同一属性 的数据元素。
3)时空变异(Temporal Variance)。把日期前后移动若干天(小到足以保留趋势), 足以使它无法识别。
4)数值变异(Value Variance)。应用一个随机因素(正负一个百分比,小 到足以保持趋势),重要到足以使它不可识别。
5)取消或删除(Nulling or Deleting)。删除不 应出现在测试系统中的数据。
6)随机选择(Randomization)。将部分或全部数据元素替换为 随机字符或一系列单个字符。
7)加密技术(Encryption)。通过密码代码将可识别、有意义的 字符流转换为不可识别的字符流。
8)表达式脱敏(Expression Masking)。将所有值更改为一 个表达式的结果。例如,用一个简单的表达式将一个大型自由格式数据库字段中的所有值(可能 包含机密数据)强制编码为“这是个注释字段”。
9)键值脱敏(Key Masking)。指定的脱敏算法 /进程的结果必须是唯一且可重复的,用于数据库键值字段(或类似字段)脱敏。
10、网络安全术语
1、后门
2、机器人或僵尸
3、Cookie
4、防火墙
5、周界
6、DMZ
7、超级用户账户
8、键盘记录器
9、渗透测试
10、虚拟专用网络
11、数据安全类型
1、设施安全。
2、设备安全(设备安全标准:使用移动设备连接的访问策略;在便携式设备上存储数据;符合记录管理策略的设备数据擦除和处置;反恶意软件和加密软件安装;安全漏洞的意识)。
3、凭据安全【身份管理系统。电子邮件系统的用户 ID 标准。 密码标准。多因素识别】。
4、电子通信安全。
12、数据安全制约因素
1、保密等级。2、监管要求。
主要区别是来源不同。保密要求来自内部,监管要求来自外部。
保护策略:
1、机密数据
机密数据分 5 类:
1)对普通受众公开(For General Audiences)。
2)仅内部使用(Internal Use Only)。仅限员工或成员使用的信息,但信息分享的风险很小。这种信息仅供内部使用、可在组 织外部显示或讨论,但不得复制。
3)机密(Confidential)。若无恰当的保密协议或类似内容, 不得在组织以外共享。不得与其他客户共享客户机密信息。
4)受限机密(Restricted Confidential)。 受限机密要求个人通过许可才能获得资格,仅限于特定“需要知道”的个人。
5)绝密(RegisteredConfidential)。信息机密程度非常高,任何信息访问者都必须签署一份法律协议才能访问数据, 并承担保密责任。
2、监管限制的数据
1)法规系列(个人身份信息PII;财务敏感数据;医疗敏感数据/个人健康信息PHI;教育记录)
2)行业法规或基于合同的法规(支付卡行业数据安全标准PCI-DSS;竞争优势或商业秘密;合同限制)
13、系统安全风险
(1)滥用特权。数据访问权限,应采用最小特权原则,仅允许用户、进程或程 序 访问其合法目的所允许 的信息。解决权限过大的方案是查询级访问控制,控制粒度要从表格 级访问深入到特定行和特定列。
(2)滥用合法特权。故意和无意滥用。部分解决滥用合法特权的方案是数据库访问控制。
(3)未经授权的特权升级。
(4)服务账户或共享账户滥用。服务账户。共享账户。
(5)平台入侵攻击。
(6)注入漏洞,SQL注入。
(7)默认密码。
(8)备份数据滥用。
14、黑客行为/黑客
黑客是在复杂的计算机系统中发现未知操作和路径的人。
15、网络钓鱼、社工威胁
通常涉及直接通信,诱使有权访问受保护数据的人提供该信息给你拟用户犯罪或恶意目的的人。
16、恶意软件
1、广告软件。2、间谍软件。3、特洛伊木马。4、病毒。5、蠕虫。
6、恶意软件来源:即时消息。社交网。垃圾邮件。
为方便理解,整理本部分思维导图如下:
三、活动
数据安全没有活动可以满足所有必需的隐私和保密要求。
安全监管关注的是安全结果,而非实现安全的手段。组织应设计自己的安全控制措施,并证明这些措施已达到或超过了法律法规的严格要求。
有以下几部分。
【活动 1】识别数据安全需求
识别数据安全需求:
1 业务需求(组织的业务需求、使命、战略和规模以及所属行业, 决定了所需数据安全的严格程度。数据-流程矩阵和数据-角色关系矩阵是非常有效的工具)。
2 监管要求。创建法规清单,写清影响的数据主题域、相关安全策略、控制措施。
【活动 2】制定数据安全制度
组织在制定数据安全制度时应基于自己的业务和法规要求。
制度是所选行动过程的陈述以及为达成目标所期望行为的顶层描述。
数据安全策略描述了所决定的行为,这些行为符合保护其数据的组织的最佳利益。要使这些制度产生可衡量的影响,它们必须是可审计且经审计过的。
不同级别的制度:
1)企业安全制度。
2)IT 安全制度。
3)数据安全制度。数据治理委员会是数据安全制度的审查和批准方。数据管理专员是制度的主管方和维护方。
【活动 3】定义数据安全细则
1 定义数据保密等级。保密等级分类是重要的元数据特征,用于指导用户如何获得访问权限。
2 定义数据监管类别。
3 定义安全角色。角色组减轻工作量。
对角色进行定义和组织的方法有两种:网络(从数据开始)或层次结构(从用户开始)。
两个工具: 角色分配矩阵。角色分配层次结构。
【活动 4】评估当前安全风险
1)存储或传送的数据敏感性。2)保护数据的要求。3)现有的安全保护措施。
【活动 5】实施控制和规程
主要由安全管理员负责,与数据管理专员和技术团队协作。
控制和规程至少应包括:
1)用户如何获取和终止对系统和/或应用程序的访问权限。
2)如何为用户分配角色并从角色中去除。
3)如何监控权限级别。
4)如何处理和监控访问变更请求。
5)如何根据机密性和适用法规对数据进行分类。
6)检测到数据泄露后如何处理。
控制和规程:
(1)分配密级。
(2)分配监管类别。
(3)管理和维护数据安全。1)控制数据可用性/以数据为中心的安全性。2)监控用户身份验证和访问行为。
缺乏自动化监控意味着严重的风险:1)监管风险。2)检测和恢复风险。3)管理和审计职责风险。4)依赖于不适当的本地审计工具的风险。
基于网络审计设备具有优点:高性能。职责分离。精细事务跟踪。
(4)管理安全制度遵从性。 1)管理法规遵从性。2)审计数据安全和合规活动。
管理法规遵从性包括:①衡量授权细则和程序的合规性。②确保所有数据需求都是可衡量的,因此也是可审计的。③使用标准工具和流程保护存储和运行中的受监管数据。④发现潜在不合规问 题以及存在违反法规遵从性的情况时,使用上报程序和通知机制。
数据安全制度的表述、标准文档、实施指南、变更请求、访问监控日志、报告输出和其他记录(电子或硬拷贝)构成了审计的输入来源。还有执行测试和检查。
审计测试和检查内容举例:①评估制度和细则,确保明确定义合规控制并满足法规要求。②分析 实施程序和用户授权实践,确保符合监管目标、制度、细则和预期结果。③评估授权标准和规程是否充分且符合技术要求。④当发现存在违规或潜在违规时,评估所要执行的上报程序和通知机 制。⑤审查外包和外部供应商合同、数据共享协议以及合规义务,确保业务合作伙伴履行义务及 组织履行其保护受监管数据的法律义务。⑥评估组织内安全实践成熟度,并向高级管理层和其他 利益相关方报告“监管合规状态”。⑦推荐的合规制度变革和运营合规改进。
为方便理解,整理本部分思维导图如下:
四、工具、方法与实施指南
工具
1、杀毒软件/安全软件。2、HTTPS。3、身份管理技术。4、入侵侦测和入侵防御软件。5、防火墙(防御)。 6、元数据跟踪。7、数据脱敏/加密。
方法
1、应用 CURD 矩阵(CURDE-创建、读取、更新、删除、执行)。2、即时安全补丁部署。3、元数据中的数据安全属性。4、项目需求中的安全要求。5、加密数据的高效搜索。6、文件清理。
实施指南
【就需评估/风险评估】
完美的数据安全几乎不可能,但避免数据安全漏洞的最佳方法是建立安全需求、制度和操作规程的意识。
组织可通过以下方式提高合规性:1)培训。此类培训和测试应是强制性的,同时是员工绩效评 估的前提条件。2)制度的一致性。为工作组和各部门制定数据安全制度和法规遵从制度,以健 全企业制度为目标。3)衡量安全性的收益。组织应在平衡记分卡度量和项目评估中包括数据安 全活动的客观指标。4)为供应商设置安全要求。在服务水平协议(SLA)和外包合同义务中包括 数据安全要求。SLA 协议必须包括所有数据保护操作。5)增强紧迫感。强调法律、合同和监管 要求,以增强数据安全管理的紧迫感。6)持续沟通。
【组织与文化变革】
数据管理专员通常负责数据分类。
为了促进其合规,制定数据安全措施必须站在那些将使用数据和系统的人的角度考虑。精心规划 和全面的技术安全措施应使利益相关方更容易获得安全访问。
【用户数据授权的可见性】
必须在系统实施期间审查每个用户的数据授权。
【外包世界中的数据安全】
任何形式的外包都增加了组织风险,包括失去对技术环境、对组织数据使用方的控制。数据安全 措施和流程必须将外包供应商的风险既视为外部风险,又视为内部风险。包括数据安全架构在内 的 IT 架构和所有权应该是一项内部职责。换句话说,内部组织拥有并管理企业和安全架构。外包合作伙伴可能负责实现体系架构。
转移控制,并非转移责任,而是需要更严格的风险管理和控制机制。
1、服务水平协议(SLA)
2、外包合同中的有限责任条款
3、合同中的审计权条款
4、明确界定违反合同义务的后果
5、来自服务提供商的定期数据安全报告
6、对供应商系统活动进行独立监控
7、定期且彻底的数据安全审核
8、与服务提供商的持续沟通
9、如果供应商位于另一个国家地区并发生争议,应了解合同法中的法律差异
负责、批注、咨询、通知(RACI)矩阵也有助于明确不同角色的角色、职责分离和职责,包括他们的数据安全义务。
【云环境中的数据安全】
数据安全制度需要在跨不同服务模型的数据分布。
为方便理解,整理本部分思维导图如下:
五、数据安全治理
1、数据安全和企业架构
数据安全架构是企业架构的一部分。
安全架构涉及:1)用于管理数据安全的工具。2)数据加密标准和机制。3)外部供应商和承包 商的数据访问指南。4)通过互联网的数据传送协议。5)文档要求。6)远程访问标准。7)安全漏洞事件报告规程。
安全架构对于以下数据的集成尤为重要:1)内部系统和业务部门。2)组织及其外部业务合作伙 伴。3)组织和监管机构。
2、度量指标
【安全实施指标】
常见的安全实施指标:1)安装了最新安全补丁程序的企业计算机百分比。2)安装并运行最新反 恶意软件的计算机百分比。3)成功通过背景调查的新员工百分比。4)在年度安全实践测验中得 分超过 80%的员工百分比。5)已完成正式风险评估分析的业务单位的百分比。6)在发生如火灾、 地震、风暴、洪水、爆炸或其他灾难时,成功通过灾难恢复测试的业务流程百分比。7)已成功解决审计发现的问题百分比。
【安全意识指标】
安全意识指标:1)风险评估结果。2)风险事件和配置文件。3)正式的反馈调查和访谈。4)事 故复盘、经验教训和受害者访谈。5)补丁有效性审计。
【数据保护指标】
数据保护指标:1)特定数据类型和信息系统的关键性排名。如果无法操作,那么将对企业产生深远影响。2)与数据丢失、危害或损坏相关的事故、黑客攻击、盗窃或灾难的年损失预期。3) 特定数据丢失的风险与某些类别的受监管信息以及补救优先级排序相关。4)数据与特定业务流程的风险映射,与销售点设备相关的风险将包含在金融支付系统的风险预测中。5)对某些具有价值的数据资源及其传播媒介遭受攻击的可能性进行威胁评估。6)对可能意外或有意泄露敏感信息的业务流程中的特定部分进行漏洞评估。
【安全事件指标】
安全事件指标:检测并阻止入侵尝试数量。通过防止入侵节省的安全成本投资回报。
【机密数据扩散】
衡量级秘书局的副本数量,减少扩散。
为方便理解,整理本部分思维导图如下:
未完待续~