CDP 平台的安全和治理

一、 安全挑战

大数据平台会面临各种各样的安全和治理挑战，主要体现在以下几个方面：

• 跨工作负载共享数据

需要创建多个数据副本，每个副本都有自己的数据上下文集合，易产生数据竖井或数据孤岛等问题。

• 繁重的管理工作

创建的多个数据副本，需要有多个集群来存储数据，管理员就需要在多个管理位置进行数据管理，同时还需要进行数据间的权限同步，增加了管理员的工作负担。

• 数据泄露

数据中缺少一项许可，可能导致不该访问的数据被他人访问，造成数据泄露及重大的财务和声誉风险。

• 难以安全地共享数据以进行新分析

很多时候需要将数据复制脱敏后共享，或者直接将数据不加控制的进行共享，这些都给企业的数据泄露带来了极大风险。

• GDPR 等严格的新法规，使挑战变得更大

GDPR 等安全法律法规对数据保护提出了新的要求，这些要求企业更好的保护用户的数据。

二、 应对措施

鉴于上述挑战，CDP 平台提供了全面的安全措施来保护客户的数据安全。

1. CDP 平台的四大安全支柱

1) 认证&边界

通过 Kerberos、LDAP、Apache Knox 实现认证方式、用户/组映射等验证企业目录中的用户。

2) 访问授权

通过 Apache Ranger 和 Apache Atlas 等技术来定义用户和应用程序可以处理数据的访问权限。

3) 可见性

通过 Apache Atlas 和 Apache Ranger 进行审计、数据血缘等报告数据来自何处以及如何使用。

2. 数据保护

通过 SSL/TLS，HDFS TDE，Ranger（KMS，Masking，Filtering）等进行加密、密钥管理以保护集群中的数据免受未授权的可见性。

3. 保护企业数据

在实际应用中，上述四个支柱通过以下方式保护企业数据：

1) 护城河

通过防火墙来构建企业数据安全的护城河，以拦截未授权访问。

2) 有限的入境点

通过 Apache Knox 构建有限的入境点，只对外暴露一个端口，应用的端口都可以通过 Knox 代理进入，以确保用户通过安全入口进入环境。

3) 检查身份

通过 LDAP/AD 等技术进行身份验证；确保用户是他所说的那个人。

4) 内墙

在大平台内部运用 Kerberos 提供服务、数据库、主机以及用户间的访问认证。

5) 守望塔

通过 Apache Ranger 控制用户访问权限。

6) 高硬墙

针对企业核心数据，通过 HDFS Encryption 进行数据加密的方式提供数据保护。

《CDP企业数据云平台从入门到实践》——CDP平台的安全和治理（2） https://developer.aliyun.com/article/1228323?groupCode=ClouderaCDP