开发者学堂课程【SaaS 模式云数据仓库实战：持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/761/detail/13350
持续定义 SaaS 模式云数据仓库—— MaxCompute 数据的持续保护
内容介绍：
一、大数据平台的发展和挑战
二、 Max compute 安全最佳实践
三、总结
一、大数据平台的发展和挑战
1、近年来和数据安全有关的一些重大事件
在企业数字化转成的今天，大数据成为业务发展的重要驱动力，数据成为资产的同时也正在面临诸多的风险。近年来关于数据安全有关的一些重大事件：
（1）某国际社交巨头
2018年3月，媒体报道，一家名为剑桥分析英国公司，在未经用户许可的情况下违规获取社交网站上5000万名用户个人信息数据。受此影响，该国际社交巨头股价19日出现了五年来的最大单日跌幅6.8%，20日再跌2.56%，抹平该公司今年以来的全部涨幅，两日市值蒸发500亿美元。
（2）某行业企业
2019年9月，灰黑产利用Hadoop Yarn漏洞进行攻击，窃取大数据服务器算力进行挖矿获利。
导致企业大数据平台瘫痪，企业数据安全和应用安全受到严重威胁。
随着加密货币的进一步繁荣，针对拥有强大算力的大数据集群的攻击风险将会愈发凸显。
（3）某商家服务提供商
2020年2月，企业内部员工，登录公司内网，对生产环境及数据进行了恶意破坏，造成线上服务大规模瘫痪。一天内，上百万万商户停摆，该企业市值蒸发近10亿元。
由于员工个人恶意行为，导致整个公司核心数据丢失，给公司带来了巨大的损失。
越来越多的事件暴露出来，用户的隐私的泄露愈发的严重。企业的数据平台的环境安全和数据安全会受到越来越多的网络威胁和网络攻击。第三部分需要考虑人的因素，企业内部的员工由于恶意或无意的操作，会给企业带来严重的后果。
2、近期国内数据安全相关法律加速明显
在该前提下，无论是国际还是国内，陆续出台了许多与数据安全有关的法律。在国内，数据安全法和个人信息保护法在陆续制定当中：
一系列的法律和法规重点都指向了一个领域，就是个人隐私的保护，不论国内或国际都在重点强调如何保护个人隐私数据，也就是在当下的企业，企业的数据安全不仅属于企业的内部资产，更多要扛起社会责任和法律责任。在当前的环境下数据的安全会更加得到重视。
3、在此背景下，企业的大数据安全在不同层面上存在诸多特点和挑战：
（1）数据规模爆发，企业数据资产被集中化存储使用
（2）通常保存着大量企业核心敏感数据
（3）被众多不同的业务和数据智能部门使用
（4）数据类型多样，对海量数据对象、访问人员分类、分级以及权限控制管理困难
（5）行业客户面临更严格的合规审计要求，保障业务连续性和应用安全，如异地容灾，增加了管理难度和成本
大数据平台区别于过往的数据库平台有不同的特点和挑战。现在的数据规模越来越多，按照现在的数据理念，这些数据都被中心化存储，不论是仓库还是数据库的理念，都要把这些数据集中的存储在一起，方便快速关联、分析和挖掘。同时，这些数据中往往保存着企业和企业服务的客户的隐私数据。这两个因素集中在一起，一旦企业的数据泄露，带来的广度和深度影响是很大的。数据中台的理念强调的是数据如何能被企业的不同的业务部门充分挖掘民主化消费，从而帮助业务。也就是现在的企业数据资产服务的越以往，企业一半以上的员工都有权限、有能力利用企业的资产数据做创新，这也带来了新的挑战。从实际接触的客户来看，许多行业客户除了一般的平台安全和应用安全之外。对于业务的连续性和业务的安全也有更高的要求。例如金融行业中的融灾。要求大数据平台能够有更好的异地能力，同时增加了管理难度和使用成本。
4、企业大数据的安全能力面临着诸多挑战
从大数据技术平台角度分析，基于开源自建大数据平台在技术解决方案上面临的挑战∶
（1）数据加工链路长，需要使用众多开源组件且组件的默认安全策略存在风险
（2）缺少企业级的完整的安全解决方案，需要多组件集成及定制
（3）开源组件漏洞更容易被恶意针对并利用
（4）需要较强的安全管理能力进行及时的补丁升级和安全管理。
企业在选择大数据平台建设时，往往选择HadoopBase的解决方案。利用这种开源的基础架构能够很快搭建企业数据管理平台。由于大数据的整个加工业务较长，企业需要从众多组件中选择需要的组件搭建平台。这些开源组件，默认的安全策略较弱。这些默认的安全策略，可能会给企业带来风险。虽然有许多发行版的解决方案，但是对于大型客户，开源解决方案缺少相对完整的安全解决方案。常见的开源安全解决方案有很多种开源的组件，这些组件没有完全能够覆盖常见的安全管理要求，所以企业需要慎重组合不同的开源解决方案，满足企业自己的管理要求。
开源组件的漏洞往往是公开的，更容易被恶劣攻击者针对利用。从2011年到2019年，发布的解决方案存在较多漏洞，这些漏洞是开放的。被广泛认知的漏洞包括攻击访问以及脚本漏洞。许多黑客恶意攻击者就可以利用这些漏洞去针对性攻击。从基础的管理成本上看，自建基础的平台需要企业有强大的安全管理能力。团队需要及时打补丁，根据企业管理要求设置安全解决方案。对企业的管理水平和技术能力提出了调整和要求。行业中也有许多挑战，自建大数据发现了许多风险。云计算给大数据带来了更多资源弹性和开箱即用的业务敏捷性云计算大数据的结合在云上可以看到明显趋势。云上大数据正在往全托管的Saas模式引进，全托管大数据平台能够自建完善的安全管理能力，这些安全管理能力是开箱即用的，不需要企业做过多的设置和自己方案的设定，能够提高企业的安全管理水平。
5、大数据平台正在往基于云实现服务交付的模式演进，全托管大数据平台内建完善的安全管理能力，将有效提升企业安全管理水平
自建大数据平台有以下选项:
基础平台-安全可信
·数据中心保障设施
·数据中心安全管控数据中心
·网络安全
大数据平台安全
·访问控制与授权
·安全隔离
·风控与审计
·数据保护
应用安全
·权限生命周期管理
·隐私数据保护
·风险识别与预警
·数据风险审计
·血缘分析/产出溯源自
云上有不同的交互模式,能够从不同层次把企业的技术平台以及大数据平台管理能力、业务访问能力、机器安全管理能力都覆盖到，形成完整的安全解决方案的能力。现代化的大数据平台全托管模式，能够从基础平台大数据的平台安全和应用安全方面，提供更完善的安全解决方案的能力。
6、Max compute：SaaS 模式企业级云数据仓库
阿里云的云上大数据提供SaaS模式的企业级数据仓库的解决方案Max compute。
MaxCompute(大数据计算服务）是一款云原生、高效能的企业级数据仓库服务。对外提供在线web服务。企业只需要调用web服务就能够完成企业数据的建构、分析。MaxCompute构建在阿里云大规模计算、存储资源之上，以Serverless架构提供全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，并最小化用户的运维投入。MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute,用户可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。MaxCompute被广泛用于构建现代化企业数据平台，开展BI分析、数据化运营、画像及推荐、智能预测等应用场景。服务是建构在阿里云的数据计算存储资源之上。用户开箱即用，不需要做资源开通容量规划，开箱即用。同时利用语言的弹性能力Maxcompute是service的架构，能够带来很好的资源弹性伸缩能力，能够精确匹配用户的管理需求。更重要的是，Saas模式的云数仓除了提供弹性能力算力之外，通过了企业认证防控控制以及相关的安全管理能力。基于这个服务，企业不需要配置管理，就能够享受开箱即用的平台安全。
