大数据时代必须破解的重大现实课题

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
数据安全中心,免费版
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

大数据时代必须破解的重大现实课题

当今,社会信息化和网络化的发展导致数据爆炸式增长,全球数据量大约每两年翻一番,这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。大数据时代已经到来,大数据渗透到各个行业领域,逐渐成为一种生产要素发挥着重要作用,成为未来竞争的制高点。然而,大数据掀起新一轮生产率提高和生活方式改变的同时,随之而来的是安全挑战,这是我们必须破解的重大现实课题。

大数据隐患

面临三大风险问题

数据生命周期安全问题。伴随着大数据技术和应用的快速发展,在大数据生命周期的各个阶段、各个环节,越来越多的安全隐患逐渐暴露出来。比如,大数据传输环节,除了存在泄漏、篡改等风险外,还可能被数据流攻击者利用,数据在传播中可能出现逐步失真等。又如,大数据处理环节,除数据非授权使用和被破坏的风险外,由于大数据的异构、多源、关联等特点,即使多个数据集各自脱敏处理,数据集仍然存在因关联分析而造成个人信息泄漏的风险。

基础设施安全问题。作为大数据汇集的主要载体和基础设施,云计算为大数据提供了存储场所、访问通道、虚拟化的数据处理空间。因此,云平台中存储数据的安全问题也成为阻碍大数据发展的主要因素。在云计算安全方面,云安全联盟2016年发布的云安全十二大威胁中,“数据泄露”高居榜首。美国国家标准技术研究院指出安全是公共云计算面临的最大障碍,潜在风险包括:一是云计算环境复杂,产生了比较大的受攻击面;二是多租户共享计算资源,增加了网络和计算基础设施的风险,一个用户的数据和应用可能在无意中暴露给其他用户;三是公共云计算通过互联网交付,用户的应用和数据面临来自网络和暴露接口的威胁;四是用户失去了对系统和数据在物理和逻辑上的控制。

个人隐私安全问题。在现有隐私保护法规不健全、隐私保护技术不完善的条件下,互联网上的个人隐私泄露失去管控,微信、微博、QQ等社交软件掌握着用户的社会关系,监控系统记录着人们的聊天、上网、出行记录,网上支付、购物网站记录着人们的消费行为。但在大数据时代,人们面临的威胁不仅限于个人隐私泄露,还在于基于大数据对人的状态和行为的预测。近年来,国内多省社保系统个人信息泄露、12306账号信息泄露等大数据安全事件表明,大数据未被妥善处理会对用户隐私造成极大的侵害。因此,在大数据环境下,如何管理好数据,在保证数据使用效益的同时保护个人隐私,是大数据时代面临的巨大挑战之一。

大数据安全

全方位加强数据安全治理

我国“十三五”规划纲要提出要实施国家大数据战略,强化信息安全保障。为保障大数据发展战略的顺利实施,应大力加强数据安全治理。

加强数据安全管理。明确数据安全治理目标,解决“云、管、端”三类数据的违规监控和泄漏防护问题,对涉及敏感内容的数据存储、传输、使用过程进行全方位监控、审计、实时防护,防止敏感数据泄露、丢失,确保数据的价值实现、运营合规和风险可控。建立数据安全治理的保障机制,包括确立数据安全治理的战略;健全数据安全治理的组织机制,明确数据安全管理的角色和责任;建立满足业务战略的数据架构和架构管理策略;识别政策、法律、法规要求,跟踪相关标准规范的进展并采取措施予以积极落实。根据确定的数据安全角色和责任,分解落实各项数据安全治理任务,有序开展各项治理工作。建立对数据安全治理的监督评估机制,提升数据安全治理的有效性。

加强敏感数据管控。采取相关技术措施,加强对敏感数据的管控。既要开展数据分级分类工作,对敏感数据进行识别定义,为采用技术手段实现对敏感数据的安全管控提供基础;又要建设数据安全管控系统,在数据分级分类基础上,对传统环境和云计算环境下的数据进行深度内容识别,并通过展示界面实时、动态展示敏感信息分布态势、传输态势、使用态势及整体安全风险态势;还要对涉及敏感内容的数据存储、传输、使用过程实现全方位监控、审计、实时防护。

加强平台安全防护。大数据承载平台应遵循国家网络安全等级保护制度的要求,根据确定的安全等级采取相应的安全保障策略。从物理、网络、主机、应用、数据和管理等多个层面,构建层次化的纵深安全防御体系,有效保障各业务应用系统、大数据软件平台及承载其运行的云计算平台的系统安全。既要加强大数据资源、环境、系统整体防护,建设多重防护、多级互联体系结构,确保大数据处理环境可信;又要加强处理流程控制,防止内部攻击,提高计算节点自我免疫能力;还要加强全局层面安全机制,制定数据控制策略,梳理数据处理流程,建立安全的数据处理模式;更要加强技术平台支持下的安全管理。

加强数据安全评估。通过深入贯彻等级保护、风险评估等相关制度,对数据安全治理实施的符合性和质量进行监督评估,形成数据安全治理的闭环管理。要开展对大数据承载平台的定期安全评估;加强对大数据相关信息系统的安全评估;跟踪大数据相关评估标准的进展,适时开展对大数据安全的数据可信性和隐私保护程度等指标的评估。通过体系化的大数据安全评估,促使大数据系统在数据安全方面达到运营合规、风险可控的目标。 


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
SQL 分布式计算 大数据
"大数据计算难题揭秘:MaxCompute中hash join内存超限,究竟该如何破解?"
【8月更文挑战第20天】在大数据处理领域,阿里云的MaxCompute以高效稳定著称,但复杂的hash join操作常导致内存超限。本文通过一个实例解析此问题:数据分析师小王需对两个共计300GB的大表进行join,却遭遇内存不足。经分析发现,单个mapper任务内存默认为2GB,不足以支持大型hash表的构建。为此,提出三种解决方案:1) 提升mapper任务内存;2) 利用map join优化小表连接;3) 实施分而治之策略,将大表分割后逐一处理再合并结果。这些方法有助于提升大数据处理效率及稳定性。
109 0
|
5月前
|
机器学习/深度学习 分布式计算 大数据
大数据迷局:如何用PyODPS破解回归分析之门?
【8月更文挑战第20天】随着大数据技术的发展,回归分析在处理海量数据时愈发重要。PyODPS是阿里云MaxCompute上的Python库,支持高效的数据处理。本文通过示例展示如何使用PyODPS进行回归分析:从安装库、连接MaxCompute、读取销售数据,到数据预处理、构建线性回归模型、预测销售额及评估模型性能(如计算RMSE)。这一流程体现了PyODPS在大数据环境下的强大功能。
75 0
|
SQL 存储 自然语言处理
面向现实世界场景,多语言大数据集PRESTO来了
面向现实世界场景,多语言大数据集PRESTO来了
159 0
|
大数据 定位技术
大数据破解污染图谱 北风与雾霾啥关系
本文讲的是大数据破解污染图谱 北风与雾霾啥关系【IT168评论】南美洲的蝴蝶扇动下翅膀,太平洋都能起台风。但为何西伯利亚的强冷空气,却吹不动北京的雾霾?对于这个问题,中国的程序员希望用代码寻找气象与环境污染之间的关系,最终用街头大妈都能看懂的方式呈现出来。
1622 0