存储和安全 大数据前行的"绊脚石"

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

本文讲的是存储和安全 大数据前行的"绊脚石",2012年最热的是什么?在IT界我们能够听到常常听到熟悉的词语:大数据、社交商务、云计算、移动化。显然,大数据成为企业最为关心的话题之一。众所周知,当前随着互联网以及3G的发展,企业的数据量正在呈几何倍数增长发展,我们看到企业中的数据也在随着数据量的不断增加,而面临着巨大的挑战。

  对于企业来讲,大数据时代,如何把数据转换成信息,从而形成价值,最他们关心的最终目标,但我们看到面对大数据的处理,无论是国内的服务商,还是企业用户应用还处于初级阶段,企业想要把大数据完美应用还需要很长一段路要走。

  针对于企业应用大数据的前行道路,IT168记者将会采访来自不同行业的CIO、信息总监、CTO、IT经理等IT负责人就当前大数据的趋势、挑战、应用等话题进行全面的解读,以给更多的个在应用处理大数据提供一个良好的借鉴。 针对于大数据的趋势以及挑战,近日,IT168记者采访长风联盟技术总监(CTO)刘致杰,玲听到了作为一名企业IT负责人对于大数据的理解。

  机遇与挑战并存

  大数据虽然已经受到企业的关注,但目前的应用并不是很理想,目前在企业应用过程中还存在巨大的挑战,对于此,刘致杰认为,大数据的挑战主要是体现在几个方面:

  第一、速度问题

  随着数据量和各种类型数据的不断增加,数据的存储和访问速度成为了一个瓶颈,解决速度,是大数据面临一个巨大的挑战。

  第二、安全问题

  安全问题分为两个方面:1、个人信息,是大数据的一个主要内容,那么个人信息从搜集获取到处理存储,都面临着个人的隐私问题。个人隐私的安全问题是大数据应用方面面临的一个挑战。2、数据量的急剧增加和数据类型的多样化,对数据备份恢复造成困难,对业务连续性构成威胁。

  第三、数据的应用

  大数据它本身是没有直接的用处,它的价值是在背后的信息,如何对大数据进行有效分析是当前面临的一个挑战,现在针对商业应用需要更深层次的分析,就是所谓的数据挖掘,通过对商业的模型和分析模型的研究,进行业务创新,这直接关系到大数据的应用效果。

存储和安全 大数据前行的
▲长风联盟技术总监刘致杰(左)接受IT168记者的采访(点击进入视频)
 

  然而,我们看到大数据带来挑战的背后,同时也应该看到给企业带来巨大的机遇,刘致杰表示,机遇可以从两个方面来看:

  第一、中国人口有13亿多,而移动终端用户占到9亿多,网络用户接近5亿,这么庞大的用户群为我们大数据产业提供了非常肥沃的“土壤”,对大数据发展建立一个非常好的基础。

  第二、互联网应用、移动互联应用以及智慧城市的提出建设,对大数据提供了巨大的需求,也是为大数据产业提供了一个难得的发展机会。

  大数据的产业和技术,为企业提供了一些发展的机会。

  制造行业,通过制造行业分析,可以改善制造行业的产业链,改进产品的性能和质量,为用户提供一些更符合用户需求的产品。

  互联网行业,可以通过分析用户浏览习惯和消费行为,给他们创造更好的用户体验。

  医疗行业,可以给病人做全程的病理的分析,然后给提供病程的预测,也可以给他们提供更全面和更优质的服务。

  金融行业,可以从大量数据中筛选优质客户,设计有针对性的产品,从交易数据中发现欺诈和盗用行为。

  存储和安全 大数据应用的关键

  正如刘致杰所说,我们看到大数据的挑战——存储和安全,是企业迫切需要考虑的问题的。同时,也是大数据成功的关键。大数据对于不同的行业来讲,需要解决的问题是不一样,刘致杰认为,企业在应用大数据时,存储和安全比较关键。

  从海量数据来来,以前都是的数据量都是GB或者是TB,这种量级的数据,过去可能多年才能累计产生的数据,而现在有些单位每年产生的数据可能就是几十个TB,马上就到PB数量级,海量数据量增长的非常快,除了海量数据之外,还有各种非结构化如视频、多媒体的数据,这也占据了大量的存储空间。

  海量数据的存储,首先要解决如安全性和可靠性的问题,它的安全性不是那种保密的安全性,是数据存储的安全性,比如一旦出现故障要保证数据不能丢失,尽快恢复数据,这是它的存储安全性。

  过去数据管理,出于安全考虑,更多的采用实时备份和恢复,比如系统出现故障,要立即恢复实时数据,实时恢复就得先做到实时备份,现在大数据应用,实时备份恢复非常困难。系统的架构应付不了实时数据的备份和恢复,那么解决这么一个问题,需要突破一些关键的技术。

  刘致杰同时表示,大数据的存在也对系统架构提出了严重的挑战。现在不仅是系统架构,很多产品的架构都是有问题的,比如早期的应用是一些传统的数据库和关系型数据库,关系型数据库能够非常有效的进行数据管理,包括存储的管理、数据检索的管理,它可以通过关键字,通过索引去搜索。结构化数据库也就是传统的数据库,实际上已经不能适应大数据的应用要求了。

  此外,数据的调度和分析架构要适合分布式计算,要建立分布式的管理架构。

  另一方面,大数据的一个主要应用领域是关于个人的数据,对个人的网络访问记录,网络通信记录,通话记录、日常行动记录等各种渠道进行信息收集,形成了对个人全面的记录。有关人的信息非常敏感,这些信息的获取、存储、传输、分析等环节面临着信息泄露和数据安全的问题,成为大数据应用的重大风险。已经发生的多起个人数据安全泄露事件在社会上引起了极大的震动正说明了这个问题。

作者: 李伟 

来源: IT168

原文标题:存储和安全 大数据前行的"绊脚石"

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 算法 固态存储
大数据分区优化存储成本
大数据分区优化存储成本
31 4
|
1月前
|
存储 安全 大数据
大数据隐私保护:用户数据的安全之道
【10月更文挑战第31天】在大数据时代,数据的价值日益凸显,但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案,旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识,共同推动大数据隐私保护的发展。
|
1月前
|
存储 安全 大数据
|
2月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
47 4
|
2月前
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
75 3
|
2月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
51 1
|
2月前
|
存储 算法 NoSQL
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
41 0
|
2月前
|
存储 消息中间件 分布式计算
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
42 0
|
2月前
|
存储 SQL 分布式计算
大数据-127 - Flink State 04篇 状态原理和原理剖析:状态存储 Part2
大数据-127 - Flink State 04篇 状态原理和原理剖析:状态存储 Part2
21 0
|
2月前
|
存储 消息中间件 大数据
大数据-126 - Flink State 03篇 状态原理和原理剖析:状态存储 Part1
大数据-126 - Flink State 03篇 状态原理和原理剖析:状态存储 Part1
70 0
下一篇
DataWorks