缔元信梅涛:"安全的陷阱",警惕大数据壁垒化危害!

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
数据安全中心,免费版
简介:

随着人们对大数据价值理解的深入,更多的公司将自身领域拓展至大数据层面。然而与高速发展相对应的是,数据管理行业急需的一系列数据使用标准及数据守则并没有被建立。在法律监管与行业监管都缺失的情况下,许多数据企业都在从利己的角度出发,将大数据安全与大数据壁垒联系在一起。我们不经要问:被分割成孤岛的大数据还能称作是“BigData”吗?


拿目前大数据应用最前沿也最广泛的在线广告行业为例,许多现实问题产生的原因不光是透明度的缺失,也包括行业各方并未真正理解自己在整个生态中所处的位置。企业认为在线媒体及数据收集方在收集品牌企业相关数据,并将其卖给竞争对手。与之相应的,在线媒体认为广告代理商也在收集他们的用户数据,然后通过其他媒体实现用户定向。


市场参与者们关心的核心问题无非就是:我的数据是否要被旁人所用?


Hey!这是我的品牌!——品牌可辨VS不可辨

数据使用的透明度一直是各方争议的关键,解决数据使用的问题不应该被归结到“要不要”而应该是“怎么做”。一些人担心第三方数据平台为了自身商业利益,加剧泄露数据,还有一些人抱着有罪推定的想法,认为泄漏数据是商业必然。但是从发展的角度看,无论历史上的哪个时期,“开放”和“诚信”始终是所有企业发展的必然选择。


就目前市场发展所处的阶段,很多业内人士认为,解决信任问题,一方面需要行业自身的约束与监管;另一方面在数据的具体使用上,通过技术手段也可以规避风险。例如在得到参与各方完全同意前,品牌辨别信息不应该用于数据定向。这样就可以最大程度的避免广告主所担心的自己的数据被第三方交易平台、第三方数据管理平台(DMP)或媒体售卖给竞争对手。同时,媒体也不必担心广告主和代理商,会借助从自己这里收集的用户数据,在其他媒体那以更低的价格定向受众。


Hey!这是我的数据!——私有数据VS公开数据

就像广告主和媒体不希望自己的品牌信息被竞争对手利用一样,他们同样会更加在意产品效果等专有的数据被透露给第三方的可能性。在大数据时代,数据安全是一个相对的概念,数据方首先要了解自身数据的价值,以及自己所要达成的目的,在自己所需与数据安全之间找到一个平衡点才是有意义的。


从理论上讲,将一段数据完全封闭所带来的安全性是最高的,但这样,数据的价值也就无法体现。大数据时代的一个特点就是互通互联和数据交换。缔元信总裁梅涛表示:大数据技术是把原来碎片化的、相互隔离的松散数据通过技术手段和服务,连接成一个尽可能长的完整的数据链条,越长也就越接近事实的全貌,这样才会产生相应的数据价值。想借助松散的数据片段实现洞悉,通过局部的数据链条去判断一些用户的行为是不准确的,就如同盲人摸象,我们自以为找到了有用的“木头”,殊不知愤怒的大象已经盯着我们看了半天。


Hey!这是我的花园!——数据壁垒VS数据互通

业界的另一个奇怪的风向是有许多公司在不经意间传递了大数据孤岛的概念,将数据安全与数据壁垒联系在一起。一些公司认为只有建立第一方数据管理平台(DMP),通过强效的数据控制,才能有效实现数据安全保障,企业建立起数据保护的“私家花园”,方能坦然步入大数据时代。


然而这样的信息与趋势,无疑与大数据时代的历史潮流相悖。大数据的开放性让它与之前时代产生了巨大的不同,流动中的数据把我们过去无法触及的角落连接在一起,提供更加深入的信息洞察和分析。上中下游数据的互通互流相互交换是大数据行业良性发展的必备因素。建立数据壁垒,将产生数不尽的数据孤岛,把我们再一次拖回“小数据时代”。


例如一家世界500强公司,会在许多不同的媒体平台上投放广告,尽管数量已经非常多,但仍有很多媒体是覆盖不到的。为此,它需要对投放地做出选择。而他的目标客户常常会关注许多不同的门户频道,这样就导致企业无法立体全面的获取目标客户群的喜好信息。如果企业使用某些第一方DMP,出于数据壁垒设定的存在,数据无法互通,想要最大程度洞察用户就需要将广告从现在的规模扩大十倍甚至几十倍,带来非常大的数据成本。


另一方面,将数据局限于第一方平台会使得企业对自身数据的价值产生错误的预判,无论企业的规模有多大,其自身数据对比整个市场依然只是较小的一部分。使用企业自有数据的小样本来推市场的大样本,是小数据时代无法处理海量数据情况下的一种折中方案。这种粗线条的人口学统计所带来的只是一个自圆其说的模型。缔元信梅涛表示:这就像两个男孩,年龄一样,零花钱一样,又是同班同学,但一个喜欢可口可乐,一个喜欢百事可乐。人口统计上的完全一致,却无法解释兴趣不同产生的原因。


而大数据解决的是大样本下的差异化问题。大数据可以从地理位置、全网触点、跨屏、社会化媒介和门户网站等不同维度出发,不单是做出用户画像和标签,更是将碎片化的信息提炼出核心链路和逻辑。在逻辑之上,就是不同企业所需要的大数据定制的模型,电商可以了解消费者喜欢什么样的商品,喜欢什么样的优惠,品牌广告主可以从产品源头了解消费者的市场需求和喜好。换句话说,未来,大数据必将逐渐向所有行业产业链的上游发展,当企业在生产产品,制定产品计划的前期,就可以通过大数据模型,实现更全面的考量。


结语:总而言之,大数据的发展必将围绕着数据流通,这其中有许多问题需要各方不断积累经验,探讨解决的方法,这一过程不免会走一些弯路,但是对于大数据的未来,缔元信梅涛持乐观态度。他认为,现在大数据的发展是有目共睹的,是大势所趋。尤其是未来互联网会不断有新的工具和应用产生,存在各种可能性,总会有更好的解决方案出现。


原文发布时间为:2014-11-13

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 安全 大数据
大数据隐私保护:用户数据的安全之道
【10月更文挑战第31天】在大数据时代,数据的价值日益凸显,但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案,旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识,共同推动大数据隐私保护的发展。
|
2月前
|
存储 安全 大数据
|
5月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
5月前
|
安全 关系型数据库 MySQL
揭秘MySQL海量数据迁移终极秘籍:从逻辑备份到物理复制,解锁大数据迁移的高效与安全之道
【8月更文挑战第2天】MySQL数据量很大的数据库迁移最优方案
845 17
|
6月前
|
分布式计算 安全 大数据
HAS插件式Kerberos认证框架:构建安全可靠的大数据生态系统
在教育和科研领域,研究人员需要共享大量数据以促进合作。HAS框架可以提供一个安全的数据共享平台,确保数据的安全性和合规性。
|
6月前
|
SQL 安全 大数据
如何安全的大数据量表在线进行DDL操作
如何安全的大数据量表在线进行DDL操作
84 0
如何安全的大数据量表在线进行DDL操作
|
7月前
|
机器学习/深度学习 自然语言处理 监控
金融行业的大数据风控模型:构建安全高效的信用评估体系
金融机构借助大数据风控提升信贷效率,通过数据收集、清洗、特征工程、模型构建与评估来识别风险。关键技术涉及机器学习、深度学习、NLP和实时处理。以下是一个Python风控模型构建的简例,展示了从数据预处理到模型训练、评估的过程,并提及实时监控预警的重要性。该文旨在阐述大数据风控的核心要素和关键技术,并提供基础的代码实现概念。【6月更文挑战第23天】
1081 8
|
8月前
|
运维 Cloud Native 安全
【专栏】随着信息技术发展,运维正向自动化、智能化转型,云原生运维成为主流,大数据驱动运维决策,而安全运维日益重要
【4月更文挑战第29天】随着信息技术发展,运维正向自动化、智能化转型,云原生运维成为主流,大数据驱动运维决策,而安全运维日益重要。面对技术更新快、人才短缺和复杂性增加的挑战,企业需建立培训体系,加强人才培养,优化运维管理,以适应未来运维需求。随着这些趋势,运维领域将迎来更广阔的发展前景。
226 2
|
8月前
|
人工智能 安全 算法
AI与大数据:智慧城市安全的护航者与变革引擎
AI与大数据:智慧城市安全的护航者与变革引擎
|
8月前
|
安全 算法 大数据
漫谈大数据时代的个人信息安全(四)——“位所欲为”
漫谈大数据时代的个人信息安全(四)——“位所欲为”