上海市企业信息化促进中心常务副主任罗钢:大数据分析的风险与安全

简介:

上海,中国的经济、金融、贸易、航运中心,一直以变革、创新引领着中国企业的发展。在“互联网+”浪潮下,上海企业首当其冲,这座城市,一直用信息化手段推动着企业的高速发展。2016年10月28日,企业网D1net携手上海CIO联盟共同举办的CIO沙龙活动在上海盛大举行,来自各行业的CIO共聚一堂,共同探讨各行业在互联网+实践方面的信息化实践,涵盖大数据实践、互联网风控等领域。

以下为:上海市企业信息化促进中心常务副主任罗钢在上海CIO沙龙的演讲,题目是:《大数据分析的风险与安全》

罗钢:上次沙龙的时候我曾经讲过一次大数据,今天我从另外一个角度来探讨一下关于大数据的问题。

大数据之大,不仅仅在于数据量大,而在于其全,也就是说可以做一个全维度的分析。

我们所有的business都是一个对人的了解过程,只要你了解了人和人性,你就能挣到钱,不管在哪个方面。所以想办法找出一个顾客的画像是最重要的。

那么随后也就带来了一个问题,一开始就出现一个严重的事情,10大酒店泄露大量房客的开房信息。2月11号,包括锦江之星、橘子、速8、布丁、低端的、高端的包括万豪、丽思卡尔顿、喜达屋、喜来登、爱美,都泄露了自己的房客的信息,不仅包括顾客的姓名、身份证号码、手机号、方间号、房型、开放时间、退房时间、家庭住址、信用卡的后4位、还有信用卡截止时间。有了姓名和身份证,还有手机号都对应上去以后,就可以做很多事情了。

接下来我们做一个简单的统计,在2000万的个人信息当中,经过过滤,去除一些无效或者重复的信息,大概有1800万条,先清洗一下,涉及到上海的,上海户籍人口86万人,男女比例61%比39%。然后女性当中18到30岁的女性占比达38%。这可以做什么事情?卖化妆品的人肯定对这感兴趣了。我可以向你定向发送高端化妆品的广告了。

然后浦东新区占20%最多,其次是杨浦和普陀、黄埔三种,这是一个简单的一个统计,还没有深入地去做,大家都可以想到,这个数据如果落到不法分子手上能干什么?事情能干的事情太多了。

汇丰银行大量的秘密文件被曝光,还揭示了它的瑞士分行帮助富有客户逃税的事情,还有做避税建议,等等。这是一个事情,涉及到3万多个账户,1200亿的美元资产。

还有,深圳、上海、河北、河南、山西、安徽的卫生和社保系统出了大量的高危漏洞,一个星期的时间涉及到人员达数千万,包括个人身份证、社保、参保信息、财务、薪酬、房屋等等都知道。

然后看看国外,有一个安全公司,被黑客攻击了。泄露了400G的内部数据,包括各种各样的漏洞以及攻击工具都暴露在这个地方。更可怕的是,这个东西可以在互联网上直接公开下载。

美国婚外情网站“阿什莉·麦迪逊”(Ashley Madison),号称“约炮界的谷歌”,不明身份的黑客在网络上公布了会员的详细资料,称此举是为逼停网站。

还有,英国240万网络用户加密信用卡数据外泄,大麦网泄露600多万用户信息,国家旅游局也泄露我们的信息,涉及到6000万客户和6万多个旅行社的账号,包括100万的导游的信息,还有可以利用该漏洞进行审核拒签都行。

所以我们发现一个问题,就是每一家企业都以要搞大数据的名义收集了很多个人数据,但是他们也没好好用。企业大数据与公共安全是一个很严重的问题。阿里收集了很多数据,可是这个数据并没有用于淘宝。举个简单的例子,我在淘宝上买了一个Macbook Pro,接下来我的每天recommendation是什么呢?Macbook air。这就是典型的懂技术不懂业务。

我们仔细分析过淘宝的智能推荐系统,发现它并没有实现这个功能,并没有实现在合适的地方,合适的渠道,合适的时机,合适的用户和内容,为什么?随便举两个例子,第一,价格失真,淘宝上的价格是假的。第二,淘宝上的可供数量也是虚假的,它对产品的描述也是不规范的,从大数据的角度来讲,它的数据太脏了。

当企业大到一定程度,涉及到大量的公共数据的时候,是不是应该考虑一下,这家企业本身的性质和政府如何去管控它?

中国政府非常的开放,上海市也挺开放的,像刚才讲的上海有数据服务网,谁都可以进去,这是向公众开放的。里面的数据资源已经开放了很多,还包括有地理信息。

这些数据放上来,我发现都是适于公开的。这些数据挤出来不容易,经信委专门成立了一个大数据库来挤出这个数据,到各个委办去挤。所以说经济数据是最多的,经济运行数据,各种年报月报,半月报等等。

那么大数据的安全威胁,不仅仅来源于应用层面,在技术层面,在网络层面的各种安全威胁,实际上有很多。最重要的我个人认为,是意识淡薄,不仅中国人意识淡薄,外国人也意识淡薄。所以首先要有这个意识,第二个就是移动数据的安全压力增大,因为大量的东西都是在空中跑。

第二个问题,就是不要谈系统能不能破解,是系统值不值得被破解,这个系统多长时间能被破解。然后网络化环境下,大数据更容易遭受攻击,这个是肯定的。

那么海量的非结构化数据的安全存储,因为它是非结构化的,所以存储的东西千奇百怪,那么这些数据的生命周期,也是有一个多样化的变化。

接下来就是技术的高速发展增进了安全风险,这是一个很严重的问题,为了方便大家,我们搞了各种各样的登录方式,但是都逃不过一个人,黑客。那么我们的应对策略,我们提出来几条,从安全策略,管理存储和应用这个方面,就不多讲了。我要讲一个前置的安全管理,前置的安全管理指什么?企业要有一个人来统筹这些东西,应该是我们企业当中对大数据安全意识最强的人,可能是CIO,当然也有可能是CEO,在整个公司里面,从管理制度,从存储,从应用几个方面来强化安全策略。

从国家的层面来讲,我们的大数据战略的储备是相当不足的,我们缺乏大数据战略的顶层设计,第二个我们条块分割、体制治理阻碍了国家治理中的数据开放和共享。我们传统的治理思维和治理体制跟不上大数据时代的发展。

我们的立法相当的滞后,法律法规及配套政策严重缺失,那么接下来全球的战略博弈升级,大数据安全与安全防御的风险剧增,有很多在平时看不到的数据泄露,是成单位成建制地在向外面泄露。

所以我们的策略,一个是要完成顶层设计,然后推动大数据的共享开放,构建国家的大数据中心,这个大数据中心不能像过去一样,把所有的东西全部都堆到一块。然后接下来要数据安全的审计部门推动政府部门的共享联动,哪些东西能共享,哪些不能共享。然后加强大数据的专项人才培养,培育大数据的安全能力。

最后就是安全的基础设施建设,一些核心基础设施,全面地完善安全等级制度。谢谢大家。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
7天前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
46 0
|
7天前
|
数据可视化 大数据 Python
python大数据分析处理
python大数据分析处理
15 0
|
7天前
|
机器学习/深度学习 人工智能 大数据
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀
118 6
|
7天前
|
存储 机器学习/深度学习 数据采集
大数据处理与分析实战:技术深度剖析与案例分享
【5月更文挑战第2天】本文探讨了大数据处理与分析的关键环节,包括数据采集、预处理、存储、分析和可视化,并介绍了Hadoop、Spark和机器学习等核心技术。通过电商推荐系统和智慧城市交通管理的实战案例,展示了大数据在提高用户体验和解决实际问题上的效能。随着技术进步,大数据处理与分析将在更多领域发挥作用,推动社会进步。
|
7天前
|
存储 运维 监控
|
7天前
|
存储 数据可视化 大数据
大数据分析与处理:探索数据的深层价值
大数据分析与处理:探索数据的深层价值
43 2
|
7天前
|
存储 分布式计算 大数据
使用 Java 进行大数据处理和分析
【4月更文挑战第19天】本文探讨了Java在大数据处理中的关键作用,涉及Hadoop框架、HDFS数据存储、MapReduce编程模型及Spark等数据分析工具。还包括数据预处理、可视化、性能优化、安全与隐私保护以及完整处理流程。Java在金融、医疗、电商等领域有广泛应用,为大数据洞察和决策提供支持,但同时也需要开发者具备深厚的技术背景和实践经验。
|
7天前
|
缓存 大数据 Python
python利用代理IP分析大数据
python利用代理IP分析大数据
|
7天前
|
人工智能 分布式计算 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第9天】探索Microsoft Azure的Databricks服务,体验其在大数据分析和AI开发中的高效性能。此平台简化流程,提升效率,适用场景包括数据湖分析、实时流处理和AI开发。核心优势在于一体化平台设计、云原生的弹性伸缩和企业级安全保障。Databricks提升研发效能,无缝集成Azure生态,且持续创新,是应对大数据挑战和加速AI创新的理想工具。
44 1
|
7天前
|
数据采集 数据可视化 算法
Python在大数据分析中的力量:Pandas、NumPy与SciPy
【4月更文挑战第8天】Pandas、NumPy和SciPy是Python数据分析的核心,构成其在大数据领域的重要地位。Pandas提供高效的数据操作,包括DataFrame和Series结构,以及数据清洗和预处理工具。NumPy专注于数组计算,提供高性能的ndarray和数学函数。SciPy则包含专业算法,适用于科学与工程计算。这三者协同工作,覆盖数据分析的全过程,形成强大的Python生态系统。随着社区的不断创新和新库的涌现,如Dask和CuDF,Python在大数据分析领域的潜力将持续增长。
54 0

热门文章

最新文章