大数据也要“清洗”?专家建议加快大数据清洗基地建设保护信息安全

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

大数据也要清洗?是的,你没看错。数字化、智能化时代,大数据产业急需通过“清洗”技术对数据进行甄别、筛选和应用,剔除无效信息,加强隐私保护。在青岛召开的2016全球大数据应用研究论坛上,多位业内专家建议我国加快大数据清洗基地建设。

大数据应用于生活,信息的甄别和提取是第一步。大数据清洗,就是用电脑把不规则的数据制作成规则的数据,让它们发挥价值。“如同河水必须经过净化才能饮用一样,过滤、漂白、杀毒的过程,就是大数据的‘清洗’过程。”中国大数据行业领军人物、贵阳大数据交易所执行总裁王叁寿在会上说。

专家认为,大数据的清洗,不仅有利于提高搜索处理效率,还能加速大数据产业与各行各业的融合,加快应用步伐。比如,通过对家电、物流等多个行业数据整合、过滤,能更好地设计出智能家居方案等。

“大数据清洗也是安全使用的前提。”科大讯飞高级副总裁张友国说,加强大数据清洗,将对用户信息多一层保护。

与会专家认为,随着大数据产业快速发展,数据清洗的重要性与日俱增,建议加快大数据清洗基地建设,同步构建大数据安全体系,用新方法来解决大数据安全问题。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
存储 分布式计算 大数据
惊了!大数据时代来袭,传统数据处理OUT了?创新应用让你眼界大开,看完这篇秒变专家!
【8月更文挑战第6天】在数据爆炸的时代,高效利用大数据成为关键挑战与机遇。传统数据处理手段难以胜任现今海量数据的需求。新兴的大数据技术,如HDFS、NoSQL及MapReduce、Spark等框架,为大规模数据存储与处理提供了高效解决方案。例如,Spark能通过分布式计算极大提升处理速度。这些技术不仅革新了数据处理方式,还在金融、电商等领域催生了风险识别、市场预测及个性化推荐等创新应用。
112 1
|
6月前
|
机器学习/深度学习 分布式计算 监控
在大数据模型训练中,关键步骤包括数据收集与清洗、特征工程、数据划分;准备分布式计算资源
【6月更文挑战第28天】在大数据模型训练中,关键步骤包括数据收集与清洗、特征工程、数据划分;准备分布式计算资源,选择并配置模型如深度学习架构;通过初始化、训练、验证进行模型优化;监控性能并管理资源;最后保存模型并部署为服务。过程中要兼顾数据隐私、安全及法规遵守,利用先进技术提升效率。
118 0
|
7月前
|
数据采集 SQL 监控
大数据清洗的艺术:有效处理缺失值、异常值与重复数据
【4月更文挑战第8天】本文探讨了大数据清洗的三个关键环节:缺失值处理、异常值识别与处理、重复数据消除。在处理缺失值时,涉及识别、理解原因、选择删除、填充或保留策略,并进行结果验证。异常值识别包括统计方法、业务规则和可视化检查,处理策略包括删除、修正和标记。重复数据的识别基于主键和关键属性,处理策略有删除、合并和哈希,处理后需持续监控。数据清洗是一门艺术,需要结合统计学、编程技能和业务理解。
1943 2
|
7月前
|
大数据 BI
阿里十年大数据专家谈“云上数据中台之道”含内部PPT
从大数据的概念被正式提出,到马云老师预言人类正从IT时代走向DT时代,大数据浪潮迭起。大数据同仁共同认知的一点是,大数据会对社会创新、产业变革、业务创新及每个人的角色定位产生近乎决定性的影响。
|
大数据
《汇众智联—工业大数据的采集、清洗和组织》电子版地址
汇众智联—工业大数据的采集、清洗和组织
68 0
《汇众智联—工业大数据的采集、清洗和组织》电子版地址
|
人工智能 安全 大数据
大数据社交网络个人信息安全思考
大数据社交网络个人信息安全思考
451 1
|
存储 监控 安全
大数据个人信息安全保护浅论
大数据个人信息安全保护浅论
357 1
|
安全 大数据 Linux
知名大数据厂商云宏加入龙蜥社区,共同打造信息安全坚实“地基”
云宏加入龙蜥社区,助力国产技术力量的持续健康发展、创新及应用。
知名大数据厂商云宏加入龙蜥社区,共同打造信息安全坚实“地基”
|
人工智能 大数据 双11
大数据专家在线
感谢您关注阿里云智能大数据&AI产品双11活动!
1960 1
大数据专家在线
|
人工智能 大数据 双11
报名中 | 4天4城(深圳/广州/上海/武汉),10位专家带你实操演练,如何玩转行业大数据应用
您是否了解数仓最新技术趋势「湖仓一体」?您是否还在惆怅业务数据不够实时?您是否在大数据开发治理、日志数据分析和个性化推荐等方面遇到难题?
2404 0
报名中 | 4天4城(深圳/广州/上海/武汉),10位专家带你实操演练,如何玩转行业大数据应用