大数据应用?你先搞定数据获取再说

简介:

虽然大数据已经变得更像一句营销术语,但是它仍有巨大的潜力没有被挖掘出来。不过,得先把数据获取这个大麻烦解决了。

企业在面对数据的时候,比知道怎么处理更多的情况,是在这些数据里漫无目的的游泳。遗憾的是,太多的公司将这种现象与大数据本身关联起来。从技术角度来说,大数据是非常具体的一件事――结构化数据(企业的专有信息)与非结构化数据(社交媒体数据流和政府新闻源之类的公共数据源)的结合体。

如果你将非结构化数据覆盖在结构化数据之上,通过分析软件将其可视化,你就会得到过去从未有过的洞察力――预测产品销售、更精准地目标用户、新的市场机遇,等等。

大数据不再像过去几年一样,受限于工具缺乏的问题。那时候搞大数据意味着团队里必须有数据科学家,还会被R和Hadoop之类的开源工具搞得心烦意乱。

如今,多少公司都争着帮你可视化大数据:从Tableau、Qlik、TIBCO和MicroStrategy之类的专业公司,到微软、IBM、SAP和甲骨文之类提供端到端服务的厂商,不一而足。

不过,据上周出席奥兰多中级市场CIO论坛/中级市场首席营销官(CMO)论坛的IT主管们声称,许多公司在大数据分析中最头疼的问题,其实是如何获取数据。

一位CIO说:“我们IT部门的最大问题,是我们如何才能将数据获取进来,这件事非常麻烦。”

这种说法也得到了相关数据的证实。

数据集成公司Xplenty开展的一项调查声称,三分之一的商业智能专业人员把50%至90%的时间,花在了清理原始数据和将数据录入到公司的数据平台的准备工作上。这种现象的原因,可能与只有28%的公司认为自己能从数据中获得战略性价值有很大关系。

数据清理的问题还包括,眼下IT行业许多最抢手的专业人员,正在花大量时间处理这项让人晕头转向的工作:在分析数据之前先筛选并组织整理数据集。

这显然对于数据的可扩展性非常不利,也严重限制了大数据的潜力。随着物联网不断发展,收集更多的数据对我们来说将越来越容易,这个问题只会变得更严峻。

有三种可能的方法有望解决这个问题:

1. 大数据分析软件不断完善――许多这些公司在过去五年时一直投入大量精力在大数据领域,减轻数据清理环节压力的工具不太可能在短期内出现重大突破,但有望实现逐步改进。

2. 数据准备人员成为数据科学家的助手――正如律师助理帮助律师处理重要的基础工作,数据准备人员也会帮助数据科学家处理基本上同样的底层任务。我们已经在某种程度上看到了这一幕。不妨阅读TechRepublic的这篇文章:《“数据标记”是人工智能时代的新新蓝领工作吗?》(http://www.techrepublic.com/article/is-data-labeling-the-new-blue-collar-job-of-the-ai-era/)

3. 利用人工智能清理数据――另一种可能性是,用来清理、筛选和分类数据的软件和算法将被编写出来。这一幕极有可能出现,但是我们还应预料到,这也不是“银弹”。微软、IBM和亚马逊正在致力于用人工进行软件无法处理的数据标记工作――而这正是全球自动化和算法领域的三巨头。

原文发布时间为:2016年4月13日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
19小时前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
19小时前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
19小时前
|
分布式计算 DataWorks 关系型数据库
MaxCompute产品使用合集之可以使用什么方法将MySQL的数据实时同步到MaxCompute
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
19小时前
|
存储 NoSQL 大数据
【MongoDB 专栏】MongoDB 在大数据场景下的应用
【5月更文挑战第11天】MongoDB,适用于大数据时代,以其灵活数据模型、高可扩展性和快速性能在大数据场景中脱颖而出。它处理海量、多类型数据,支持高并发,并在数据分析、日志处理、内容管理和物联网应用中广泛应用。电商和互联网公司的案例展示了其在扩展性和业务适应性上的优势,但同时也面临数据一致性、资源管理、数据安全和性能优化的挑战。
【MongoDB 专栏】MongoDB 在大数据场景下的应用
|
19小时前
|
分布式计算 监控 数据挖掘
MaxCompute的应用
【5月更文挑战第7天】MaxCompute的应用
27 8
|
19小时前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
25 0
|
19小时前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
30 1
|
19小时前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在DataWorks中,查看ODPS表的OSS对象如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 1
|
19小时前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
24 0
|
19小时前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在DataWorks中,MaxCompute创建外部表,MaxCompute和DataWorks的数据一直保持一致如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
20 0
DataWorks产品使用合集之在DataWorks中,MaxCompute创建外部表,MaxCompute和DataWorks的数据一直保持一致如何解决