《大数据原理:复杂信息的准备、共享和分析》一一0.4 大数据最常见的目的是产生小数据

简介: 本节书摘来自华章出版社《大数据原理:复杂信息的准备、共享和分析》一 书中的第0章,第0.4节,作者:[美] 朱尔斯 J. 伯曼(Jules J. Berman)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
+关注继续查看

0.4 大数据最常见的目的是产生小数据
如果我知道获得一切后是什么样子,我也许早前就愿意接收更少的东西。
―Lily Tomlin

假设你正在使用智能手机搜索意大利餐厅,只需几步,你的手机就会列出在你当前位置10个街道范围之内的意大利餐厅。在此过程中,被查询的数据库庞大且复杂:一个映射数据库收集了世界上的所有餐厅,餐厅的经纬度、地址和由顾客给出的评分会持续更新,但是数据库的输出是小数据,例如,在街景地图上标出来5个餐厅,以及这些餐厅的准确地址、电话号码和评分。你要做的只是从这5家餐厅中选择一家,并享受佳肴。
在此案例中,你的数据选择源自一个大型的数据集,但你最终的分析仅利用了一个小数据集(即满足搜索条件的5家餐厅)。大数据资源是为了提供小数据集。分析工作并非基于大数据资源―大数据资源仅仅用于搜索和检索,因此,大数据资源的真正工作是收集和组织复杂数据,以便资源能够为你的检索做好准备。在此过程中,数据创造者需要做很多决定,例如,酒吧是否应该列入餐厅范围之内?外卖是如何点餐的?应当收集什么数据?缺失数据应当如何处理?数据如何存储?
大数据很少全部用于分析,总有一个“剧烈”的过滤过程将大数据转换为小数据,这种方式适用于科学分析。澳大利亚平方公里阵射电望远镜7、全球望远镜、欧洲核子研究中心的大型强子对撞机和泛星计划望远镜每天产生PB级的数据(见术语表,Square Kilometer Array,Large Hadron Collider,Worldwide Telescope)。研究者从这些原始数据资源中提取出众多用于分析的小数据集8。
这里给出一个实例来展现如何从大数据资源中产生可用的数据子集。耀变体是罕见的超大质量黑洞,它会释放喷流能量,并出现超光速运动现象。宇宙论者希望尽可能多地了解这些奇怪的物体。学习耀变体的第一步是找到足够多的耀变体,之后,对所有收集到的耀变体进行多种形式的测量,并进行比较来确定它们的总体特征。耀变体有一个其他天体没有的伽马射线特征径迹。广角红外线探测望远镜(WISE)收集了整个可观测宇宙的红外数据。研究人员从WISE的数据中提取出了所有有可能是耀变体的天体―约有300个。此后对这300个物体的研究让研究人员相信大致有一半是耀变体9。上述是大数据如何起作用的一个典型案例―通过创建小数据集可以有效地进行分析。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
资源调度 Java 大数据
大数据Flink原理
大数据Flink原理
19 0
|
3月前
|
消息中间件 存储 分布式计算
分享一份京东大数据大牛私藏:Kafka核心设计与实践原理
Kafka起初是由LinkedIn 公司采用Scala语言开发的一一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafka集成。
|
3月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的核心机制理解的数据复制和原理
在 Hdfs 中,数据的复制和原理是基于块的分布式存储。
21 1
|
3月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的核心机制理解的数据读/写原理
在 Hdfs 中,数据的读写原理是基于块的分布式存储。
30 0
|
8月前
|
分布式计算 Java Hadoop
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
|
8月前
|
存储 分布式计算 大数据
六、【计算】大数据Shuffle原理与实践(下) | 青训营笔记
六、【计算】大数据Shuffle原理与实践(下) | 青训营笔记
六、【计算】大数据Shuffle原理与实践(下) | 青训营笔记
|
8月前
|
存储 分布式计算 Java
大数据 Shuffle 原理与实践|青训营笔记
本文包括:1.shuffle概述;2.spark中的shuffle算子的基本特性;3.spark中的shuffle的过程;4.push shuffle的原理与实现
100 0
大数据 Shuffle 原理与实践|青训营笔记
|
9月前
|
存储 分布式计算 安全
【读书笔记】大数据原理与应用:分布式文件系统HDFS
【读书笔记】大数据原理与应用:分布式文件系统HDFS
73 0
【读书笔记】大数据原理与应用:分布式文件系统HDFS
|
9月前
|
存储 SQL 分布式计算
【读书笔记】大数据原理与应用:大数据处理架构Hadoop
【读书笔记】大数据原理与应用:大数据处理架构Hadoop
87 0
【读书笔记】大数据原理与应用:大数据处理架构Hadoop
|
10月前
|
存储 消息中间件 SQL
大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理
索引服务是数据摄入创建和销毁Segment的重要方式,Druid提供一组支持索引服务(Indexing Service)的组件,即Overlord和MiddleManager节点。
150 1
大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理
热门文章
最新文章
推荐文章
更多