【Spark Summit EU 2016】Spark——打造处理石油工业数据的全球化计算引擎

简介: 本讲义出自Yaroslav Nedashkovsky与Andy Starzhinsky在Spark Summit EU 2016上的演讲,主要介绍了从数据收集到预测分析的石油行业的数据分析过程,并且分享了如何利用Spark打造处理石油工业数据的全球化计算引擎。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Yaroslav Nedashkovsky与Andy Starzhinsky在Spark Summit EU 2016上的演讲,主要介绍了从数据收集到预测分析的石油行业的数据分析过程,分享了石油工业的概览,以及从数据源头到数据收集,再到数据分析的全过程,并且分享了如何利用Spark打造处理石油工业数据的全球化计算引擎。


4714cd9c5d0071a17f17c9f98230d0c3f4ecf8d5

c6a9864344264d7f3980ac32bb925b4aa64df484

915a34e95e4f5d0835f3af9e8fc9c35311789765

f8153a8ec2732d8740fe358cf6898de08d034e5e

40d9d42525bba861f44d499d2bc879e0f0ecdee1

d13fb8034823491e2e587251b33fea2babf772e2

80b89210a3a442f08abefa6c3d745556e0c86de6

6fb20c88c9d7c0743e4215f817a1d921f96115ac

623d0adb19427b5fe2dd42969f5dd3858a945784

e7d16bb934f0b20a6e9090db8c26ed73331116bc

f49f456a1b210ede871cb75b2d047a99de483af3

4c63deab233b76720f07bdf406482b71a7881b65

2be6fc9a432b47660a0df7947fecfbc2249c68c0

f27881ccd67af35b032041b7e8ad12547bdc3fb1

0bf4a8b9e53f0c0a4e87c5c1052694b894606b9f

e011fb96f38758a86f4fc96597332d1d44f5ea27

f3301e852c2019eab8ad5e9422376aa8609a8fe4

bf0734f0a401fec84f0b541670aeae1ed1267286

c6c2980f4615d2395e4adf7cfcb4da809934f1e8

3c3b9f2e883e072b4bee4ac09390bb1653608d22

041e4b3d94c827278e08a282b5fb12a0597a17f6

7c6ed63d8ca47635c385ebf7cdbd034128d7771b

69a83473ae386441a705bc89b28f2549ab366b5f

8ef354a67efe6ef03bb5a30a02543febfddcc0e0

9cfbe1fa44a8af1be2de76f4ea4f34a25085aac1

ec9f630f144ea15cc434a24131962425bd1f6831

b47c0b4c018c4aa3b87d115a7d91772d1bc76278

96dab471964c5ca8bdeeebb7ab5ae18b7a6dc5db

d1f1996e01bb8176cb304d1a2dfeb059b8f278cf

4ad2aeec7bdc4e36b1b9d6cbbe841c6da077035f

ce463a9b57fcbbed56934cdde1279744244c2ecd

856f72e28a064e79487190e55503372a6a3c460f

相关文章
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
54 3
|
4月前
|
存储 分布式计算 Java
|
4月前
|
分布式计算 监控 大数据
如何处理 Spark 中的倾斜数据?
【8月更文挑战第13天】
260 4
|
4月前
|
存储 缓存 分布式计算
|
4月前
|
SQL 存储 分布式计算
|
4月前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
58 1
|
5月前
|
分布式计算 数据处理 流计算
实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时,如何实时查看数据变化
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
弹性计算 分布式计算 DataWorks
DataWorks产品使用合集之spark任务如何跨空间取表数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
45 1
|
6月前
|
SQL 分布式计算 HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
6月前
|
分布式计算 定位技术 Scala
使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析
使用spark基于出租车GPS数据实现车辆数量统计以及北京每个城区的车辆位置点数分析
123 0
下一篇
DataWorks