AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】从使用Spark Streaming中所学到的经验

2017-02-12 1936
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Miklos Christine在Spark Summit EU 2016上的演讲，主要介绍了Spark Streaming的总体架构设计，Spark Streaming与结构化的流计算相比的不同之处以及目前阶段Spark Streaming的5大问题。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Miklos Christine在Spark Summit EU 2016上的演讲，简单介绍了DataBricks，并主要介绍了Spark Streaming的总体架构设计，Spark Streaming与结构化的流计算相比的不同之处以及目前阶段Spark Streaming的5大问题：类型不匹配、无法找到主要偏移量、toDF不属于RDD成员、任务不是序列化的以及有关JSON记录的相关问题。


df715b23494f59a036d8c8cf02276e667ade5ac5

2bc066592f8bf2df57bd927284db74883f1ad262

1d8afa40c42a727e7ca5d6aac097e0a0b389e37c

7b9196065913785bf64cf46ffadd2e71239114b2

4cbdd6a85f221f41216c3b48ae3078fbbd824a72

f5024ce88986fc0062767281bd416b4cfcbf9255

7c534df2bf7b82c9bd07aa7e6da5a276ffaac983

41f2a15e257e04fea0203ba27dbb7b4d5b8659be

d731094c6f0174ca5fa21bb957d02763488a6052

bca46c35a5525de9eb47cf86796215c10a48e186

beb3b29b824e13313724d242e74c94b460a848fe

1f17e9f59524b43de73a77de7d74f9c3e623aa9f

52bce93c8ccdfac305025cb30aa875ddfd2b7e6a

a3d6686680761651f2e12e060d0e7f361ca04749

fc71ab2782fe8ccdd99c4f01d8fa97ca3db3a966

1ebd745c39b80f6020330a8ee8a9f2b5dc02c52e

7b6821ade0bf0ff25fc39fc5d5f1e6aa51b08148

文章标签：
分布式计算
Spark
流计算
关键词：
apache spark streaming
apache spark summit
apache spark summit eu
apache spark经验
apache spark summit eu streaming
小猫吃鱼569
目录
相关文章
武子康
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
369 0
武子康
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
437 0
赵渝强老师
|
分布式计算 流计算 Spark
【赵渝强老师】Spark Streaming中的DStream
本文介绍了Spark Streaming的核心概念DStream，即离散流。DStream通过时间间隔将连续的数据流转换为一系列不连续的RDD，再通过Transformation进行转换，实现流式数据的处理。文中以MyNetworkWordCount程序为例，展示了DStream生成RDD的过程，并附有视频讲解。
赵渝强老师
385 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
武子康
271 0
武子康
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
武子康
292 0
武子康
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
武子康
266 0
武子康
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
武子康
207 0
武子康
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
武子康
196 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
299 0
武子康
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
武子康
415 0

热门文章

最新文章

  • 1
    Spark SQL性能优化
  • 2
    Spark SQL玩起来
  • 3
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 4
    【译】使用Spark SQL 运行大规模基因组工作流
  • 5
    Spark编程实验一：Spark和Hadoop的安装使用
  • 6
    如何处理 Spark 中的倾斜数据？
  • 7
    【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
  • 8
    原创 | 以Spark性能调优为例，说说如何书写简历项目的技术难点
  • 9
    Spark Streaming中的操作函数分析
  • 10
    5月14日Apache Spark中国社区技术直播【Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏】
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    282
  • 2
    Kubeflow-Spark-Operator-架构学习指南
    457
  • 3
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    738
  • 4
    springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
    541
  • 5
    Spark SQL架构及高级用法
    742
  • 6
    大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
    630
  • 7
    一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
    412
  • 8
    Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
    856
  • 9
    3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
    919
  • 10
    从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
    534

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云正式发布 Agentic 代码安全：AI驱动的双Agent协同引擎