• 关于

    Streaming

    的搜索结果

问题

flink的空指针异常

游客dzclyts7d3ubw 2019-12-01 19:37:13 806 浏览量 回答数 1

问题

Flink collector.collect 是报Buffer pool is destroyed.

ryan_wfa 2019-12-01 19:30:30 2308 浏览量 回答数 2

问题

flink Cannot register Closeable -Java报错

JimmyWang 2020-05-29 21:40:45 0 浏览量 回答数 1

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

学生动手场景应用,快速了解并掌握云服务器的各种新奇玩法!

问题

如何使用spark将kafka主题中的writeStream数据写入hdfs?

社区小助手 2019-12-01 19:29:59 1407 浏览量 回答数 2

问题

hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

社区小助手 2019-12-01 19:40:25 373 浏览量 回答数 1

问题

flink 类型转换,scala 继承map接口后,报java.lang.ClassCastException

灰灰fly 2019-12-01 19:32:34 789 浏览量 回答数 1

问题

我的程序可能出错的地方就是在flatmap里面用了一个RichFlapMaption,在#Flink

黄一刀 2020-06-03 20:31:52 5 浏览量 回答数 1

问题

Flink sink kafka EXACTLY ONCE 执行checkpoint失败

游客x4cjij3rss7ok 2020-07-28 22:30:43 3 浏览量 回答数 0

问题

Apache Flink:如何处理Kafka接收器中的异常?

flink小助手 2019-12-01 19:24:32 1000 浏览量 回答数 1

问题

请教一下,这个报错有遇到过的吗?#Flink

黄一刀 2020-06-23 15:15:56 0 浏览量 回答数 1

问题

Building Structured Streaming Connector for Continous Applications

福利达人 2019-12-01 21:12:53 422 浏览量 回答数 0

问题

【Flink】The sts token has been expired

李博 bluemind 2019-12-01 20:27:19 510 浏览量 回答数 1

问题

Paddling Up the Stream: Lessons Learned using Apache Spark Streaming

福利达人 2019-12-01 21:23:20 402 浏览量 回答数 0

问题

Elastic Streaming Spark Streaming + Dynamic Provisioning + Dynamic Allocation

福利达人 2019-12-01 21:23:27 517 浏览量 回答数 0

问题

Apache Flink:ProcessWindowFunction实现

flink小助手 2019-12-01 19:25:24 4201 浏览量 回答数 3

问题

Pyspark - 打印来自Kafka的消息

社区小助手 2019-12-01 19:25:44 646 浏览量 回答数 1

问题

E-mapreduce服务是否支持用Python语言开发的程序

smallpotato000 2019-12-01 19:49:16 1999 浏览量 回答数 1

问题

Spark Structured Streaming获取最后一个Kafka分区的消息

社区小助手 2019-12-01 19:24:46 730 浏览量 回答数 1

问题

storm-hive本地模式运行topology时,hive文件夹在本地建立而不是集群?报错

爱吃鱼的程序员 2020-06-08 11:15:03 0 浏览量 回答数 1

问题

在本地执行flink是报错TypeDeserializerAdapter not found

游客3yybxutymqvrm 2020-10-07 07:02:44 1 浏览量 回答数 0

问题

Insights Without Tradeoffs Using Structured Streaming

福利达人 2019-12-01 21:23:16 364 浏览量 回答数 0

回答

这些都是支持的。1、Hadoop Streaming:hadoop jar /usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-*.jar 参考:https://hadoop.apache.org/docs/r2.7.2/hadoop-streaming/HadoopStreaming.html这个也可以在页面配置2、PySpark可以通过spark-submit提交的,在页面也可以配置。

封神 2019-12-02 01:43:30 0 浏览量 回答数 0

问题

Structured Spark Streaming-as-a-Service with Hopsworks

福利达人 2019-12-01 21:07:35 414 浏览量 回答数 0

回答

这个问题问的很大,分几个方面回答: 架构模型上:Spark Streaming 的task运行依赖driver 和 executor和worker,当然driver和excutor还依赖于集群管理器Standalone或者yarn等。而Flink运行时主要是JobManager、TaskManage和TaskSlot。另外一个最核心的区别是:Spark Streaming 是微批处理,运行的时候需要指定批处理的时间,每次运行 job 时处理一个批次的数据;Flink 是基于事件驱动的,事件可以理解为消息。事件驱动的应用程序是一种状态应用程序,它会从一个或者多个流中注入事件,通过触发计算更新状态,或外部动作对注入的事件作出反应。 任务调度上:Spark Streaming的调度分为构建 DGA 图,划分 stage,生成 taskset,调度 task等步骤而Flink首先会生成 StreamGraph,接着生成 JobGraph,然后将 jobGraph 提交给 Jobmanager 由它完成 jobGraph 到 ExecutionGraph 的转变,最后由 jobManager 调度执行。 时间机制上:flink 支持三种时间机制事件时间,注入时间,处理时间,同时支持 watermark 机制处理滞后数据。Spark Streaming 只支持处理时间,Structured streaming则支持了事件时间和watermark机制。 容错机制上:二者保证exactly-once的方式不同。spark streaming 通过保存offset和事务的方式;Flink 则使用两阶段提交协议来解决这个问题。

茶什i 2019-12-02 03:19:13 0 浏览量 回答数 0

问题

SSR--Structured Streaming for-R and Machine Learning

福利达人 2019-12-01 21:07:30 419 浏览量 回答数 0

问题

kafkaScala开发问题

祈祷繁星 2019-12-01 21:25:40 3243 浏览量 回答数 1

问题

BUILDING REALTIME DATA PIPELINES WITH KAFKA CONNECT AND SPARK STREAMING

福利达人 2019-12-01 21:23:44 375 浏览量 回答数 0

回答

Spark Streaming和Storm都是将流数据分成一个个小块的批数据(batch)。 处理模型、延迟 Strom:处理的是每次传入的事件。秒内延迟。(最小100ms) Spark Streaming:处理的是某个时间段窗口内的事件流。秒级延迟。(0.5~2s) 容错、数据保证 Strom:每个单独的记录都会被跟踪。恢复时,意味着状态可能被错误滴更新两次。 Spark Streaming:只是在批处理级别进行跟踪。 适用场景 Strom:实时性要求高,毫秒级延迟,不需要有状态计算。 Spark Streaming:秒级延迟,比Strom吞吐量大,需要有状态计算

bigbigtree 2020-03-19 19:23:09 0 浏览量 回答数 0

问题

Flink:找不到合适的方法

flink小助手 2019-12-01 19:24:25 564 浏览量 回答数 1

问题

本机执行flink,遇到TypeDeserializerAdapter notfound

游客3yybxutymqvrm 2020-10-07 07:02:55 2 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站