• 关于

    spark streaming

    的搜索结果

回答

117)at org.apache.spark.sql.execution.streaming.StreamExecution.org$apache$spark$sql$execution$streaming$StreamExecution$runStream(...,我只是试图使用spark streaming将kafka主题的数据写入HDFS...
社区小助手 2019-12-01 19:29:59 1407 浏览量 回答数 2

回答

有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效
社区小助手 2019-12-01 19:40:25 373 浏览量 回答数 1

回答

入湖引擎使用了阿里云 EMR 团队自研的 Spark Streaming SQL 以及 EMR Spark 引擎&xff0c;Streaming SQL 基于 Spark Structured Streaming&xff0c;提供了相对完善的 Streaming SQL 语法&xff0c;极大简化了实时计算的开发...
Lee_tianbai 2021-01-07 16:15:44 0 浏览量 回答数 0

回答

import org.apache.spark.streaming._ import org.apache.spark.streaming.kafka._ import org.apache.spark.SparkConf import java.util.Properties import org.apache.spark.streaming.kafka.KafkaUtils import ...
祈祷繁星 2019-12-01 21:25:40 3243 浏览量 回答数 1

回答

Miklos Christine分享了题为《Paddling Up the Stream:Lessons Learned using Apache Spark Streaming》&xff0c;就Databricks介绍&xff0c;决策架构优化&xff0c;Spark Streaming vs Structure Streaming等方面的内容做了...
福利达人 2019-12-01 21:23:20 402 浏览量 回答数 0

回答

我建立了一个带有生产者和消费者的...Add dependencies and load modulesimport osos.environ['PYSPARK_SUBMIT_ARGS']='-conf spark.ui.port=4040-packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.0,...
社区小助手 2019-12-01 19:25:44 646 浏览量 回答数 1

回答

我正在使用Spark Structured Streaming来读取Kafka主题。没有任何分区,Spark Structired Streaming消费者可以读取数据。但是当我向主题添加分区时,客户端仅显示来自最后一个分区的消息。即如果主题中有4个分区,...
社区小助手 2019-12-01 19:24:46 730 浏览量 回答数 1

回答

Neelesh Shastry,Architect Shaun Klopfenstein,CTO分享了题为《Elastic Streaming Spark Streaming&43;Dynamic Provisioning&43;Dynamic Allocation》&xff0c;就商业需求是什么&xff0c;Marketo使用案例&xff0c;Spark&...
福利达人 2019-12-01 21:23:27 517 浏览量 回答数 0

回答

Jim Dowling在Spark Summit 2017上做了主题为《Structured Spark Streaming-as-a-Service with Hopsworks》的演讲&xff0c;就spark-streaming的自动服务等进行了深入的分享。...a2c4e.11154804.0.0.539d6a796Xu99r
福利达人 2019-12-01 21:07:35 414 浏览量 回答数 0

回答

Ewen Cheslack-Postava Confluent分享了题为《BUILDING REALTIME DATA PIPELINES WITH KAFKA CONNECT AND SPARK STREAMING》&xff0c;就Kafka介绍&xff0c;Spark Streaming&Kafka等方面的内容做了深入的分析。...
福利达人 2019-12-01 21:23:44 375 浏览量 回答数 0

回答

Spark Streaming SQL 在 Spark Structured Streaming 之上提供了 SQL 能力&xff0c;降低了实时业务开发的门槛&xff0c;使得离线业务实时化更简单方便。Spark Streaming SQL 支持的语法如下&xff1a;下面以实时消费 SLS 为...
Lee_tianbai 2021-01-07 16:30:36 0 浏览量 回答数 0

回答

KTH Royal Institute of Technology,Stockholm Senior Researcher,SICS CEO,Logical Clocks AB分享了题为《Spark Streaming-as-aService with Kafka and YARN》&xff0c;就Hadoop’s Evolution介绍&xff0c;YARN Spark ...
福利达人 2019-12-01 21:24:46 432 浏览量 回答数 0

回答

[WARNING]The POM for org.apache.spark:spark-streaming_2.112.2.0.cloudera2 is missing,no dependency information available[WARNING]The POM for org.apache.spark:spark-streaming-kafka-0-10_2.112.2.0....
因为相信,所以看见。 2020-05-23 11:54:14 6 浏览量 回答数 0

回答

主要通过以下两种方式进行1、struct Streaming可以直接在driver端通过接口,获取监控信息eg:query.recentProgress/an array of the most recent progress updates for this query2、spark streaming(DStream)除了UI...
hbase小助手 2019-12-02 01:43:21 0 浏览量 回答数 0

回答

Presented:J.White Bear在Spark Summit 2017上做了主题为《An Online Spark Pipeline Semi Supervised Learning and Online Retraining with Spark Streaming》的演讲&xff0c;就为什么我们需要半监督学习&xff0c;遇到...
福利达人 2019-12-01 20:54:22 516 浏览量 回答数 0

回答

Presented:J.White Bear在Spark Summit 2017上做了主题为《An Online Spark Pipeline Semi Supervised Learning and Online Retraining with Spark Streaming》的演讲&xff0c;就为什么我们需要半监督学习&xff0c;遇到...
福利达人 2019-12-01 21:12:40 444 浏览量 回答数 0

回答

Error reading array of size 881783,only 41 bytes available at org.apache.spark.sql.execution.streaming.StreamExecution.org$apache$spark$sql$execution$streaming$StreamExecution runStream...
社区小助手 2019-12-01 19:23:55 778 浏览量 回答数 1

回答

Spark Streaming和Storm都是将流数据分成一个个小块的批数据&xff08;batch&xff09;处理模型、延迟 Strom&xff1a;处理的是每次传入的事件。秒内延迟。xff08;最小100ms&xff09;Spark Streaming&xff1a;处理的是某个时间段...
bigbigtree 2020-03-19 19:23:09 0 浏览量 回答数 0

回答

Spark Streaming Kafka Stream批处理执行
社区小助手 2019-12-01 19:35:28 379 浏览量 回答数 1

回答

惠州开诊断证明-rxq(微)电〗【186-6605-3854〗在sbt项目中引入reactive-influx: libraryDependencies&43;43;61;Seq(&34;...34;reactiveinflux-spark_2.11&34;34;1.4.0.10.0.5.1&34;...其中阿里云InfluxDB®内网和...import ...
游客5k2abgdj3m2ti 2019-12-01 22:09:10 3 浏览量 回答数 0

回答

spark streaming接loghub数据的输出格式
封神 2019-12-01 19:46:58 2641 浏览量 回答数 1

回答

Spark Streaming SQL是什么&xff1f;
Lee_tianbai 2021-01-07 16:29:39 1 浏览量 回答数 1

回答

Spark Streaming 的task运行依赖driver 和 executor和worker&xff0c;当然driver和excutor还依赖于集群管理器Standalone或者yarn等。而Flink运行时主要是JobManager、TaskManage和TaskSlot。另外一个最核心的区别是&...
茶什i 2019-12-02 03:19:13 0 浏览量 回答数 0

回答

第7章 详细介绍如何通过Scrapy、Kafka、MongoDB、Spark、Spark Streaming、Elastic Search等组件对新闻进行抓取、分析、热点新闻聚类等挖掘工作。第8章 详细介绍了协同过滤概念和模型&xff0c;讲解了如何在Spark中...
沉默术士 2019-12-01 22:07:51 1453 浏览量 回答数 1

回答

Spark Streaming 作业运行一段时间后无故结束
开源大数据EMR 2019-12-01 19:39:14 338 浏览量 回答数 1

回答

Spark Streaming 作业运行一段时间后无故结束
阿里云E-MapReduce团队 2019-12-01 19:39:13 361 浏览量 回答数 1

回答

spark 2.x版本后,推荐 structured streaming
hbase小助手 2019-12-01 19:23:27 896 浏览量 回答数 1

回答

测试LogService,spark Streaming 读取不到数据?
封神 2019-12-01 19:46:56 1462 浏览量 回答数 1

回答

Spark Streaming和Storm有何区别&xff1f;
茶什i 2019-12-01 21:52:23 88 浏览量 回答数 3

回答

Flink相比Spark Streaming有什么区别&xff1f;
茶什i 2019-12-01 22:02:04 161 浏览量 回答数 3

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化