通过WebUI查看Structured Streaming作业统计信息

简介: 从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streaming Query的统计信息查看。

1. 前言

从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streaming Query的统计信息查看。


2. 功能介绍

2.1 Query列表

我们在现有Spark WebUI上新增了streamingsql Tab,用于展示当前作业中进行中以及完成的Streaming Query。

URL地址:http://${baseUrl}/streamingsql

​

1550556087157-45dfc0b8-2dc8-493f-9a0b-90                            
       
   
​


  • Active Streaming Queries:当前正在运行的query
  • Completed Streaming Queries:已完成的query,包括结束的和失败的query
​


说明

Query Name

查询Name,通过“SET streaming.query.name=${QUERY_NAME}”指定。

Status

当前运行状态,包括RUNNING,FAILED和FINISHED。

Id

Query ID,保存到checkpoint中,多次运行同一个query, id保持不变。

Run ID

Query Run ID,每次重新运行query,都会重新生成一个Run ID。

Submit Time

当前Query提交执行的时间。

Duration

当前Query运行时间。

Avg Input PerSec

最近"spark.sql.streaming.numRecentProgressUpdates"个批次的平均数据输入速率。默认最近100个批次统计信息。

Avg Process PerSec

最近"spark.sql.streaming.numRecentProgressUpdates"个批次的平均数据处理速率。默认最近100个批次统计信息。

Total Input Rows

最近"spark.sql.streaming.numRecentProgressUpdates"个批次的数据条数总和,注意不是Query运行期间的数据条数总和。默认最近100个批次统计信息。

Last Batch ID 

最近一次完成的Batch ID。

Last Progress

最近一次批次的执行信息。

ERROR

如果Query失败,展示摘要错误信息。

​

支持在界面上kill某个query。​

1551152429326-5e964668-6d75-4ab6-95b3-5a                            
       
   
​


kill之后状态变为“FINISHED”:

​

1550557320667-b21764a4-d4b3-490e-ab6f-52                            
       
   
​


2.2 Query统计详情

通过点击Query的RunID,可以查看当前Query的运行统计信息,包括:Input Rate,Process Rate,Input Rows的时序变化,以及每个批次的Duration堆栈图,包括WalCommit,QueryPlanning,GetOffset,GetBatch以及AddBatch。

URL地址:http://${baseUrl}/streamingsql/statistics?id=9d7e9076-f96a-4d19-9f82-460b5af57daa

​

1550557610065-54cdbe56-3a62-49db-b7db-ae                            
       
   
​

​

1550557627428-f15e3335-459b-4fc4-9d13-63                            
       
   
​


我们可以查看任意时间的Batch的各个执行阶段的时间消耗。

​

1550557702386-961acd55-b674-4d65-b98f-bc                            
       
   
​


同样的,这里将只会展示“spark.sql.streaming.numRecentProgressUpdates”个Batch的统计信息。如果需要查看更长周期内的统计信息,可以设置“spark.sql.streaming.numRecentProgressUpdates”为更大值。需要注意的是,这会带来一定的内存开销。

3. 小结

以上简单演示了Structured Streaming Query的管理和统计信息查看功能。当前Spark Streaming SQL处于预览阶段,我们将在UI上集成更多有用的信息,方便大家查看和监控作业的运行状态。

目录
相关文章
|
固态存储 安全 程序员
搭建程序员个人博客网站的服务器配置怎么选?
搭建个人博客网站时,合理选择服务器配置至关重要。推荐1核CPU、2GiB内存、SSD硬盘及2M-10M带宽,适合大多数个人博客。操作系统方面,Linux更为经济高效。建议选择如阿里云等知名云服务商,同时考虑服务器的可扩展性和安全性,确保网站稳定运行与良好体验。
2324 2
|
机器学习/深度学习 算法 Python
LightGBM中的特征选择与重要性评估
LightGBM中的特征选择与重要性评估【2月更文挑战第1天】
3183 0
|
网络协议 Linux 网络安全
干货|不出网上线CS的各种姿势(二)
干货|不出网上线CS的各种姿势
1078 0
|
10月前
|
机器学习/深度学习 数据挖掘 调度
基于Stacking集成学习的数据回归预测(4种基学习器PLS、SVM、决策、KNN,多种元学习器比选)MATLAB代码
🔥 内容介绍 一、引言:回归预测痛点与集成学习破局之道 1.1 回归预测的应用价值与单一模型局限 在工业质检(如食品成分含量预测)、金融量化(如股价波动预测)、环境监测(如 PM2.5 浓度预测)等场景中,回归预测的精度直接决定决策效果。但实际应用中,单一模型往往存在明显短板: 偏最小二乘(PLS)擅长处理高维共线性数据,却难以拟合非线性关系; 支持向量机(SVM)能捕捉非线性特征,却对参数敏感、泛化能力不稳定; 随机森林(RF)抗过拟合能力强,却在高维数据下训练效率低。 这些局限导致单一模型难以适配复杂数据的多元特征,而集成学习通过 “模型组合” 思路,成为突破精度瓶颈的关键。
323 9
|
6月前
|
存储 弹性计算 安全
阿里云99元和199元云服务器怎么买更划算?最新专属组合套餐配置与价格参考
阿里云99元(e实例,2核2G/3M/40G)和199元(u1实例,2核4G/5M/80G)云服务器是个人开发者与中小企业的高性价比之选,活动截止2027年3月31日,新购续费同价。最优选购策略是搭配组合套餐:加99元可解锁弹性数据库(ECS+RDS 198元起)或高效存储(ECS+OSS 217.99元起);建站用户可选域名+ECS+建站礼包(460元起)或域名+ECS+SSL证书(525元起),建议通过选购组合套餐形式,一站式采购,实现省心降本。
|
11月前
|
负载均衡 Java 应用服务中间件
Gateway服务网关
Gateway服务网关是微服务架构的统一入口,具备路由转发、权限控制、限流及负载均衡等核心功能。基于SpringCloud Gateway可实现高性能响应式编程,支持丰富的断言与过滤器工厂,并可通过全局过滤器扩展自定义逻辑,有效解决跨域等问题,是微服务治理的关键组件。
620 0
|
JSON 监控 网络协议
干货分享“对接的 API 总是不稳定,网络分层模型” 看电商 API 故障的本质
本文从 OSI 七层网络模型出发,深入剖析电商 API 不稳定的根本原因,涵盖物理层到应用层的典型故障与解决方案,结合阿里、京东等大厂架构,详解如何构建高稳定性的电商 API 通信体系。
|
12月前
|
关系型数据库 Serverless 分布式数据库
阿里云PolarDB云原生数据库计费类型:Serverless详细说明
阿里云PolarDB Serverless计费模式支持秒级弹性扩缩容,按需使用CPU、内存资源,自动增减只读节点,实现成本优化。以PCU为单位,最小粒度0.5 PCU,按秒计费,结合计算包更省钱。适用于流量波动业务,详情见官网。
446 4
|
算法 NoSQL IDE
C语言性能优化:代码优化技巧与工具。
C语言性能优化:代码优化技巧与工具。
|
编解码 安全 Linux
技术笔记:SELinux详解
技术笔记:SELinux详解
807 0