备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下如何能查看spark struct streaming内存使用情况呢

请问一下如何能查看spark struct streaming内存使用情况呢

展开
收起
社区小助手 2019-01-30 14:52:07 2708 0
1 条回答
写回答
取消 提交回答
  • 社区小助手
    社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。

    event log里的peak execution memory可以参考下。

    2019-07-17 23:27:20
    赞同 展开评论 打赏
问答分类：
分布式计算 流计算 Spark 实时计算 Flink版
问答标签：
apache spark streaming apache spark内存 内存spark apache spark struct
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
基于yarn，spark任务可以配置动态资源内存和核数，flink呢？
355
1
0
如何计算spark中的数据集，在加入内存中的大小
579
0
0
流式计算 Spark Streaming 如何应treaming 如何应用？
776
1
0
请教个问题，Spark on MaxCompute是基于内存的吗？会不会比直接用odps sql写要
721
1
0
Flink和Spark Streaming相比有哪些不同？
1060
1
0
当把仅有确定性计算的 Spark Streaming 和 Flink 进行对比时二者的不同点有哪些？
799
1
0
如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是什么？
782
1
0
Spark Streaming 原理是什么？
1724
1
0
Spark streaming / Flink 通过通道服务的完整架构是什么样的？
641
1
0
Spark streaming / Flink 通过通道服务实现了什么？
639
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

  • flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？
    257
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1524
  • 哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？
    1252
  • Flink-CDC 文档网站地址是什么？
    18073
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    591
  • 使用Flink CDC，生产环境要申请的服务器如何评估
    675
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9626
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
    2136
  • flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？
    481
  • flink cdc，读取datetime类型，全都变成了时间戳，怎么解决？下游是可以解决。但是我想知
    664
    • 展开全部
  • Flink+Paimon+Hologres 构建实时湖仓数据分析
    71416
  • 小红书如何实现高效推荐？解密背后的大数据计算平台架构
    7791
  • 基于阿里云 Flink+Hologres 搭建实时数仓
    2093
  • 阿里云实时计算Flink的产品化思考与实践【下】
    110672
  • SmartNews 基于 Flink 的 Iceberg 实时数据湖实践
    1310
  • 流式湖仓增强，Hologres + Flink 构建企业级实时数仓
    120783
  • Flink CDC产品常见问题之look up hint 没有生效如何解决
    801
  • Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
    100203
  • 官宣｜Apache Paimon 毕业成为顶级项目，数据湖步入实时新篇章！
    699
  • 使用 Paimon + StarRocks 极速批流一体湖仓分析
    79854
    • 展开全部

    相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
    283
    33
    去学习
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
    248
    28
    去学习
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
    92
    25
    去学习
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
    125
    32
    去学习
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
    180
    21
    去学习
  • 大数据实时计算框架Spark快速入门
    778
    93
    去学习

    • 相关文章

  • [尚硅谷 flink] 基于时间的合流——双流联结
  • 微平均在云计算中的实践
  • [尚硅谷flink学习笔记] 实战案例TopN 问题
  • [尚硅谷 flink] 状态管理 笔记
  • [尚硅谷flink] 检查点笔记

    • 相关电子书

    更多
    • Apache Spark: Cloud and On-Prem 立即下载
    Hybrid Cloud and Apache Spark 立即下载
    云服务器ECS内存增强型实例re6全新发布 立即下载