• 关于

    spark报警监控

    的搜索结果
  • X-Pack Spark 监控指标详解

    概述 本文主要介绍X-Pack Spark集群监控指标的查看方法。Spark集群对接了Ganglia和云监控。下面分别介绍两者的使用方法。 Ganglia Ganglia是一个分布式监控系统。 Ganglia 入口 打开Spark集群依次进入:数据库连接>UI访问>详细监控UI>...

    文章 云hbase+spark 2019-09-04 824浏览量

  • Apache Spark 3.0对Prometheus监控的原生支持

    一、用Prometheus监控Apache Spark 在使用Apache Spark去做ETL,去做数据分析和处理的过程中,我们肯定都会涉及到监控spark程序这么一项工作。一般来说,有三种方式去做程序的监控。第一个就是使用Web UI。第二块主要是日志。第三种是Metrics。这三个信息,最大...

    文章 KB小秘书 2020-07-21 460浏览量

  • Monitoring Apache Spark 面临新挑战

    大数据处理已经进入了新时代,数据的复杂度越来越高,人们对数据实时处理的要求也越来越高。新时代带来了很多的新改变,但是最大程度创造数据价值是大数据时代不变的宗旨。随着实时数据处理的用例越来越多,实时数据处理框架也丰富起来,例如, Apache Spark、Storm、 Heron、 Flink、Ap...

    文章 沉默术士 2017-07-03 701浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • Monitoring Apache Spark 面临新挑战

    文章讲的是Monitoring Apache Spark 面临新挑战,大数据处理已经进入了新时代,数据的复杂度越来越高,人们对数据实时处理的要求也越来越高。新时代带来了很多的新改变,但是最大程度创造数据价值是大数据时代不变的宗旨。随着实时数据处理的用例越来越多,实时数据处理框架也丰富起来,例如, ...

    文章 青衫无名 2017-09-01 1122浏览量

  • 开源大数据周刊-第16期

    阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop、shell类型的作业 1.4.1版本(正在研发) 完善失败报警 完善定时任务,增加小时、分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪...

    文章 开源大数据EMR 2016-08-01 4144浏览量

  • SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题

    就在本周六、日 SPARK + AI SUMMIT 2020 中文精华版线上峰会,在北美结束第一时间“闪电般快速”为诸位奉上一场技术盛筵。本次活动由阿里云开发者社区牵头,联合十四位来自北京、上海、杭州、硅谷的PMC和意见领袖,一一还原英文现场的经典分享。 除 Databricks、Facebook...

    文章 阿里云E-MapReduce团队 2020-06-28 785浏览量

  • 协同消费延迟报警

    协同消费库(ConsumerLibrary) 是并行对 LogHub 中日志进行消费的高级模式,提供了消费组(ConsumerGroup)概念对实时消费端进行抽象与管理。Spark Streaming、Storm、即将推出的 Flink SDK 都是基于这种模式的包装。 注意:有关 Consume...

    文章 北洲 2017-06-30 1659浏览量

  • 开源大数据周刊-第13期

    阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.4版本 (已经发布) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加numpy库 支持Presto、phoenix、jstorm、oozie 支持Hadoop跟Hb...

    文章 开源大数据EMR 2016-07-11 3743浏览量

  • 2019年Apache Spark技术交流社区原创文章回顾

    整理了这一年分享过的来自诸多专家的实践经验,希望2020年我们仍然能够互相支持,壮大Spark社区。 感谢持续分享输出优质内容的阿里云EMR团队的王道远,余根茂,彭搏,郑锴,夏立,林武康,李呈祥,吴威,殳鑫鑫,宋军,关文选,孙大鹏,辛现银,江宇,陈强,陈龙,陶克路,姚舜扬,周克勇,苏昆辉;阿里云T...

    文章 开源大数据EMR 2020-01-09 3699浏览量

  • 2019年Apache Spark技术交流社区原创文章回顾

    整理了这一年分享过的来自诸多专家的实践经验,希望2020年我们仍然能够互相支持,壮大Spark社区。 福利:转发本文到朋友圈,集赞30个截图发送至小编(小编微信见文末),送Spark社区定制毛线帽一顶,限量10顶先到先得。 感谢持续分享输出优质内容的阿里云EMR团队的王道远,余根茂,彭搏,郑锴,夏...

    文章 阿里云E-MapReduce团队 2020-01-09 480浏览量

  • 基于 Spark 和 TensorFlow 的机器学习实践

    本场视频链接:https://developer.aliyun.com/live/1547?spm=a2c6h.12873581.0.0.71671566iIzpz5&groupCode=apachespark 本场PPT资料:https://www.slidestalk.com/AliS...

    文章 开源大数据EMR 2019-10-31 2678浏览量

  • 云上Hadoop之挑战

    引言 在云上云行Hadoop,很多人担心性能。因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。如果单独把10台物理机虚拟化跑Hadoop,这肯定是有部分性能的开销的。但是如果在公共云上,情况就不是这样了。因为公共云虚拟化的开销最终是由平台方来承担的,...

    文章 hbase小能手 2018-11-05 676浏览量

  • 使用阿里云InfluxDB®和Spark Streaming实时处理时序数据

    本文重点介绍怎样利用阿里云InfluxDB®和spark structured streaming来实时计算、存储和可视化数据。下面将介绍如何购买和初始化阿里云InfluxDB®,扩展spark foreach writer,以及设计阿里云InfluxDB®数据库时需要注意的事项。在大数据处理中,...

    文章 dengzhi.ldz 2019-11-27 4893浏览量

  • 数仓大法好!跨境电商 Shopee 的实时数仓之路

    作者:黄良辉 本文讲述 Flink 在 Shopee 新加坡数据组(Shopee Singapore Data Team)的应用实践,主要内容包括: 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 实时任务监控 Streaming SQL 平台化 St...

    文章 阿里云实时计算Flink 2020-06-17 1247浏览量

  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    摘要:本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。提纲如下: 爱奇艺 Flink 服务现状 Flink 改进 实时计算平台 Flink 业务案例 挑...

    文章 阿里云实时计算Flink 2020-03-05 1654浏览量

  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    摘要:本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。提纲如下: 爱奇艺 Flink 服务现状 Flink 改进 实时计算平台 Flink 业务案例 挑...

    文章 阿里云实时计算Flink 2020-03-05 1431浏览量

  • 相比Spark等传统模式,Flink 和 K8S是怎样的结合

    Apache Flink 是近年来越来越流行的一款开源大数据计算引擎,它同时支持了批处理和流处理。大数据起源自批处理,Spark最初的定位就是改进Hadoop, 更快速的进行批处理。而Storm擅长的则是进行无状态的流计算(在无状态的流计算领域, 它的延迟是最小的), 进而出现的Flink则是St...

    文章 云管家chinaygj 2019-12-24 837浏览量

  • 基础设施助力双11(六):看网络如何“自愈”

    概述 每年的双十一对阿里的网络都是一次严峻的考验。在双十一当天,阿里的网络必须承载来自于世界各地数以亿计的用户所带来的巨大流量,任何故障的影响力都会被成倍放大。尽管大家做了很多努力尽量去避免故障的发生,但是故障仍然还是会发生,尤如阿里现今的大体量。这个时候,快速可靠的的故障恢复机制就尤为关键了。随...

    文章 初商 2019-07-31 713浏览量

  • 通过Spark SQL实时归档SLS数据

    我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。本文主要分成三部分: 流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS 1. 流式计算和SQL 数据的价值随着时...

    文章 鱼跟猫 2019-06-17 1843浏览量

  • 云上运行 Hadoop 会面临哪些挑战

    在云上运行Hadoop,很多人担心性能。因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。确实,在云上运行Hadoop对平台方还是面临一些挑战的,下面主要讲述这些挑战及平台方怎么解决的。 作者:阿里封神来源:云栖博客|2016-06-02 14:15 ...

    文章 沉默术士 2017-07-03 1061浏览量

  • 如何快速实现一个基于Nginx的网站监控场景----需求篇

    一切从应用服务监控说起 小明所在的一家小型互联网创业公司一直将应用运行在国内某A云上。该应用采用通用的分布式Nginx+App架构为用户提供电商数据统计的webservice 服务。应用运行至今除偶发各类Bug, 性能问题以外,情况还算良好。   最近,小明的老板给小明布置了一个任务,希望...

    文章 中间件小哥 2017-03-14 12610浏览量

  • ROLAP与大数据

    OLAP 大数据相关的场景比较多,常见的有:ETL(数据提取、转换、加载)、实时流式(监控报警、风控等)、机器学习(推荐引擎、用户画像等)、非结构化分析(视频、图片、语音、文本等)、海量大数据在线存储(HBase)、搜索及我们本文讲的OLAP。 其中OLAP(在线联机分析)在很多企业占住分析类的大...

    文章 封神 2016-12-01 5788浏览量

  • 从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

    作者:陈越晨 整理:刘河 本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战,以及平台构建化流程。主要内容如下: 爱奇艺在实时计算方面的的演化和遇到的一些挑战 爱奇艺使用Flink的User Case 爱奇艺Flin...

    文章 apache_flink 2019-06-20 2655浏览量

  • MaxCompute作业日常监控与运维实践

    监控项目作业超时运行案例一专用于业务团队取数的project_A ,基本都是手动跑SQL查询,每个作业执行基本不会很长时间,由于目前使用的是包年包月计算资源,为了防止单个作业长期占用资源,需要对作业进行超时监控。假设对于proj...

    文章 海清 2021-03-18 532浏览量

  • 开源大数据周刊-第11期

    阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.3版本 (已经发布) 商业化发布,用户无需申请即可使用E-MapReduce服务 1.3.4版本 (正在研发) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加num...

    文章 开源大数据EMR 2016-06-27 1801浏览量

  • 开源大数据周刊-第18期

    阿里云E-Mapreduce动态 E-Mapreduce团队 1.4.1版本(已经发布) 完善失败报警 完善定时任务,增加小时、分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive、spark) 资讯 E-Map...

    文章 开源大数据EMR 2016-08-15 4409浏览量

  • Ambari 架构(一)Ambari 介绍

    Ambari 是 Apache Software Foundation 的一个顶级开源项目,是一个集中部署、管理、监控 Hadoop 分布式集群的工具。但是这里的 Hadoop 是一个广义概念,并不仅仅指的是 Hadoop(HDFS、MapReduce),而是指 Hadoop 生态圈(包括 Spa...

    文章 青衫无名 2017-05-18 2399浏览量

  • 实时计算在贝壳的实践

    摘要:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 业务规模及...

    文章 阿里云实时计算Flink 2020-01-13 955浏览量

  • 实时计算在贝壳的实践

    摘要:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 业务规模及...

    文章 阿里云实时计算Flink 2020-01-16 1679浏览量

  • 阿里云 MaxCompute 2021-3 月刊

    MaxCompute 3月新发布功能1、MaxCompute管家作业诊断功能发布  查看文档 >>作业诊断功能是基于作业运行时产生的各个阶段信息,与历史运行数据对比分析总结问题并给出解决方案,提升作业运行效率实现运维自服务能力。适用客户适用基于MaxCom...

    文章 晋恒 2021-04-01 665浏览量

1 2 3 4 ... 7 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT