• 关于

    批处理系统一般会出现什么故障

    的搜索结果
  • 如何设计高可用系统之故障隔离

    作者:大谷 什么是故障 简单来说,当功能或性能不符合预期,就是故障。 故障有两个比较重要的衡量指标: RPO(Recovery Point Objective):主要指的是业务系统能容忍的最大数据丢失量,针对的是数据丢失。对于资金业务来说,一般 RPO 不能大于 0 的。 RTO(Recovery...

    文章 初商 2019-08-06 860浏览量

  • 走近华佗,解析自动化故障处理系统背后的秘密

    集群医生华佗是集群自动化故障监测和处理系统,是平台和运维对接的关键系统。一方面完成飞天其他组件不擅长的OS和硬件的故障自动监测和处理,另一方面推动飞天去及时规避硬件和OS引起的故障,使得故障能够闭环运转,大幅度减少故障处理成本和造成的影响。飞天5K项目期间的规模效应凸显出自动化处理故障的必要性,大...

    文章 yq传送门 2016-12-18 4494浏览量

  • Apache Flink 漫谈系列(02) - 概述

    Apache Flink 的命脉 "命脉" 即生命与血脉,常喻极为重要的事物。系列的首篇,首篇的首段不聊Apache Flink的历史,不聊Apache Flink的架构,不聊Apache Flink的功能特性,我们用一句话聊聊什么是 Apache Flink 的命脉?我的答案是:Apache F...

    文章 金竹 2018-11-08 9283浏览量

  • 带你读《企业数据湖》之三:Lambda架构:一种数据湖实现模式

    第3章Lambda架构:一种数据湖实现模式 在前一章中介绍数据湖的一系列概念时,粗略地提到了Lambda架构。在本章中,我们将介绍Lambda架构的一些细节,并解释该架构模式在本书的数据湖实现方案中的重要意义。本章虽然会尽量涵盖Lambda架构范式的全部细节,但是并不会给出任何技术实现。这是为了保...

    文章 云迹九州 2019-10-20 2008浏览量

  • [转载] Spark Streaming 设计原理

    本文转自:https://zhuanlan.zhihu.com/p/47838090. 本站转载已经过作者授权。如需转载,请和原作者联系。 最近两年流式计算又开始逐渐火了起来,说到流式计算主要分两种:continuous-based 和 micro-batch。最近在使用基于 micro-ba...

    文章 开源大数据EMR 2018-11-30 1533浏览量

  • 负载均衡SLB高可用的四个层次

    负载均衡支持对多台ECS进行流量分发,以提升应用系统的服务能力,长期以来都是关键业务系统的入口。淘宝,天猫,阿里云等无不依赖负载均衡产品,双11的流量洪峰也依赖负载均衡的调度和处理能力。 负载均衡SLB简单介绍 下图是负载均衡的简单示意图,用户的访问请求经过SLB实例的一个监听(端口),再被转...

    文章 我是李泉 2017-09-02 8945浏览量

  • 阿里如何做好双11技术保障?大队长霜波分享4点经验

    每年双11都是一个比较艰难的项目。我现在的职位是阿里集团的技术风险负责人,所谓技术风险就是稳定性的保障是我这边负责的。对阿里巴巴来说,对整个经济体来说,每年技术风险最大的一次就是双11。 为什么说双11是每年技术保障稳定性最困难的一次?每年双11我们都会向大家分享交易额是多少,连续12年的数字大...

    文章 开发者小助手 2021-01-06 224浏览量

  • 阿里如何做好双11技术保障?大队长霜波分享4点经验

    作者 | 霜波 左延鹊来源 | 阿里技术公众号每年双11都是一个比较艰难的项目。我现在的职位是阿里集团的技术风险负责人,所谓技术风险就是稳定性的保障是我这边负责的。对阿里巴巴来说,对整个经济体来说,每年技术风险最大的一次就是双11。 为什么说双11是每年技术保障稳定性最困难的一次?每年双11我们都...

    文章 开发者小助手_LS 2021-01-06 2320浏览量

  • 《Storm企业级应用:实战、运维和调优》——1.1 什么是实时流计算

    本节书摘来自华章计算机《Storm企业级应用:实战、运维和调优》一书中的第1章,第1.1节,作者:马延辉 陈书美 雷葆华著, 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.1 什么是实时流计算 所谓实时流计算,就是近几年由于数据得到广泛应用之后,在数据持久性建模不满足现状的情况下,急...

    文章 华章计算机 2017-07-03 2195浏览量

  • 支付系统如何进行分布式改造

    原创声明:本文系作者原创,谢绝个人、媒体、公众号或网站未经授权转载,违者追究其法律责任。 传统支付系统面临的挑战 随着近年来移动支付的兴起 ,如条码支付、声波支付、NFC 近场支付等,随之还产生了聚合支付把多种支付方式聚合在一起,方便人们的使用,移动支付已经渗透到我们生活的每一个角落,不带钱包出...

    文章 初商 2019-08-03 602浏览量

  • Flink 必知必会经典课程8:Flink Connector 详解

    作者|任庆盛关于Flink Connector的详解,本文将通过四部分展开介绍:连接器Source APISink APICollector的未来发展一. 连接器Connecter的概述-Flink与外部系统的桥梁1. 连接器 ConnectorFlink的数据重要的来源和去向连接器是Flink与...

    文章 阿里云实时计算Flink 2021-04-06 357浏览量

  • 连载:阿里巴巴大数据实践—实时技术

    前言:-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入) -阿里云数据中台官网 https://dp.alibaba.com/index 来源:数智化转型俱乐部 数据价值是具有时效性的,在一条数据产生的时候,如果不能及时处...

    文章 数据中台君 2020-08-19 1417浏览量

  • Monitoring Apache Spark 面临新挑战

    大数据处理已经进入了新时代,数据的复杂度越来越高,人们对数据实时处理的要求也越来越高。新时代带来了很多的新改变,但是最大程度创造数据价值是大数据时代不变的宗旨。随着实时数据处理的用例越来越多,实时数据处理框架也丰富起来,例如, Apache Spark、Storm、 Heron、 Flink、Ap...

    文章 沉默术士 2017-07-03 701浏览量

  • 盒子科技刘恒:聚合支付系统演讲

    大家好,我是来自盒子科技研发部支付线刘恒,目前主要是负责公司的一个聚合支付系统的研发工作。今天主要是讲一下我们聚合支付系统从2016年年初到现在技术演变。 首先我会从那三个方向,第一是聚合支付的介绍,聚合支付在我们公司它承担一个什么样的地位,第二是在我们公司有什么样的使用场景。第三是从公司开始做...

    文章 技术小能手 2018-05-25 1607浏览量

  • 带你读《智能制造之卓越设备管理与运维实践》之三:运维资源信息化管理

    点击查看第一章点击查看第二章 第3章 运维资源信息化管理要实现高效运维,首先要实现资源的高效管理。借助信息化手段,可以将运维资源中的技术、员工、备件、数据进行有效整合,为高效运维奠定良好的基础。本章的结构如图3-1所示。 3.1 管理需求 基于精益管理思想,工厂在生产管理过程中,会通过各种方式来...

    文章 温柔的养猫人 2019-11-08 727浏览量

  • 首次揭秘!​春晚活动下快手实时链路保障实践

    摘要:本文由快手开发工程师刘建刚分享,主要介绍春晚活动下快手实时链路保障实践。内容主要包含以下四部分: 快手 Flink 简介 春晚实时保障方案 春晚实时大屏 未来规划 Tips:点击「阅读原文」链接可查看作者原版 PPT 及分享视频~ 一、快手 Flink 简介 我们首先来看一下快手的实时...

    文章 阿里云实时计算Flink 2020-06-29 319浏览量

  • Monitoring Apache Spark 面临新挑战

    文章讲的是Monitoring Apache Spark 面临新挑战,大数据处理已经进入了新时代,数据的复杂度越来越高,人们对数据实时处理的要求也越来越高。新时代带来了很多的新改变,但是最大程度创造数据价值是大数据时代不变的宗旨。随着实时数据处理的用例越来越多,实时数据处理框架也丰富起来,例如, ...

    文章 青衫无名 2017-09-01 1122浏览量

  • 当数据智能遇上工业制造

    云栖TechDay第32期,阿里云数据业务总架构师周卫天带来主题是“当数据智能遇上工业制造”的演讲。本文主要从DT时代的开启开始谈起,接着分析了智能工业智能化、融合化和人性化的三大趋势,然后着重分享了阿里工业在智能化、融合化和人性化的实践,包括协鑫光伏实践、货运列车智能故障检测和飞机发动机智能健康...

    文章 云栖小秘书 2017-04-17 4007浏览量

  • 如何做好一名稳定性SRE--业务团队系统稳定性的思与行

    前言 2013年,当我第一次接触稳定性的时候,我是有些懵的,当时完全不知道稳定性是什么,也不清楚要做什么。在接下来的8年里,我先后在菜鸟、天猫、盒马从事中间件、业务系统、架构等方面的工作,期间一直穿插着负责稳定性和大促的保障工作。我的心态,大致经历过以下几个阶段: low:完全不懂,觉得稳定性就...

    文章 茶什i 2020-10-26 2254浏览量

  • 有货:六层混合云架构打造中国最潮生态圈

    直播视频: (点击图片查看视频) 幻灯片下载地址:https://oss.aliyuncs.com/yqfiles/7ded2aa3052bb9226fd2af0a08873750.pdf 3月18日云栖社区在线实时分享顺利结束,本次由有货CTO李建分享了有货为了应对流量的爆发式增长,对...

    文章 场景研读 2016-03-31 13827浏览量

  • 当数据智能遇上工业制造

    以下是精彩内容整理:DT时代用DT实现DT用DT来实现DT比较有趣,第一个DT代表数据的技术,第二个DT代表数字化的转型。当数据智能碰到工业制造的时候,根据我自己的一些观察,我觉得制造于我还是个初学者,但是在数据方面,我应该是个大学老师,两者一结合我就是以一个非常有活力有创新的高中生或大学生来谈数...

    文章 杨琬祯 2019-09-18 1038浏览量

  • 《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述

    2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架,可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理。Apache Hadoop 集群可以使用故障率一般较高的低价通用硬件来构建。Hadoop 的设计能够在没有用户干预的情况下优雅地处理这些故障。此外,H...

    文章 华章计算机 2017-09-01 1387浏览量

  • Flink 执行引擎:流批一体的融合之路

    本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括: 1、背景 2、流批一体的分层架构 3、流批一体DataStream 4、流批一体DAG Scheduler 5、流批一体的Shuffle架构 6、流...

    文章 阿里云实时计算Flink 2021-03-25 935浏览量

  • 阿里云栖开发者沙龙PHP技术专场-聊聊服务稳定性保障这些事

    摘要:本文主要带大家了解服务稳定性的重要性和相关策略。策略大概分两部分,第一方面从架构层面介绍保障服务稳定性的常见策略(限流,降级,隔离,超时,重试和集群)。第二个方面是从流程方面(code review, 压测,灰度和监控)讲解怎么去保证稳定性。 演讲嘉宾简介:信海龙(花名沧龙),十余年的互联网...

    文章 PHP小能手 2019-04-25 2246浏览量

  • 海量用户通信业务平台的设计和数据处理实践【大数据100分】

    以下为分享实景全文: 我将我的时间分为三个Session: 1、 神州泰岳积极参与大数据时代的业务拓展 2、 海量用户通信业务平台的设计实践 3、 对于数据运营的思考 一、神州泰岳近几年在大数据领域做了不少投资和业务布局。归纳起来主要集中在四个层面: 1、入口:“智慧线” 2、基础设施:“IaaS...

    文章 小旋风柴进 2017-05-02 1073浏览量

  • 基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系

    前言   就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据,成为了行业的数据研发专家。当然还有很多小伙伴,热衷于工具系统开发,成为了数据技术专家。那么我们回过头来考虑,什么是大数据,什么又是数据仓库,什么又是数据技术。大数据其实是个...

    文章 隐林 2019-04-28 1850浏览量

  • 从Storm和Spark 学习流式实时分布式计算的设计

    0. 背景 最近我在做流式实时分布式计算系统的架构设计,而正好又要参加CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark...

    文章 anzhsoft 2014-08-02 2907浏览量

  • 如何构建批流一体数据融合平台的一致性语义保证?

    作者:陈肃整理:周奇,Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数...

    文章 阿里云实时计算Flink 2019-09-29 2652浏览量

  • win2003与win2008启动原理及双启动的原理

    win2003与win2008启动原理及双启动的原理 最近经常有学生询问Win2008的启动相关问题以及早期Windows版本与vista或win2008并存时的启动问题,现在可以说正是处于操作系统新旧版本的过滤时期,这类问题会在一定时间内越来越多,所以本人就写了这篇文章来谈论一下新版操作系统的启...

    文章 技术小胖子 2017-11-09 1086浏览量

  • HDFS追本溯源:体系架构详解

          Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。      Hadoop框架中最核心...

    文章 anzhsoft 2014-04-11 2008浏览量

1 2 3 4 ... 9 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT