• Apache Flink 进阶(一):Runtime 核心机制剖析

    另一方面,如图如果错误是由于读取上游结果出现问题,如网络连接中断、缓存上游输出数据的 TaskExecutor 异常退出等,那么还需要重启上游 Region 来重新产生相应的数据。在这种情况下,如果上游 Region 输出的数据...
    文章 2019-09-09 1900浏览量
  • Apache Flink 进阶(一):Runtime 核心机制剖析

    另一方面,如图如果错误是由于读取上游结果出现问题,如网络连接中断、缓存上游输出数据的 TaskExecutor 异常退出等,那么还需要重启上游 Region 来重新产生相应的数据。在这种情况下,如果上游 Region 输出的数据...
    文章 2019-09-11 25860浏览量
  • 一名普通大学生的建站历程

    当我按照帮助里的内容一步步来搭建环境时,第一个安装apache就出现问题,我核实了帮助内容上的每一步之后远程连接的控制台还是会报错:“Error:Unable to find a match:httpd mod_auth_mysql”,而第一次使用就...
    文章 2021-12-09 160浏览量
  • Hulu大规模容器调度系统Capos

    首先说明下简单作业运行流程,这里的简单作业,提交的作业通过json描述,可以包含多个Container,然后scheduler收到请求之后,命中某个offer,向Mesos发送offer启动请求,在请求中同时夹带着作业json信息,把作业...
    文章 2018-07-22 1716浏览量
  • 详解 Flink 指标、监控与告警

    线上的作业问题,自动切换到备用的作业……当然目前能做到的这些只能解决一部分问题,一些代码问题带来的故障还是需要人为介入修复 bug。Q&A Q1:构建一整套指标系统,指标库如何维护?需要去对程序进行代码...
    文章 2020-07-23 3463浏览量
  • 历时1年,上百万行代码!首次揭秘手淘全链路性能优化...

    性能优化是老生常谈的问题,说简单也不简单,需要一个系统化的视角来分析和解决。找问题,不仅仅是要看到某段区间慢了,更要去深入分析,为什么慢了。trace 上一段方法执行时间过长,有可能是本身逻辑复杂,或是有 ...
    文章 2019-07-24 2638浏览量
  • Flink on K8s 在京东的持续优化实践

    相比物理机或 YARN 环境,Flink on K8s 出现问题以后的排查相对要更困难,因为这里面还涉及到 K8s 许多组件,比如容器网络、DNS 解析、K8s 调度等各方面的问题,都存在一定的门槛。为了解决这个问题,我们开发了智能...
    文章 2022-04-01 745浏览量
  • 阿里云大数据计算平台的自动化、精细化运维之路

    这里面主要难点还是在于硬件信息收集和分析,怎么判断这块磁盘坏了,怎么判断 CPU 是有问题的。这其中需要长期的数据和经验积累。这里我可以简单介绍一下我们现在采集的信息源: 硬盘主要依赖于 kernel log/smartctl...
    文章 2017-02-28 10528浏览量
  • 阿里大规模计算平台的自动化、精细化运维之路

    这里面主要难点还是在于硬件信息收集和分析,怎么判断这块磁盘坏了,怎么判断 CPU 是有问题的。这其中需要长期的数据和经验积累。这里我可以简单介绍一下我们现在采集的信息源: 硬盘主要依赖于 kernel log/smartctl...
    文章 2017-03-23 6097浏览量
  • 快手大数据架构演进实录,真的不一般

    一旦单条物理链路出现问题&xff0c;可以随时切换到另外一条上&xff0c;保障了活动期间实时数据的产出的高稳定性。离线场景下&xff0c;主要面临的问题是日志服务可能会被降级&xff0c;会导致生产 ODS 层数据延迟&xff0c;进而...
    文章 2022-01-14 155浏览量
  • http协议和web处理请求相关

    而是创建一个子进程,交给子进程去响应(比如主进程只完成步骤1接受请求,子进程完成剩下步骤),这样,当同时进来多个请求的时候,只要为其都创建个子进程便可同时响应,解决了因等待太久而超时断开的问题。...
    文章 2017-11-08 1043浏览量
  • Redis专题(1):构建知识图谱

    问题:缓存穿透是指一些非正常用户(黑客)故意去请求缓存中不存在的数据,导致所有的请求都集中到到数据库上,从而导致数据库连接异常。解决: 利用互斥锁。缓存失效的时候,不能直接访问数据库,而是要先获取到锁,...
    文章 2019-06-12 3885浏览量
  • Flink SQL CDC 上线!我们总结了 13 条生产实践经验

    4.Flink 作业在扫描 MySQL 全量数据时,checkpoint 超时,出现作业 failover,如下图: 原因:Flink CDC 在 scan 全表数据(我们的实收表有千万级数据)需要小时级的时间(受下游聚合反压影响),而在 scan 全表过程...
    文章 2020-09-25 17245浏览量
  • 经典大数据架构案例:酷狗音乐的大数据平台重构

    我们主要想利用ext4文件系统的特性,由于之前的操作系统都是CentOS5.9不支持ext4文件格式,所以考虑操作系统升级为CentOS6.3版本,部署Hadoop集群后,作业一启动,就出现CPU内核过高的问题。如下图: 经过很长时间的...
    文章 2016-02-16 2758浏览量
  • 杨孟哲:云平台安全访问控制的设计与实现揭秘

    怎么解决这个问题?我们举个生活中很常见的例子。几年前,我们去超市的时候,刚进去的时候都有一些储物的地方。几年前,超市都是“人肉储物柜”。这时候,这个“人”就可能成为愚弄的代理,如果他的记忆里不够好,...
    文章 2014-10-28 2309浏览量
  • 基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与...

    作业 HA 管理解决了上述问题之后,另一个待讨论的话题便是“作业 HA 管理”。我们需要回答用户以下的两个问题作业是有状态的,但是作业需要代码升级,如何处理?作业异常失败了,怎么做到从失败的时间点恢复?...
    文章 2021-06-10 1224浏览量
  • 宅男程序员给老婆的计算机课程之3:架构比较

    “Hacker”所追求的是解决问题,只要是问题被解决,怎么解决的无所谓;并发流量太大,系统处理不过来;caoz/云风两种的方案,实质上都是直接去处理源头-避免并发。caoz把高并发的请求直接分流去非主业务服务器,主...
    文章 2017-11-12 1315浏览量
  • 携程2021大数据开发一面

    flink某个任务卡住了怎么处理Flink 中在使用聚合函数 GroupBy、Distinct、KeyBy 等函数时出现数据热点该如何解决&xff1f;数据倾斜和数据热点是所有大数据框架绕不过去的问题。处理这类问题主要从 3 个方面入手&xff1a;...
    文章 2022-04-22 33浏览量
  • MapReduce与批处理-《Designing Data-Intensive ...

    一个MapReduce作业可以解决问题范围是有限的。因此,MapReduce的作业需要被链接到工作流中,这样一个作业的输出就成为下一个作业的输入。Hadoop的MapReduce框架,可以隐式的通过目录名来链接:第一个MapReduc的...
    文章 2018-02-23 1240浏览量
  • 如果真的要把Go语言加入OpenStack...需要考虑哪些问题...

    我也不知道怎么才会让我觉得这迁移已经完成了,我能肯定的是我们在解决大的变化发生前需要解决问题。言归正传,我越来越喜欢给许多东西设定期望,尤其是一些能带来改变的请求。把预期列出来之后,就能让相关的人...
    文章 2017-07-03 1421浏览量
  • SLS:海量日志数据管理利器

    其实以上只是典型的在线服务系统的一部分日志,还有数据库、网络服务、文件系统等的日志能够帮助管理人员在出现问题时及时处理。6个月之后,小A的应用非常受欢迎,不仅数据量和机器数目随之增加,SLS服务能力也随之...
    文章 2016-12-25 10924浏览量
  • 如果真的要把Go语言加入OpenStack...需要考虑哪些问题...

    我也不知道怎么才会让我觉得这迁移已经完成了,我能肯定的是我们在解决大的变化发生前需要解决问题。言归正传,我越来越喜欢给许多东西设定期望,尤其是一些能带来改变的请求。把预期列出来之后,就能让相关的人...
    文章 2017-08-02 1025浏览量
  • Hadoop专业解决方案-第3章:MapReduce处理数据

    MapReduce已经解决很多实际问题(从日志分析,到数据排序,到文本操作,到基于模式的搜索,到图像处理,到机器学习等等)。似乎每周都会出现有关MapReduce新应用的出现。在本章,你将要学习MapReduce的今本原理,...
    文章 2016-04-19 3824浏览量
  • 宜信微服务任务调度平台建设实践

    比如某个项目的跑批流程A和跑批流程B存在先后次序,项目组设置跑批流程A在凌晨2点运行,跑批流程B在凌晨4点运行,从时间上保证先后次序,万一跑批流程A执行时间过长,超过2小时,就会导致数据出现问题,需要手工处理...
    文章 2019-10-22 1898浏览量
  • 【PMP】8.30日每日10题

    你和主要相关方评估了所有的项目文件,大家一致认为这些文件都还是很准确的,但这种举措似乎没有解决实际问题出现这种问题的最佳原因应该为:DA、团队成员之间存在个性冲突,需要你来发现并给予解決。B.此项目没有一个...
    文章 2021-12-28 59浏览量
  • 前端开发知识点整理

    此处是不是又要出现,经典问题:当你在浏览器输入 URL 并回车(非单页应用的传统网站),直到你看见这个页面,此时经历了哪些过程(略去浏览器渲染环节)。TCP/IP HTTP 请求 请求请求正文 响应 HTTP 状态码(2xx...
    文章 2017-12-14 2912浏览量
  • 大数据组件以及流程相关的面试题

    23.kafka重复消费数据怎么解决?2-幂等性+ack-1+事务Kafka数据重复,可以再下一级:SparkStreaming、redis或者hive中dwd层去重,去重的手段:分组、按照id开窗只取第一个值;24.hive中map和reduce数是怎么确定的?...
    文章 2022-04-28 34浏览量
  • HBase在阿里搜索推荐中的应用

    怎么解决这个问题?这跟你的业务逻辑有关系,你本身的IO逻辑不阻塞主现场,就把IO异步化,主现场就可以往前走,做完了以后把结果回写就可以了。你的IO逻辑和主流程没有阻塞关系的话,异步化可以很好地解决这个问题。...
    文章 2018-01-11 2772浏览量
  • Ajax学习参考文档

    最早出现在 2005 年的 Google Suggest&xff0c;是在浏览器端进行网络编程&xff08;发送请求、接收响应&xff09;的技术方案&xff0c;它使我们可以通过 JavaScript 直接获取服务端最新的内容而不必重新加载页面。让 Web 更能...
    文章 2022-07-01 23浏览量
  • 原创|2020年阿里、头条、百度、美团、新浪、旷世、...

    从而解决了大表join小表的数据倾斜问题(不会)MR选项优化后&xff0c;以及hive解决数据倾斜后性能提高了多少&xff1f;(不会&xff0c;说是测试负责的性能指标&xff0c;我这里不太清楚)系统的架构设计是谁负责的&xff1f;你们讨论...
    文章 2022-02-11 39浏览量
1 2 3 4 ... 7 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化