-
Apache Flink 进阶（一）：Runtime 核心机制剖析
另一方面，如图如果错误是由于读取上游结果出现问题，如网络连接中断、缓存上游输出数据的 TaskExecutor 异常退出等，那么还需要重启上游 Region 来重新产生相应的数据。在这种情况下，如果上游 Region 输出的数据...文章 2019-09-09 1900浏览量 -
Apache Flink 进阶（一）：Runtime 核心机制剖析
另一方面，如图如果错误是由于读取上游结果出现问题，如网络连接中断、缓存上游输出数据的 TaskExecutor 异常退出等，那么还需要重启上游 Region 来重新产生相应的数据。在这种情况下，如果上游 Region 输出的数据...文章 2019-09-11 25860浏览量 -
一名普通大学生的建站历程
当我按照帮助里的内容一步步来搭建环境时，第一个安装apache就出现了问题，我核实了帮助内容上的每一步之后远程连接的控制台还是会报错：“Error:Unable to find a match:httpd mod_auth_mysql”，而第一次使用就...文章 2021-12-09 160浏览量 -
Hulu大规模容器调度系统Capos
首先说明下简单作业运行流程，这里的简单作业，提交的作业通过json描述，可以包含多个Container，然后scheduler收到请求之后，命中某个offer，向Mesos发送offer启动请求，在请求中同时夹带着作业json信息，把作业...文章 2018-07-22 1716浏览量 -
详解 Flink 指标、监控与告警
线上的作业有问题，自动切换到备用的作业……当然目前能做到的这些只能解决一部分问题，一些代码问题带来的故障还是需要人为介入修复 bug。Q&A Q1：构建一整套指标系统，指标库如何维护？需要去对程序进行代码...文章 2020-07-23 3463浏览量 -
历时1年，上百万行代码！首次揭秘手淘全链路性能优化...
性能优化是老生常谈的问题，说简单也不简单，需要一个系统化的视角来分析和解决。找问题，不仅仅是要看到某段区间慢了，更要去深入分析，为什么慢了。trace 上一段方法执行时间过长，有可能是本身逻辑复杂，或是有 ...文章 2019-07-24 2638浏览量 -
Flink on K8s 在京东的持续优化实践
相比物理机或 YARN 环境，Flink on K8s 出现问题以后的排查相对要更困难，因为这里面还涉及到 K8s 许多组件，比如容器网络、DNS 解析、K8s 调度等各方面的问题，都存在一定的门槛。为了解决这个问题，我们开发了智能...文章 2022-04-01 745浏览量 -
阿里云大数据计算平台的自动化、精细化运维之路
这里面主要难点还是在于硬件信息收集和分析，怎么判断这块磁盘坏了，怎么判断 CPU 是有问题的。这其中需要长期的数据和经验积累。这里我可以简单介绍一下我们现在采集的信息源： 硬盘主要依赖于 kernel log/smartctl...文章 2017-02-28 10528浏览量 -
阿里大规模计算平台的自动化、精细化运维之路
这里面主要难点还是在于硬件信息收集和分析，怎么判断这块磁盘坏了，怎么判断 CPU 是有问题的。这其中需要长期的数据和经验积累。这里我可以简单介绍一下我们现在采集的信息源： 硬盘主要依赖于 kernel log/smartctl...文章 2017-03-23 6097浏览量 -
快手大数据架构演进实录，真的不一般
一旦单条物理链路出现问题&xff0c;可以随时切换到另外一条上&xff0c;保障了活动期间实时数据的产出的高稳定性。离线场景下&xff0c;主要面临的问题是日志服务可能会被降级&xff0c;会导致生产 ODS 层数据延迟&xff0c;进而...文章 2022-01-14 155浏览量 -
http协议和web处理请求相关
而是创建一个子进程，交给子进程去响应（比如主进程只完成步骤1接受请求，子进程完成剩下步骤），这样，当同时进来多个请求的时候，只要为其都创建个子进程便可同时响应，解决了因等待太久而超时断开的问题。...文章 2017-11-08 1043浏览量 -
Redis专题（1）：构建知识图谱
问题：缓存穿透是指一些非正常用户(黑客)故意去请求缓存中不存在的数据，导致所有的请求都集中到到数据库上，从而导致数据库连接异常。解决: 利用互斥锁。缓存失效的时候，不能直接访问数据库，而是要先获取到锁，...文章 2019-06-12 3885浏览量 -
Flink SQL CDC 上线！我们总结了 13 条生产实践经验
4.Flink 作业在扫描 MySQL 全量数据时，checkpoint 超时，出现作业 failover，如下图： 原因：Flink CDC 在 scan 全表数据（我们的实收表有千万级数据）需要小时级的时间（受下游聚合反压影响），而在 scan 全表过程...文章 2020-09-25 17245浏览量 -
经典大数据架构案例：酷狗音乐的大数据平台重构
我们主要想利用ext4文件系统的特性，由于之前的操作系统都是CentOS5.9不支持ext4文件格式，所以考虑操作系统升级为CentOS6.3版本，部署Hadoop集群后，作业一启动，就出现CPU内核过高的问题。如下图： 经过很长时间的...文章 2016-02-16 2758浏览量 -
杨孟哲：云平台安全访问控制的设计与实现揭秘
怎么解决这个问题？我们举个生活中很常见的例子。几年前，我们去超市的时候，刚进去的时候都有一些储物的地方。几年前，超市都是“人肉储物柜”。这时候，这个“人”就可能成为愚弄的代理，如果他的记忆里不够好，...文章 2014-10-28 2309浏览量 -
基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与...
作业 HA 管理解决了上述问题之后，另一个待讨论的话题便是“作业 HA 管理”。我们需要回答用户以下的两个问题：作业是有状态的，但是作业需要代码升级，如何处理？作业异常失败了，怎么做到从失败的时间点恢复？...文章 2021-06-10 1224浏览量 -
宅男程序员给老婆的计算机课程之3:架构比较
“Hacker”所追求的是解决问题，只要是问题被解决，怎么解决的无所谓；并发流量太大，系统处理不过来；caoz/云风两种的方案，实质上都是直接去处理源头-避免并发。caoz把高并发的请求直接分流去非主业务服务器，主...文章 2017-11-12 1315浏览量 -
携程2021大数据开发一面
flink某个任务卡住了怎么处理Flink 中在使用聚合函数 GroupBy、Distinct、KeyBy 等函数时出现数据热点该如何解决&xff1f;数据倾斜和数据热点是所有大数据框架绕不过去的问题。处理这类问题主要从 3 个方面入手&xff1a;...文章 2022-04-22 33浏览量 -
MapReduce与批处理-《Designing Data-Intensive ...
一个MapReduce作业可以解决的问题范围是有限的。因此，MapReduce的作业需要被链接到工作流中，这样一个作业的输出就成为下一个作业的输入。Hadoop的MapReduce框架，可以隐式的通过目录名来链接：第一个MapReduc的...文章 2018-02-23 1240浏览量 -
如果真的要把Go语言加入OpenStack...需要考虑哪些问题...
我也不知道怎么才会让我觉得这迁移已经完成了，我能肯定的是我们在解决大的变化发生前需要解决的问题。言归正传，我越来越喜欢给许多东西设定期望，尤其是一些能带来改变的请求。把预期列出来之后，就能让相关的人...文章 2017-07-03 1421浏览量 -
SLS：海量日志数据管理利器
其实以上只是典型的在线服务系统的一部分日志，还有数据库、网络服务、文件系统等的日志能够帮助管理人员在出现问题时及时处理。6个月之后，小A的应用非常受欢迎，不仅数据量和机器数目随之增加，SLS服务能力也随之...文章 2016-12-25 10924浏览量 -
如果真的要把Go语言加入OpenStack...需要考虑哪些问题...
我也不知道怎么才会让我觉得这迁移已经完成了，我能肯定的是我们在解决大的变化发生前需要解决的问题。言归正传，我越来越喜欢给许多东西设定期望，尤其是一些能带来改变的请求。把预期列出来之后，就能让相关的人...文章 2017-08-02 1025浏览量 -
Hadoop专业解决方案-第3章：MapReduce处理数据
MapReduce已经解决很多实际问题（从日志分析，到数据排序，到文本操作，到基于模式的搜索，到图像处理，到机器学习等等）。似乎每周都会出现有关MapReduce新应用的出现。在本章，你将要学习MapReduce的今本原理，...文章 2016-04-19 3824浏览量 -
宜信微服务任务调度平台建设实践
比如某个项目的跑批流程A和跑批流程B存在先后次序，项目组设置跑批流程A在凌晨2点运行，跑批流程B在凌晨4点运行，从时间上保证先后次序，万一跑批流程A执行时间过长，超过2小时，就会导致数据出现问题，需要手工处理...文章 2019-10-22 1898浏览量 -
【PMP】8.30日每日10题
你和主要相关方评估了所有的项目文件,大家一致认为这些文件都还是很准确的,但这种举措似乎没有解决实际问题。出现这种问题的最佳原因应该为:DA、团队成员之间存在个性冲突,需要你来发现并给予解決。B.此项目没有一个...文章 2021-12-28 59浏览量 -
前端开发知识点整理
此处是不是又要出现，经典问题：当你在浏览器输入 URL 并回车（非单页应用的传统网站），直到你看见这个页面，此时经历了哪些过程（略去浏览器渲染环节）。TCP/IP HTTP 请求 请求头 请求正文 响应 HTTP 状态码（2xx...文章 2017-12-14 2912浏览量 -
大数据组件以及流程相关的面试题
23.kafka重复消费数据怎么解决？2-幂等性+ack-1+事务Kafka数据重复，可以再下一级：SparkStreaming、redis或者hive中dwd层去重，去重的手段：分组、按照id开窗只取第一个值；24.hive中map和reduce数是怎么确定的？...文章 2022-04-28 34浏览量 -
HBase在阿里搜索推荐中的应用
怎么解决这个问题？这跟你的业务逻辑有关系，你本身的IO逻辑不阻塞主现场，就把IO异步化，主现场就可以往前走，做完了以后把结果回写就可以了。你的IO逻辑和主流程没有阻塞关系的话，异步化可以很好地解决这个问题。...文章 2018-01-11 2772浏览量 -
Ajax学习参考文档
最早出现在 2005 年的 Google Suggest&xff0c;是在浏览器端进行网络编程&xff08;发送请求、接收响应&xff09;的技术方案&xff0c;它使我们可以通过 JavaScript 直接获取服务端最新的内容而不必重新加载页面。让 Web 更能...文章 2022-07-01 23浏览量 -
原创|2020年阿里、头条、百度、美团、新浪、旷世、...
从而解决了大表join小表的数据倾斜问题(不会)MR选项优化后&xff0c;以及hive解决数据倾斜后性能提高了多少&xff1f;(不会&xff0c;说是测试负责的性能指标&xff0c;我这里不太清楚)系统的架构设计是谁负责的&xff1f;你们讨论...文章 2022-02-11 39浏览量
