• 从零开始入门 K8s|可观测性:监控与日志

    这个 sink 主要做的是把数据采集下来,并且把这个数据离线走,然后很客户会用 influxdb 做这个数据离线,在 influxdb 上去接入类似像 grafana 监控数据的一个可视化的软件,来实践监控数据的可视化。但是后来社区...
    文章 2019-10-15 3424浏览量
  • SLA 99.99%以上!饿了么实时计算平台3年演进历程

    为了满足 Binlog 数据采集的需求引入 OR 做解析工具,为防止 OR 异常退出导致数据丢失问题,开发基于 ZK 存储 Offset 功能,在异常 Crash 重启后继续上次的 Offset 消费即可。计算方面: 前面提到用户 Log 是合并...
    文章 2018-04-09 5927浏览量
  • 我在架构设计和代码开发中的一些常用原则

    数据输出展示:前端展示需要防止水平越权,另外,前端的展示可以埋点和方便数据采集。3 资损防控可核对和可监控:上下游系统的数据模型核对关联关系简单、稳定(具备通用性,和产品无关)。可熔断:对关键资损链路...
    文章 2021-03-18 1312浏览量
  • 我与消息队列的八年情缘

    我们马上和DBA沟通,发现oracle数据库执行了非常的大事务,每次大的事务执行都需要30分钟以上,导致调度中心的调度出票线程阻塞了。技术部后来采取了如下的方案规避堆积问题:生产者发送消息的时候,将超大的消息...
    文章 2021-11-11 274浏览量
  • 阿里云容器Kubernetes监控(七)-Prometheus监控方案...

    监控指标不准确 这个问题是从Prometheus监控制定开始就存在的问题,由于kubelet的数据指标不是实时的,而Prometheus的数据采集会丢失时间戳,这会导致非常异常的利用率曲线。具体的描述,可以参考如下两个PR 2059与...
    文章 2018-10-24 11199浏览量
  • LinkedIn前数据专家解读日志与实时流处理

    来自多日志的多路流处理图 这些计算出来数据源可能会包含相当复杂和智力的成分在其处理过程里,因此也是极具价值的。例如,谷歌在这里描述了它是如何在一个流计算处理系统上重构它的网页爬取、处理和建索引的管道的...
    文章 2017-05-02 1213浏览量
  • 日志和实时流计算处理

    来自多日志的多路流处理图 这些计算出来数据源可能会包含相当复杂和智力的成分在其处理过程里,因此也是极具价值的。例如,谷歌在这里描述了它是如何在一个流计算处理系统上重构它的网页爬取、处理和建索引的管道的...
    文章 2017-05-26 1533浏览量
  • 数仓实时化改造:Hudi on Flink 在顺丰的实践应用

    Grafana 也会整合到我们的实时计算平台产品里面来,在面对存量的情况时,不需要重启用户的任务,就能够直接做数据采集。但在面对增量情况时,就需要补充一些 Metric,比如 CPU 使用率、内存的使用率等。这部分我们以...
    文章 2021-01-05 1455浏览量
  • Qt编写安防视频监控系统8-双击节点

    实时控制系统完成实时数据采集处理、存储、反馈的功能;监视系统完成对各个监控点的全天候的监视,能在多操作控制点上切换多路图像;管理信息系统完成各类所需信息的采集、接收、传输、加工、处理,是整个系统的控制...
    文章 2019-07-31 988浏览量
  • 云栖PPT下载|开源界大咖集体现身,开源数据库专场重点...

    第三点是安全,大家可能对于开源数据库的安全性存在一些误解,其实PostgreSQL是非常安全的,它提供了认证方式、通道加密和数据加密一套完整的安全机制,基本可以认为Oracle有安全,PostgreSQL就有安全。...
    文章 2019-10-17 2593浏览量
  • Qt编写安防视频监控系统9-自动隐藏光标

    实时控制系统完成实时数据采集处理、存储、反馈的功能;监视系统完成对各个监控点的全天候的监视,能在多操作控制点上切换多路图像;管理信息系统完成各类所需信息的采集、接收、传输、加工、处理,是整个系统的控制...
    文章 2019-07-31 982浏览量
  • 菜鸟实时数仓2.0进阶之

    超大数据源第二个就是对接的系统非常&xff0c;每个系统数据量很大&xff0c;每天亿级别的数据源就有十几个&xff0c;梳理起来非常困难。带来的问题也比较明显&xff0c;第一个问题就是大状态的问题&xff0c;需要在Flink里维护...
    文章 2020-11-20 13137浏览量
  • 救火必备!问题排查与系统优化手册

    吞吐率(Throughput):系统单位时间内能处理的工作负载,例如:在线 Web 系统-QPS/TPS,离线数据分析系统-每秒处理的数据量。响应时间(Response Time):以 Web 请求处理为例,响应时间(RT)即请求从发出到收到的...
    文章 2020-07-13 2695浏览量
  • mongodb副本集搭建过程中的问题和解决技巧

    这个系统涉及到flume数据采集,storm数据分析,rabbitmq消息分发,ehcache缓存提升系统性能,mongodb副本集存储数据,tomcat管理系统应用等,架构基本如下: 而这里我主要负责的是rabbitmq、tomcat、ehcache、...
    文章 2017-09-12 1295浏览量
  • 微信月活9亿的高效运维之

    早一两年有人跟我讨论比较,Docker主进程起来的时候,可能你由于要更新Docker本身,会导致你的服务重启。好像近期已经解决这个问题,这个在早期来看我们认为是一个比较严重的问题,我不希望说因为Docker本身的变更...
    文章 2018-01-30 3706浏览量
  • 案例诊断:“交易耗时8S”缉凶记

    图3-1所示是数据库实例采集到的CPU的平均利用率监控信息&xff0c;从监控来看&xff0c;并没有明显变化。图3-1 CPU平均利用率5&xff09;会不会是数据库主机磁盘IO有问题&xff1f;分析&xff1a;磁盘IO监控包括每秒读写IO次数&xff0...
    文章 2022-01-23 23浏览量
  • 甲骨文面试归来

    事务要遵循ACID原则,事务只能被提交或者被回滚,不能自我中断的,不过如果脏块把buffer cache写满,无论事务提交与否,都会写到datafile中,不写日志,就算脏块写到了datafile里,这时候如果数据重启,因为日志里...
    文章 2017-11-07 1568浏览量
  • 高并发,我把握不住啊!

    数据库、缓存、依赖的第三方、负载均衡、交换机带宽等等都是系统扩展时需要考虑的因素。我们要知 道系统并发到了某一个量级之后&xff0c;哪一个因素会成为我们的瓶颈点&xff0c;从而针对性地进行扩展。高并发架构演进谁...
    文章 2021-12-23 83浏览量
  • 什么样的云数据库架构选型才能做到安全,稳定又可靠?

    一部分监控的数据采集包括了很指标,比如CPU、内存、磁盘IO以及各种数据库引擎特殊的属性,这些指标希望大家都能够关注,因为监控已经将这些指标从曲线上拉取出来了,如果在指标的监控曲线上看到存在巨幅波动,...
    文章 2017-05-19 5163浏览量
  • Flink as a Unified Engine:Now and Next

    第一,覆盖场景更全面基于在线拍卖系统业务模型设计16 个 Query,全面覆盖常用流计算场景ANSI SQL,标准化,更容易扩展第二,更加方便易用纯内存数据源生成器,灵活调控负载无外部系统依赖性能指标采集自动化第三,...
    文章 2021-01-20 2203浏览量
  • 阿里如何实现100%容器化镜像化?八年技术演进之回顾

    其次有独立的文件系统,应用程序跑起来,希望程序看到的整个文件系统都是给他专用的,因为现有的代码和配置中必然有很路径的硬编码,需要满足这个潜在要求。还有不管通过工具还是代码,他只能看到分配给他自己的...
    文章 2018-09-26 2228浏览量
  • 浅谈Service Mesh体系中的Envoy

    从上述三点中我们试着分析下性能优化的关键点,其中第1、3点是与业务基本无关的,属于通用型功能,而第2点的性能是与业务复杂度呈现相关性的,比如请求校验规则的与少、遥测数据采集精细度、数据统计的维度多样...
    文章 2018-07-05 22771浏览量
  • 云原生演进趋势下传统数据库升级实践

    它可以采集到用户数据库的一些特征&xff0c;这个特征包括有哪些 SQL、函数、存储过程跟目标数据库写法不匹配&xff0c;原始的数据库的特点&xff0c;比如它是一个系统压力特别大的数据库&xff0c;还是一个热点数据特别明显的...
    文章 2021-08-11 534浏览量
  • Java面试题总结(一)

    对于Java数组的初始化,有以下两种方式:静态初始化:初始化时由程序员显式指定每个数组元素的初始值,由系统决定数组长度动态初始化:初始化时由程序员显示的指定数组的长度,由系统数据每个元素分配初始值静态...
    文章 2022-05-27 42浏览量
  • Android开发软件架构思考以及经验总结

    性能数据采集、监控 Native的插件化和HotFix 糯米移动组件架构演进之 2016-05-24 组件化 统一服务入口 Hybrid框架优化 苏宁11.11:苏宁易购移动端的架构优化实践 2016-11-11 分层解耦,解决纵向解耦 中介型引用...
    文章 2017-08-01 768浏览量
  • Android开发软件架构思考以及经验总结

    性能数据采集、监控 Native的插件化和HotFix 糯米移动组件架构演进之 2016-05-24 组件化 统一服务入口 Hybrid框架优化 苏宁11.11:苏宁易购移动端的架构优化实践 2016-11-11 分层解耦,解决纵向解耦 中介型引用...
    文章 2017-08-03 1802浏览量
  • 内含干货PPT下载|一站式数据管理DMS关键技术解读

    通过采集binlog来拉取数据变更流&xff0c;右侧维表输入&xff0c;直接通过左侧流表按字段直接join右侧维表。该场景下通常是用固定的维表字段补充流表中的数据内容&xff0c;并输出到目标表。图4.ETL画布配置流、维表Join4、...
    文章 2021-09-27 386浏览量
  • 2022年最强大数据面试宝典(全文50000字,建议收藏)...

    例如采集的日志数据中&xff0c;每一条日志都会记录自己的生成时间&xff0c;Flink通过时间戳分配器访问事件时间戳。Ingestion Time&xff1a;是数据进入Flink的时间。Processing Time&xff1a;是每一个执行基于时间操作的算子...
    文章 2022-04-27 172浏览量
  • 阿里员工都是这样排查Java问题的,附工具单

    很好用,将历史收集到的数据持久化在磁盘上,所以我们快速来查询历史的系统数据。当然实时的应用情况也是可以查询的啦。大部分机器上都有安装。top top除了看一些基本信息之外,剩下的就是配合来查询vm的各种问题了 ...
    文章 2018-11-22 2106浏览量
  • 看了这篇MySQL,开发功力又升级!

    Archive表适合日志和数据采集类引用。适合低访问量大数据等情况。Blackhole引擎Blackhole引擎没事实现任何存储机制&xff0c;它会丢弃所有插入的数据&xff0c;不任何保存。但服务器会记录Blackhole表的日志&xff0c;所以...
    文章 2022-05-26 60浏览量
1 2 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化