• Android网络性能监控方案

    网络请求各个阶段的数据采集都是离散的,如何保证单个请求各个离散的监控数据能够串联起来,和其他请求的监控数据混在一起。由于弱网环境下的网络请求日志往往更有价值,需要尽可能将异常的网络请求日志数据上报到...
    文章 2020-11-09 6150浏览量
  • 基础设施助力双11(六):看网络如何“自愈”

    目前每天的数据采集量接近万亿级的水平,采集的类型包括日志、SNMP采集(路由器交换机性能指标采集)、AliPing采集(内网质量采集)、AliInternet采集(互联网质量采集)、Netflow采集(流数据采集)等。SNMP采集 ...
    文章 2019-07-31 900浏览量
  • 阿里基础设施的智能监控

    从各个机房内到中心的数据流流向和配置正好是相反的方向,数据流由单机上发起,数据第一步先中转到各个机房类的代理(Monitor),机房内的数据代理再集中向中心的数据收集器(Collector)发送,此时整个IT设备数据采集的流程...
    文章 2019-07-30 1295浏览量
  • 数据采集新形态-全球加速

    繁琐主要体现在需要建设各种各样的数据采集手段,包括服务端采集Agent、移动端采集SDK、IOT/智能设备采集、网页、应用程序、数据库、关联应用等,每项工作看似简单,但都是数据采集可少的环节。艰难体现在全球化...
    文章 2018-07-30 2957浏览量
  • 数道云解析:基于Hadoop集群环境的数据采集和舆情监测...

    基于Hadoop集群环境的数据采集系统,利用分布式网络爬虫进行数据抓取,以HDFS作为底层存储系统,在其上构建基于HBase的分布式数据库对数据进行统一存储管理。然后根据采集的数据,通过检索的形式分类数据,进行一个深...
    文章 2019-05-07 1191浏览量
  • 科技云报道:混合云之下,全网流量采集为何成为头部...

    一直以来,网络流量的采集和分析,是企业数据中心基础设施可或缺的监控手段。通过对网络流量的深度分析,企业能够更好地定位网络故障、优化网络和业务性能指标。然而,自2019年以来,来自金融、电信、IDC等行业的...
    文章 2020-05-09 831浏览量
  • 开源监控利器Prometheus初探

    中心化的数据采集存储,分析,而且还支持集群模式。带来的性能问题显而易见。Prometheus给出了一种联邦的部署方式,就是Prometheus server可以从其他的Prometheus server采集数据。可能有人会问,这样最后的数据...
    文章 2018-12-18 2123浏览量
  • 开源监控利器Prometheus初探

    中心化的数据采集存储,分析,而且还支持集群模式。带来的性能问题显而易见。Prometheus给出了一种联邦的部署方式,就是Prometheus server可以从其他的Prometheus server采集数据。可能有人会问,这样最后的数据...
    文章 2018-07-19 4921浏览量
  • 阿里云InfluxDB技术内幕

    我们从一些技术论坛和部分重度使用开源InfluxDB的企业客户了解到,他们在使用过程中遇到了InfluxDB进程发生OOM而导致进程退出,服务不可用的情况。那么,开源InfluxDB的OOM问题究竟是如何发生的?我们就先来看看这个...
    文章 2019-09-09 2203浏览量
  • 六大主流大数据采集平台架构分析

    其中,数据采集是所有数据系统必可少的,随着大数据越来越被重视,数据采集的挑战也变的尤为突出。这其中包括: 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的...
    文章 2017-08-10 1367浏览量
  • DataWorks 2020-06 产品月刊

    数据地图支持MySQL、Hologres、ADB等多种数据类型元数据采集4.独享资源组支持自定义路由功能5.数据集成6月新功能: 数据源资源组连通性测试、新增hive数据源同步、hive整库迁移 新增PolarDB、OceanBase、SQL Server...
    文章 2020-07-16 939浏览量
  • 【技术干货】想要高效采集数据到阿里云Elasticsearch...

    Logstash提供了许多功能,这些功能目前还不可用,或者通过Beats执行成本太高,例如通过对外部数据源执行查找来丰富文档。不管采用哪种方式,Logstash的这种功能和灵活性都是有代价的。此外,Logstash的硬件要求也...
    文章 2019-10-31 2773浏览量
  • 第十四章:监测和维护活动目录(二)

    系统 这一装置基于服务器的角色来存储默认的基于系统的数据采集设置,用于提供活动目录诊断,网络诊断,系统诊断以及系统性能。这些可以被直接修改,但是你可以利用它作为模板创建其他的用户定义数据采集设置。...
    文章 2017-11-08 987浏览量
  • 如何用大数据给用户“画像”

    对于移动运营商来说,经过多年的IT系统建设,大量的网络数据被积累下来。但是现有的IT系统和数据对于支撑网络运营工作还存在一些障碍,主要表现在:面对多样化需求,重复从底层进行大数据处理,处理环节多、难度大;...
    文章 2017-07-10 1428浏览量
  • Elasticsearch 全观测技术解析与应用(四):ES全观测...

    Packetbeat主要采集网络数据,它比Metricbeat采集网络数据更详细,Metricbeat只能监测到我的网卡数据进了多少出了多少,而Packetbeat能知道网络的数据有多少,朝哪些IP去了,有多少是哪些IP访问进来。我们可以把它...
    文章 2020-12-17 560浏览量
  • 备战双十一 企业如何最佳实践上云?

    LoRa环境监测设备接入IoT云平台在运营商网络覆盖弱区域,环境监测设备通过LoRa通信接入物联网平台,实现数据采集 设备使用HTTPS协议接入IoT云平台基于https协议通信的设备快速接入物联网平台,实现业务数据上报 无...
    文章 2019-10-22 10444浏览量
  • EDAS 专有网络ECS集群应用数据采集实践

    现象:在 EDAS 的服务中,如果获取不到数据,所有和视图以及调用链相关的服务均变得不可用;这部分功能包括监控(基础监控、服务监控),报警,调用链重要排查方向:1.8002和8182重要端口,安装日志采集服务器执行...
    文章 2020-01-13 1169浏览量
  • 数据采集和抽取怎么做?这篇文章终于说明白了!

    一、企业数据来源二、数据采集概念和价值三、数据采集常用工具四、数据采集系统设计原则五、数据采集模块生产落地分享 有来源才能谈采集,因此我们先来归纳下企业中数据来源。数据来源 企业中的数据来源极其多,但...
    文章 2020-05-21 1709浏览量
  • 直播系统搭建:音视频处理的一般流程与推流端的四个...

    音视频处理的一般流程数据采集→数据编码→数据传输(流媒体服务器)→解码数据→播放显示1.数据采集:摄像机及拾音器收集视频及音频数据,此时得到的为原始数据涉及技术或协议:摄像机:CCD、CMOS拾音器:声电转换...
    文章 2020-04-08 714浏览量
  • 日志采集中的关键技术分析

    想要编写一个可靠的日志采集Agent确保数据不丢失,这其中的复杂度和挑战不容忽视。希望通过本文能让读者对日志采集有一个较为全面的认知。参考文献 理解Inode Inotify man-page xattr man-pages Unified Logging ...
    文章 2018-06-12 6962浏览量
  • Elastic Stack 家族—Elastic Stack 实战手册

    Beats 在 Elastic Stack 中的位置及能力Beats 是一个轻量的数据采集器,它集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。Beats 在 Elastic Stack 中...
    文章 2021-05-19 702浏览量
  • 初识zabbix需了解的二三事

    数据采集方式除了在被监控主机上部署agent程序外,还可通过ICMP/IPMI/SNMP等协议对网络设备进行监控,同时配置web监控方式可以监控web页面的下载速率和响应时间等重要参数,很有参考价值哦;Zabbix proxy是在大规模...
    文章 2017-11-16 1313浏览量
  • 中国移动苏州研发中心消息队列高可用设计之谈|...

    体设计方案图如下所示:而BC-MQ中API计量采集服务组件的高可用性则是依靠Keepalived组件的冷备模式结合GlusterFS分布式文件存储的同步机制共同保证,从而在一定程度上解决了API计量采集服务的单点不可用问题。...
    文章 2019-08-14 6253浏览量
  • 大型网站技术架构核心原理与案例分析(读书笔记)

    基础设施性能和资源利用率,网络运营商的带宽能力,服务器硬件配置,数据中心网络架构,服务器和网络带宽达资源利用率。使用高性价比的定制服务器,利用虚拟化优化资源,优化骨干网络 4.1.2 性能测试指标 响应时间 ...
    文章 2018-09-19 1699浏览量
  • 重磅发布:阿里云WAF日志实时分析上线(含视频)

    日志服务对专属日志库进行任何收费,但日志服务本身需处于可用状态(超期欠费) 内置的报表可能会在以后更新并升级 使用场景 1.追踪Web攻击日志,溯源安全威胁: 2.实时查看Web请求活动,洞察状态与趋势: 3....
    文章 2018-12-10 2838浏览量
  • 一张图帮你快速建立大数据知识体系

    常见的数据采集方式包括系统日志采集、网络数据采集、设备数据采集。系统日志采集 系统日志采集主要是对数据库、系统、服务器等运行状态,行为事件等数据抓取。埋点:浏览器(PC)打点、无线客户端、服务端打点。...
    文章 2020-06-11 10409浏览量
  • 数字IT基础-数据采集总线

    面向网络不可用 断点续传功功能 客户端传输 传输过程中安全问题 HTTPS协议支持与证书 客户端升级 客户端如果有Bug如何升级 运维成本 传输 网络质量差 网络质量差 购买昂贵专线 地域与合规 用户数据不能出国,例如...
    文章 2018-11-22 6165浏览量
  • NetAnalyzer笔记 之 一.开篇语

    在开始之前,先简单介绍一下NetAnalyzer,NetAnalyzer是一款集网络数据采集、报文协议分析、统计、网络流量监控于一体的网络管理工具软件,你可以直接认为NetAnalyzer就是中文(简化)版的Wrishark,哈哈,有点...
    文章 2018-03-07 909浏览量
  • 大型网站架构技术一览

    安全架构和数据库采集监控架构是贯穿在各个层次的重要保障,这两个架构主要解决五个业务相关层次的安全问题和数据采集监控问题,是一直都需要关注的地方;对于目前的大型网络来看,可以分为前端、应用层、服务层、...
    文章 2017-05-09 1007浏览量
  • SQL Server Alwayson概念总结

    主副本已变得不可用,并且由灵活的故障转移策略定义的故障转移条件级别已得到满足。注意: 1.在数据库级别,诸如因数据文件丢失而使数据库成为可疑数据库、删除数据库或事务日志损坏之类的数据库问题不会导致可用性...
    文章 2009-06-05 890浏览量
1 2 3 4 ... 40 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化