• 开源监控利器Prometheus初探

    之前提到Prometheus server的数据采集配置都是通过配置文件,那服务发现该怎么做?总不能每次要添加采集目标还要修改配置文件并重启服务吧。这里使用file_sd_configs指定定义了采集目标的文件。Prometheus server会...
    文章 2018-12-18 2173浏览量
  • 开源监控利器Prometheus初探

    之前提到Prometheus server的数据采集配置都是通过配置文件,那服务发现该怎么做?总不能每次要添加采集目标还要修改配置文件并重启服务吧。这里使用file_sd_configs指定定义了采集目标的文件。Prometheus server会...
    文章 2018-07-19 4957浏览量
  • 日志系列-计量日志处理方案

    计量程序每隔固定时间消费LogHub中步长数据,在内存中计算结果生成计费数据 (附加)对明细数据查询需求,可以将计量日志配置索引查询 (附加)将计量日志推送至OSS、MaxCompute进行离线存储,进行T+1等对账与统计 ...
    文章 2017-07-11 2904浏览量
  • 游戏日志分析2:全方位数据采集

    因此建议使用Logtail进行数据采集,针对不同格式的日志配置方法如下: 正则日志 分隔符日志 JSON日志 5.服务端-K8S采集 在K8S中,日志采集并没有很好的解决方案,主要原因如下: 采集目标多_:需要采集宿主机日志、...
    文章 2018-05-22 4331浏览量
  • 【阿里云资讯】如何在阿里云数加平台实践Serverless...

    数加平台从底层将整个数据应用的链条全部打通,并提供了一系列的Serverless 服务,从数据采集,存储,各种处理,到最终变成数据服务。用户需要做的是开发、配置业务相关的处理逻辑、业务规则和算法等,把所有精力...
    文章 2016-09-23 3251浏览量
  • 自建ELK vs 日志服务(SLS)全方位对比

    配置如何配置数据源 扩容:接入更多数据源,更多机器,对存储空间,机器进行扩容 使用:这部分在功能这一节介绍 导出:数据能否方便导出到其他系统,例如做流计算、放到对象存储中进行备份 多租户:如何数据能否...
    文章 2017-09-21 16918浏览量
  • 品《阿里巴巴大数据实践-大数据之路》一书(上)

    很多企业的抽取数据源种类繁多,管理复杂,阿里搞了IDB来实现数据库的统一管理,基于这个元数据能力,在数据同步时,阿里可以采用oneclick来实现数据采集的一健配置和批量化同步,管理的深度和厚度可见一般。...
    文章 2017-08-14 16012浏览量
  • Polling+Inotify 组合下的日志保序采集方案

    日志数据采集提到数据分析&xff0c;大部分人首先想到的都是Hadoop&xff0c;流计算&xff0c;API等数据加工的方式。如果从整个过程来&xff0c;数据分析其实包含了4个过程&xff1a;采集&xff0c;存储&xff0c;计算和理解四个步骤。...
    文章 2017-09-12 11837浏览量
  • 演进实录|不同阶段的企业如何搭建监控体系?

    如何对告警策略进行配置和优化&xff0c;尽量减少不必要的告警邮件&xff0c;成为策略设置的核心。成熟期&xff1a;服务器数量 1000 台以上由于业务持续增长&xff0c;对服务器的需求越来越大&xff0c;当服务器超过 1000 台以后&...
    文章 2021-11-02 132浏览量
  • 日志服务运行日志使用指南

    Logtail数据没有采集成功是什么原因;为了便于用户解决这些问题,现在日志服务支持用户以Project为单位开通运行日志。用户在使用日志服务过程中的所有操作,日志采集和消费过程中产生的日志都会被记录下来,如图1所...
    文章 2018-07-30 3044浏览量
  • 云时代如何简化数据中心网络运维?

    得清”意味着针对观察的准确性,需要采集和分析海量的数据。包括: 精确计费采集的比例需要从8K:1到2K:1,甚至1:1全量采集。疑难问题定位:基于采集的“大数据”和实时分析,及时发现偶发性丢包和流量黑洞等。...
    文章 2017-08-15 1363浏览量
  • 如何构建一个私有存储云

    日立数据系统公司提供Hitachi自动目录来构建有关存储和其他资源配置的工作流程。许多组织将需要考虑私有存储云可以引入的计费变化。如果未实施结算和扣款,则没有问题,因为IT部门将继续承担提供服务的成本,并且...
    文章 2017-07-10 1185浏览量
  • 如何构建一个私有存储云

    日立数据系统公司提供Hitachi自动目录来构建有关存储和其他资源配置的工作流程。许多组织将需要考虑私有存储云可以引入的计费变化。如果未实施结算和扣款,则没有问题,因为IT部门将继续承担提供服务的成本,并且...
    文章 2017-08-01 936浏览量
  • 阿里云高级技术专家空见:CDN的数据化之路

    先从从左边的边缘节点来,它是从全球的边缘节点去采集和处理,上面的数据大部分都是访问、回源的日志,节点之间互相探测的日志等,在总数据中占比80%以上。这里的数据量级非常大,而且本身CDN就是分布式系统,所以...
    文章 2017-10-16 3353浏览量
  • 何构建一个私有存储云

    日立数据系统公司提供Hitachi自动目录来构建有关存储和其他资源配置的工作流程。许多组织将需要考虑私有存储云可以引入的计费变化。如果未实施结算和扣款,则没有问题,因为IT部门将继续承担提供服务的成本,并且...
    文章 2017-08-09 1220浏览量
  • 微信也能账单——SLS成本管家新增微信订阅渠道

    本文后续会详细介绍微信渠道如何配置。点击【下一步】&xff0c;然后点击【完成】&xff0c;完成配置。微信渠道配置通知列表中渠道中选择【微信】微信搜一搜“日志服务”或者微信扫描控制台【微信公众号】右侧二维码关注...
    文章 2021-07-23 179浏览量
  • 日志分析:SLS vs ELK

    配置如何配置数据源 扩容:接入更多数据源,更多机器,对存储空间,机器进行扩容 导出:数据能否方便导出到其他系统,例如做流计算、放到对象存储中进行备份 多租户:如何数据能否分享给他人使用,使用是否安全...
    文章 2019-01-02 13232浏览量
  • Serverless在游戏运营行业进行数据采集分析的最佳实践

    我们并不需要去估算营销活动会带来多大的流量,也不需要去担心和考虑对数据采集系统的性能,运维同学更不需要提前预备ECS。因为函数计算的极致弹性特性,当没有买量、没有营销活动的时候,函数计算的运行实例是零。...
    文章 2021-01-27 3987浏览量
  • 在游戏运营行业,Serverless 如何解决数据采集分析...

    我们并不需要去估算营销活动会带来多大的流量,也不需要去担心和考虑对数据采集系统的性能,运维同学更不需要提前预备 ECS。因为函数计算的极致弹性特性,当没有买量、没有营销活动的时候,函数计算的运行实例是零。...
    文章 2021-02-09 4234浏览量
  • 《企业大数据系统构建实战:技术、架构、实施与应用》...

    在第三方云服务模式下,数据采集、跟踪和存储都是在云端进行的。此时,云端的所有数据是否可以完全被企业所有,并且保存到企业内部是很多重视数据所有权的企业关心的问题。这一问题不仅关系到数据安全,更关系到企业...
    文章 2017-05-02 3279浏览量
  • 《机器人操作系统ROS原理与应用》——3.2 如何选择...

    在第三方云服务模式下,数据采集、跟踪和存储都是在云端进行的。此时,云端的所有数据是否可以完全被企业所有,并且保存到企业内部是很多重视数据所有权的企业关心的问题。这一问题不仅关系到数据安全,更关系到企业...
    文章 2017-05-02 1477浏览量
  • 【双11背后的技术】双11背后的大规模数据处理

    实时全链路监控:我们从数据采集、读取、消费、入库各个环节都增加延时指标的埋点,可以清晰地看到整条链路各个阶段的延时,快速分析哪个组件性能瓶颈。另外,针对作业本身运行情况,比如输入吞吐、流量、CPU和内存...
    文章 2017-01-12 4877浏览量
  • 基于ELK+Flink日志全观测最佳实践

    一般BI 的同学可以直接用Flink SQL来对数据做相应的清洗工作,那么基于Flink SQL这种完善的流式处理语义,可以支持各类网络格式日志数据采集到的数据的归一化,整体会非常的轻便。在完成了整体的日志,包括指标数据...
    文章 2021-11-11 330浏览量
  • CDN流量异常分析以及安全防护

    (2)实时日志:属于计费服务,默认不开启,需要手动开启,日志数据延迟不超过3分钟。阿里云CDN通过与日志服务融合,将采集到的实时日志实时推送至日志服务,并进行日志分析。通过日志的实时分析,用户可以快速发现...
    文章 2020-04-19 800浏览量
  • MaxCompute Tunnel上传典型问题场景

    Tunnel数据采集过程中会生成小文件;Job执行过程中生成的各种临时文件、回收站保留的过期的文件等,主要分类为: TABLE_BACKUP:回收站中超过保留天数的表 FUXI_JOB_TMP:作业运行临时目录 TMP_TABLE:作业运行中...
    文章 2018-08-21 7291浏览量
  • 数据搜索选开源还是商业软件?ElasticSearch 对比 ...

    对于大数据的数据采集,大家也可以参考我的另一篇博客。数据管理和存储 ElasticSearch的数据存贮模型来自于Lucene,基本原理是实用了倒排表。大家可以参考这篇文章。Splunk的核心同样是倒排表,推荐大家这篇去年...
    文章 2017-05-02 1981浏览量
  • 阿里巴巴在开源压测工具 JMeter 上的实践和优化

    最后一行统计数据,平均 RPS(每秒请求数)为 26.7,平均 RT(响应时间)为 843 毫秒。尝试核对一下统计数据。脚本包含两个请求,每个请求附加 1 秒钟等待时间,发送一个请求平均耗时为 RT 843 毫秒+等待 1000 毫秒...
    文章 2019-07-09 4888浏览量
  • 云后端技术管理体系架构的十项修炼

    整个告警系统除了针对配置、性能和状态三个维度采集信息并分析告警外,云计算的运维自动化还包括持续不断的基于云基础设施开发和维护各种自动化运维 工具。比如配置管理工具用来设置参数或者开启一个新服务器上的...
    文章 2017-08-02 2269浏览量
  • 阿里巴巴飞天大数据平台MaxCompute(原名ODPS)全套...

    深入理解阿里云数加大数据开发套件DataWorks-基本知识大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute【大数据开发套件调度配置实践】——调度任务各种周期配置和调度形态阿里云大数据开发套件 新手不得...
    文章 2017-05-05 119061浏览量
  • 云时代 JMeter 最佳实践

    最后一行统计数据,平均 RPS(每秒请求数)为 26.7,平均 RT(响应时间)为 843 毫秒。尝试核对一下统计数据。脚本包含两个请求,每个请求附加 1 秒钟等待时间,发送一个请求平均耗时为 RT 843 毫秒+等待 1000 毫秒...
    文章 2019-07-08 1260浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化