• 蚂蚁金服在 Service Mesh 监控落地经验总结

    Monitoring as a Service,旨在让业务研发和 SRE 同学通过 Code 方式完成从监控数据采集、数据聚合、预警规则配置、大盘 CMS 报表展现等功能,提升监控业务场景的便利性、灵活性和创造性,为监控领域丰富多彩的法...
    文章 2020-06-23 754浏览量
  • 经典大数据架构案例:酷狗音乐的大数据平台重构

    从上图可知,主要基于Hadoop1.x+hive做离线计算(T+1),基于大数据平台的数据采集、数据接入、数据清洗、作业调度、平台监控几个环节存在的一些问题来列举下。数据采集: 数据收集接口众多,且数据格式混乱,基本每个...
    文章 2016-02-16 2668浏览量
  • 社会化海量数据采集爬虫框架搭建

    这是一个基本的入门例子,我们再详细介绍怎么一步一步构建一个分布式的适用于海量数据采集的爬虫框架。爬虫框架 整个框架应该包含以下部分:资源管理、反监控管理、抓取管理、监控管理。看一下整个框架的架构图: ...
    文章 2017-05-02 1300浏览量
  • 网络监控神器!这 7 大免费开源工具可别错过

    Ntop 还可以将主机数据存储在 RRD 文件中,以支持持久的数据采集。Ntop 是一款数据包嗅探工具 Ntop 最便捷的用途就是现场流量检查。当你发现自己的某个 Cacti PHP Weathermap 突然显示红色的网络链接集时,就意味着...
    文章 2017-09-01 2439浏览量
  • AIoT设备上云最佳实践集锦【持续更新,建议收藏】

    阿里云物联网平台公共实例,18元/年起:点此购买 按用量付费资源包:点此购买 设备上云技术方案讲解【视频】 1、Linux设备接入IoT平台实践 ...转设备状态监控、预警等功能,7x24h无人值守立即查看
    文章 2019-09-30 17217浏览量
  • 听云廖雄杰:全栈APM,打造端到云的全方位监控体系

    廖雄杰表示,大型的互联网公司通过一些手法都能够轻松的转APM,但对于初创公司和传统公司来讲,由于 APM需要比较大的精力做研发,且要进行数据采集,在没有侵入应用的方式时,需要把监控代码嵌到每个应用里面,要...
    文章 2017-08-09 1464浏览量
  • 网络监控神器!这7大免费开源工具可别错过

    Ntop 还可以将主机数据存储在 RRD 文件中,以支持持久的数据采集。Ntop 是一款数据包嗅探工具 Ntop 最便捷的用途就是现场流量检查。当你发现自己的某个 Cacti PHP Weathermap 突然显示红色的网络链接集时,就意味着...
    文章 2017-10-03 2094浏览量
  • 一步步实施 DevOps(三)

    除此之外监控与开发密切相关,在开发阶段需要为监控数据采集做铺垫,每开发一个新功能就要想到未来这个功能是否需要监控,怎样监控。数据前期采集与数据挖掘非常重要,监控不仅能做软件与硬件的性能分析,还能提供...
    文章 2019-01-03 1553浏览量
  • 作为互联网流量入口,CDN日志大数据你该怎么玩

    阿里云在进行全球化服务的过程中,日志系统支持了监控、调度、计费及数据分析等多业务,那么全球海量日志采集的难点是什么?技术亮点是什么?它的性能、成本又是如何衡量?分享嘉宾:阿里云高级技术专家 姜晓东 15:...
    文章 2018-12-19 1776浏览量
  • 餐饮行业怎么才能转大数据

    餐饮大数据怎么玩 要充分挖掘产生数据节点的决策过程,有一个最实用和简单的方式:将数据节点做更细的分类,找出决策过程中的次级数据节点。大众点评已经将原本简易的总体打分、平均消费、照片的评价体系做的越来越...
    文章 2017-07-03 1689浏览量
  • 阿里云数加产品家族图首次亮相

    数据采集:日志数据上传 数据加工:用户画像 数据分析展现:可视化报表及嵌入应用 社交数据分析:好友推荐 数加产品体验馆 轻松搞定日志实时分析监控大屏 深度学习框架下实现智能图片识别 全量自动化的企业客服语音...
    文章 2017-06-07 8404浏览量
  • 数据浪潮下,前端工程师眼中的完整数据链图

    相对于前端职能而言,一定是与输出终端相关,包括本职工作数据类产品的研发,如阿里指数或百度指数这样的数据展示型产品,还有较为复杂的 BI 工具等,细分起来,最特别的工作应该是数据采集和数据可视化的工作。...
    文章 2017-05-17 2703浏览量
  • 如何自己动手写一个监控系统?

    比如你定义[产品,服务,机器ID]这个组合1分钟只能报警1次,假设服务是web的话,就算有很多个URL都报警了,我也只会在这1分钟内报警1次,具体怎么玩你自己定,否则业务一下子收到几十个报警短信,他会觉得很无助,...
    文章 2017-08-01 1581浏览量
  • 阿里云栖开发者沙龙:时序数据库技术专场

    目前阿里巴巴 TSDB 数据库支撑着集团每秒千万级时序数据点写入,来源涵盖数据中心、容器指标,核心业务在内的海量应用监控采集指标累计超过 100 亿,在 18 年双 11 当天写入峰值达到 4千万/秒数据点。本次分享将...
    文章 2019-03-04 3871浏览量
  • Python分布式爬虫原理

    所见即所得的无阻拦式采集,无论是否需要登录的数据都能够顺利采集。大部分有价值的信息,一般都需要登录才能看到,比如社交网站,为了应对登录的网站要有模拟用户登录的爬虫系统,才能正常获取数据。不过社会化网站...
    文章 2017-11-09 1547浏览量
  • 医疗健康】美甲帮通过数加搭建大数据平台 针对百万...

    数据采集:数据源主要包括云数据库RDS、移动数据分析(Mobile Analytics)日志、服务接口调用的数据。以精细化运营为例,用户属性数据存放于RDS,用户行为数据来源于移动数据分析的日志数据。数据清洗、处理:使用大...
    文章 2020-03-16 1730浏览量
  • DataWorks产品月刊合集

    独享数据服务资源组正式商业化DataWorks数据服务API支持POST类型请求及Body位置入参运维中心补数据功能新增高级模式数据地图支持EMR hive表字段注释中文检索、EMR hive表热度,元数据采集支持混合云网络场景(通过私...
    文章 2020-11-11 8402浏览量
  • 优云CMDB专家实践谈:自动化运维的基石CMDB

    数据采集和补充上,以使用监控与自动化工具为主,它们可以减少大量的录入工作,并且避免人为的错误。痛点现象与对策 III数据不好用 存在的问题: 不清楚有哪些使用场景 经常有这样的情形:为了CMDB而CMDB,导致...
    文章 2016-06-28 6641浏览量
  • 80%的时间在救火,传统运维如何快速成长不被淘汰?

    监控系统是一整套海量日志实时分析解决方案,以日志、REST 接口、Shell 脚本等作为数据采集来源,提供设备、应用、业务等各种视角的监控能力,利用文件传输、流式计算、分布式文件存储、数据可视化、数据建模等技术...
    文章 2017-11-06 7945浏览量
  • 创业公司如何做数据分析(一)开篇

    首先,基础数据源的建设是做好数据分析的关键,因为如果数据源本身出了问题,那么后面做的所有工作都是没有意义的,而且如果没有提前做好数据采集,后期想做分析时也没有数据可做。其次,数据分析的最终结果是需要...
    文章 2017-04-10 7949浏览量
  • “极客范儿”的警察叔叔用的“神奇智能监控系统”是...

    对于进入监控的人,只要在监控中停留三秒,它的数据就可以被采集,用于比对。经过比对,警察叔叔会得到一长串的结果,系统把比对结果匹配度最高的结果排在前面,类似于百度的搜索结果(只是恐怕没人愿意竞价排名)。...
    文章 2017-08-09 892浏览量
  • 创业公司做数据分析(一)开篇

    首先,基础数据源的建设是做好数据分析的关键,因为如果数据源本身出了问题,那么后面做的所有工作都是没有意义的,而且如果没有提前做好数据采集,后期想做分析时也没有数据可做。其次,数据分析的最终结果是需要...
    文章 2017-08-01 1394浏览量
  • 智能诊断——人工智能在云平台上的新

    一个传统半自动运维模式是首先进行大量的数据采集数据采集之后做成报表,可以做定制化的报警,最后需要人工对产生的报警做问题的分析,找到问题的原因,进而去做系统级的或者模块级的优化。这样会带来两个问题,一...
    文章 2017-12-15 1936浏览量
  • 解读《运维知识体系》,直面自动化运维的“灵魂八问”

    作为运维还要理解时间序列数据库,做监控就特别适合使用时间序列数据库,因为我们采集的所有监控指标就是key、value、时间戳和标签,如RRDTool(还可以做绘图)、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、...
    文章 2019-09-17 1983浏览量
  • 数据概念只飘在半空不落地,怎么破解?

    企业开发人员需要将数据采集方法纳入用户界面设计,让作为用户的业务部门知晓数据采集过程,且不会令他们反感。总之,一家油气企业要想成为数据分析领域的领军者,就务必将所有能力结合起来,深深植入企业的竞争力...
    文章 2017-07-03 1208浏览量
  • 新零售的真相藏在哪?你需要知道这三点

    在新零售模式下,企业依托大数据技术,激活内部数据,通过专业化信息平台建设和多源化数据采集,全线打通内部数据,深入挖掘和分析数据资源,实现用户会员跨区域共享信息,从而激活潜在用户,甚至“老客新单”挖掘二...
    文章 2018-09-06 4568浏览量
  • 技术人最不该忽视可视化数据分析!9月2号栖夜读

    在这个“人人都是数据分析师”的时代,阿里的同学几乎都在参与数据采集、加工与消费。数据可视化作为连接“加工——消费”的重要一环,其质量至关重要。优秀的可视化能促成卓越洞见,糟糕的内容则让所有的努力失去...
    文章 2019-09-02 2972浏览量
  • 游戏运维编年史:可能是目前最详细游戏运维指南

    数据采集怎么样尽可能的保证并发的采集,缩短时间。数据的出现丢失或错误,整体数据回滚。谁来保证?怎么保证?大量数据下,核对数据丢失情况怎么样核对?用什么方法?那大掌门又是如何解决这些问题的呢: 1、将数据...
    文章 2017-05-02 3174浏览量
  • 360数据处理平台的架构演进及优化实践

    自助、灵活:自助化和灵活性体现在任务的配置修改、监控调度完全交给用户自己,不依赖于开发人员,想怎么玩怎么玩,让用户真实的体验到玩转大数据。实践案例 接下来分享一下平台的几个典型的实践: 首先是DITTO...
    文章 2018-07-12 3466浏览量
  • 转大数据,你需要了解这8种项目类型!

    随着越来越多的专业社交平台出现,对于某些垂直行业而言,其数据采集范围远远不止 Twitter 和 Facebook。5、专攻日志文件 无论是为了入侵检测还是应对安全审计,你都需要捕获并收集日志文件并使其可检索。在这一领域...
    文章 2017-07-03 1334浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化