• 从开发小白到直播软件开发的音视频专家

    采集:它解决的是,数据从哪里来的问题渲染:它解决的是,数据怎么展现的问题处理:它解决的是,数据怎么加工的问题传输:它解决的是,数据怎么共享的问题每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的...
    文章 2020-08-24 496浏览量
  • LC3视角:Kubernetes下日志采集、存储与处理技术实践

    Logtail从以下两个维度来解决数据采集的完整性问题: 部署 通过DaemonSet方式来快速部署Logtail到一个Kubernetes node上,一条指令就可以完成,与K8S应用发布集成也很方便。Logtail客户端部署到node上以后,通过...
    文章 2018-07-05 13400浏览量
  • 经典大数据架构案例:酷狗音乐的大数据平台重构

    数据统一接入:为了后面数据流环节的处理规范,所有的数据接入数据中心,必须通过数据采集网关转换统一上报给Kafka集群,避免后端多种接入方式的处理问题。数据实时清洗(ETL):为了减轻存储计算集群的资源压力及数据...
    文章 2016-02-16 2686浏览量
  • 20年资深Oracle老兵:一个经典老问题在12c中的优化...

    上图是一个时间轴,基本流程如下:假设某系统每天凌晨3:00要进行批处理,其中T1表是一个中间结果表,每次在批处理开始之前已经被清空为0,在批处理中将加载大量数据,例如100万记录,在批处理结束时又清空为0。...
    文章 2017-05-02 1348浏览量
  • 全面解析大数据

    新的技术代表着全新的方法论,大数据的代表的新的IT生态系统,包括大数据采集、存储、管理、计算、安全技术。数据随时间迅速折旧,个体数据的精确性不再重要,现在改变“数据是稀缺资源”的世界观。英特尔中国研究院...
    文章 2015-01-28 786浏览量
  • [喵咪BELK实战(1)]浅谈日志的重要性以及介绍BELK

    Beats是一个数据采集组件,主要使用的比较多的是里面的Filebeat,Filebeat是个很轻量级的工具使用GO语言编写•监听本机指定日志文件的新增条目,类似tail-f•做最原始的过滤和处理•将数据发送给Logstash,也可以直接...
    文章 2020-08-11 186浏览量
  • 数据采集:“埋点”到底要不要?

    所以,以上三种方式虽然都多多少少解决了一部分数据采集问题,但又都解决的不彻底。“埋点混乱” 聊完采集方法,再来说说关于埋点的管理。我曾经接触了一家做了七八年的老牌互联网公司,他们的数据采集有 400 多个...
    文章 2017-09-05 1929浏览量
  • NET实现之(WebBrowser数据采集—终结篇)

    由于数据采集逻辑比较复杂,特别是自动数据采集,需要处理很多逻辑问题,这些东西都是因需求不同而不同,所以本人也只能讲解到这个层度了,大概的实现方式都是这样的,只要我们去慢慢的分析前后关系,HTML的组织,我...
    文章 2011-06-05 892浏览量
  • 云和大数据时代的数据管理

    除此之外采集处理、开放、消费跟运维这些问题Hadoop都没有办法帮企业解决。借助BingoInsight构建大数据平台是怎样一种体验?上图为BingoInsight产品架构图 1.BingoInsight只需简单配置即可从多种数据源按多种数据...
    文章 2017-07-03 1172浏览量
  • Docker监控怎么做?

    在不同的场景可以选用不同的数据采集方式,比如要实时看主机的CPU使用情况,登陆到主机用CLI方式用top命令就可以看到系统CPU的使用和进程CPU的使用情况。比如有一些应用的状态需要记录,就一定要在日志里输出相应的...
    文章 2017-05-02 2076浏览量
  • 如何写一个日志采集工具

    采集端来看,就包括了文本日志、网络收发日志、容器日志、内存共享日志等日志的采集,如何实时、高吞吐、低消耗并且无公害地采集日志,是一个成功日志采集工具所必须解决问题。下面笔者将以开发当中会遇到的问题...
    文章 2018-11-14 3237浏览量
  • 创业公司如何做数据分析(三)用户行为数据采集系统

    作为系列文章的第三篇,本文将重点探讨数据采集层中的用户行为数据采集系统。这里的用户行为,指的是用户与产品UI的交互行为,主要表现在Android App、iOS App与Web页面上。这些交互行为,有的会与后端服务通信,...
    文章 2017-04-13 5971浏览量
  • 日志采集中的关键技术分析

    当我们开始写日志采集Agent的时候遇到的第一个问题就是怎么发现文件,最简单的方式就是用户直接把要采集的文件罗列出来放在配置文件中,然后日志采集Agent会读取配置文件找到要采集的文件列表,最后打开这些文件进行...
    文章 2018-06-12 7032浏览量
  • 开源监控利器Prometheus初探

    之前提到Prometheus server的数据采集配置都是通过配置文件,那服务发现该怎么做?总不能每次要添加采集目标还要修改配置文件并重启服务吧。这里使用file_sd_configs指定定义了采集目标的文件。Prometheus server会...
    文章 2018-12-18 2228浏览量
  • JMS应用领域

    例如,可能在北京的一个数据中心部署了数据采集系统,采集到数据后以消息的方式发送到消息服务器,然后消息服务器再把这条消息路由到上海的数据中心,再由上海数据中心部署的数据处理系统来处理这条消息.4.JMS与事务,...
    文章 2017-12-06 1179浏览量
  • 开源监控利器Prometheus初探

    之前提到Prometheus server的数据采集配置都是通过配置文件,那服务发现该怎么做?总不能每次要添加采集目标还要修改配置文件并重启服务吧。这里使用file_sd_configs指定定义了采集目标的文件。Prometheus server会...
    文章 2018-07-19 4975浏览量
  • 基于阿里云IoT组件搭建车联网基础平台

    作为主机厂,能够从汽车内置的传感器中收集比OBD还要多的数据怎么解决设备的连接问题怎么采集这些数据使用什么样的通信协议等等,这些海量数据怎么进行稳定可靠的上下行通信。数据的分析与运营 对于采集上来的...
    文章 2020-03-11 1674浏览量
  • 古瑞瓦特监控系统为安装商解除后顾之忧

    逆变器装好之后,如果要增加一个新的数据采集器,只需要用手机扫描条形码,30秒内解决问题,操作简单方便。在手机APP上可以查看每一个电站每一天的发电曲线,每一天的发电量,每个月的发电量,也可以查看当天每一台...
    文章 2017-07-03 1570浏览量
  • 把前端监控做到极致

    解决数据采集处理问题,我们应该怎么着手进行分析呢?让我们先看一个真实案例: 当你吃着火锅唱着歌的时候,突然看到实时监控数据暴涨,这个时候你的第一反应是什么呢?是不是手足无措不知道应该怎么处理?当...
    文章 2018-07-11 2356浏览量
  • 无人值守时代,运维如何保障发布质量?

    其次是对数据进行处理,原始的数据中会有一些干扰的数据,干扰的来源可能是多方面的,可能是数据采集系统本身的问题,也可能是与业务自身的特点有关,需要把这些干扰的数据能够剔除掉。然后就是针对采集和处理后的...
    文章 2018-04-18 3937浏览量
  • 【干货】徐葳:如何用大数据和人工智能让云更聪明?

    我们是做大数据处理系统的,这些数据对我们来说很小,所以我们能够主动检测出系统有什么问题。这样我们用机器的计算,代替了人类的智能。刚刚说了“看”的问题,假定我可以看到系统有什么问题,有什么优化的,下面...
    文章 2017-04-03 948浏览量
  • 数据仓库、数据湖、流批一体,终于有大神讲清楚了!

    面对这样一个无比冗余无比复杂的系统,我们应该怎么解决这些问题呢?我们可以对Lambda架构做一个简化。其实业务的本质就是将数据源做一个实时处理或者离线处理(批处理),从业务场景出发,我们希望不管是实时数据...
    文章 2020-05-14 2036浏览量
  • 清华徐葳:如何用大数据和人工智能让云更聪明?

    我们是做大数据处理系统的,这些数据对我们来说很小,所以我们能够主动检测出系统有什么问题。这样我们用机器的计算,代替了人类的智能。刚刚说了“看”的问题,假定我可以看到系统有什么问题,有什么优化的,下面...
    文章 2017-05-02 1466浏览量
  • 云时代如何实现企业IT智能诊断?...

    传统情况下,客户通过监控的方式来发现系统问题解决问题。在云计算的大背景下,传统监控慢慢力不从心。表现在:  监控对象范围有限:比较适合本地硬件与服务监控,不太适合对云原生环境的支持。 监控告警具有...
    文章 2019-04-12 1589浏览量
  • 数据对网络运维意味着什么?

    公有云服务商在帮助大型客户进行数据迁移的时候遇到过较多此类案例,存储系统必须能够同时处理来自不同系统、不同格式的异构数据数据时代的大数据生态必然要求软、硬件尽可能的兼容、统一。IDC近年来一直致力于...
    文章 2017-08-01 1074浏览量
  • 创业公司做数据分析(三)用户行为数据采集系统

    作为系列文章的第三篇,本文将重点探讨数据采集层中的用户行为数据采集系统。这里的用户行为,指的是用户与产品UI的交互行为,主要表现在Android App、iOS App与Web页面上。这些交互行为,有的会与后端服务通信,...
    文章 2017-08-01 2605浏览量
  • 智造制造的AI之路

    综上执行层虽然处于数据采集最核心的位置,但对于他们工作KPI(工时/件数)等均没有增益,甚至会影响产量。MES大部分功能面向管理层,但是MES的应用主要靠执行层表现。执行层的数据来源于机器采集、手工录入、上游...
    文章 2019-04-16 972浏览量
  • 智能诊断——人工智能在云平台上的新玩法

    一个传统半自动运维模式是首先进行大量的数据采集数据采集之后做成报表,可以做定制化的报警,最后需要人工对产生的报警做问题的分析,找到问题的原因,进而去做系统级的或者模块级的优化。这样会带来两个问题,一...
    文章 2017-12-15 1962浏览量
  • 数据对网络运维意味着什么?

    公有云服务商在帮助大型客户进行数据迁移的时候遇到过较多此类案例,存储系统必须能够同时处理来自不同系统、不同格式的异构数据数据时代的大数据生态必然要求软、硬件尽可能的兼容、统一。IDC近年来一直致力于...
    文章 2017-09-01 1192浏览量
  • 阿里:千亿交易背后的0故障发布

    其次是对数据进行处理,原始的数据中会有一些干扰的数据,干扰的来源可能是多方面的,可能是数据采集系统本身的问题,也可能是与业务自身的特点有关,需要把这些干扰的数据能够剔除掉。然后就是针对采集和处理后的...
    文章 2018-04-20 5097浏览量
1 2 3 4 ... 38 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化