• 《工业控制网络安全技术与实践》一2.1.1 什么是SCADA...

    SCADA系统包括实时数据采集、数据通信、SCADA系统支撑平台、前置子系统、后台子系统等。一个SCADA系统通常由一个主站和多个子站(远方终端装置RTU或其他自动化系统)组成。主站通常在调度控制中心(主站端),子站...
    文章 2017-09-06 1277浏览量
  • 助力“新基建”|基于StreamWorks构建实时数据处理...

    袋鼠云实时开发平台(StreamWorks)基于 Apache Flink 构建的云原生一站式大数据流式计算平台,涵盖从实时数据采集到实时数据ETL的全链路流程。亚秒级别的处理延时,Datastream API 作业开发,与已有大数据组件兼容...
    文章 2020-04-14 1762浏览量
  • 谈谈大数据采集和常见问题

    03 实时数据采集实时数据采集主要是一些页面日志的采集,也就是我们常说的用户行为分析数据。日志采集一般有以下几个步骤:数据埋点,数据上报,数据存储。数据埋点:网站上线后一般会植入一段JS脚本,用户访问页面...
    文章 2021-09-10 58浏览量
  • 《工业控制网络安全技术与实践》一一2.1 数据采集与...

    SCADA系统包括实时数据采集、数据通信、SCADA系统支撑平台、前置子系统、后台子系统等。一个SCADA系统通常由一个主站和多个子站(远方终端装置RTU或其他自动化系统)组成。主站通常在调度控制中心(主站端),子站...
    文章 2017-08-02 1739浏览量
  • 数据采集和抽取怎么做?这篇文章终于说明白了!

    一、企业数据来源二、数据采集概念和价值三、数据采集常用工具四、数据采集系统设计原则五、数据采集模块生产落地分享 有来源才能谈采集,因此我们先来归纳下企业中数据来源。数据来源 企业中的数据来源极其多,但...
    文章 2020-05-21 1709浏览量
  • 一站式数据采集存储的利器:阿里云InfluxDB®️数据...

    2.实时监控采集源采集源在运行过程中,您可以实时地监控数据采集的状态,查看采集数据最近一次到达InfluxDB®的时间;并且,您还可以随时停止数据的采集,在您认为合适的时候再重新开启数据采集服务。3.一键切换采集...
    文章 2019-08-05 1584浏览量
  • 一站式数据采集存储的利器:阿里云InfluxDB®️数据...

    采集源在运行过程中,您可以实时地监控数据采集的状态,查看采集数据最近一次到达InfluxDB®的时间;并且,您还可以随时停止数据的采集,在您认为合适的时候再重新开启数据采集服务。3.一键切换采集数据类型 如果您...
    文章 2019-07-22 1542浏览量
  • 一套支持私有化部署的新闻采集系统需要具备什么

    私有化部署的新闻采集系统是什么?很多企业和平台都会搭建内部的新闻采集系统,利用工具每天及时从互联网上采集最新新闻资讯、政务公告、用户反馈等数据数据表现形式包括但不限于文本、图片等,通过API接口将采集...
    文章 2021-08-18 56浏览量
  • 连载:阿里巴巴大数据实践—实时技术

    离线和准实时都可以在批处理系统中实现(比如Hadoop、MaxCompute、Spark等系统),只是调度周期不一样而已,而实时数据则需要在流式处理系统中完成。简单来说,流式数据处理技术是指业务系统每产生一条数据,就会...
    文章 2020-08-19 2173浏览量
  • 分布式数据采集软件较常规大数据采集软件的优势是什么...

    3.响应速度快:分布式的大数据采集系统,具有数据分析、日志分析、商业智能分析、客户营销、大规模索引等业务,采集速度快,操作便捷。4.支持自登录采集只需配置目标网站的账号密码,即可用该模块采集到登录后的数据...
    文章 2019-03-26 1560浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    实时计算以数据采集的输出作为输入,负责对数据进行一轮预处理,包括链路数据的关联(请求都有唯一标识,按照标识group by),数据清洗(只选取需要的数据)以及事件通知。计算延时。从拿到数据到最后过滤输出,要尽可能...
    文章 2019-07-24 11758浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    实时计算以数据采集的输出作为输入,负责对数据进行一轮预处理,包括链路数据的关联(请求都有唯一标识,按照标识 group by),数据清洗(只选取需要的数据)以及事件通知。计算延时。从拿到数据到最后过滤输出,要尽...
    文章 2019-08-29 2796浏览量
  • Tsar——灵活的系统和应用采集软件

    Tsar除了做系统层面数据采集,还能做应用层面采集,还可以进行模块化,并支持扩展。比如现在采集了十个指标,如果有另外有应用指标和业务数据想去采集,可以很方便的在Tsar里去写个模块来采集。同时也支持简单的报警...
    文章 2018-08-03 2053浏览量
  • 【开源】Tsar——灵活的系统和应用采集软件

    Tsar除了做系统层面数据采集,还能做应用层面采集,还可以进行模块化,并支持扩展。比如现在采集了十个指标,如果有另外有应用指标和业务数据想去采集,可以很方便的在Tsar里去写个模块来采集。同时也支持简单的报警...
    文章 2018-07-10 3140浏览量
  • DataFlux:实时数据应用的新选择——阿里云 MVP蒋烁淼

    实时数据汇聚模块可以通过非常简单的配置来快速收集大量的实时数据,为业务系统开足马力供能,主要有以下特性: 快速接入:通过DataFlux的DataKit进行简单配置即可快速获得实时数据数据采集变得非常轻松可靠。全面...
    文章 2020-04-21 561浏览量
  • “阿里巴巴大数据系统体系”学习笔记-纲领篇

    “阿里巴巴大数据系统体系”主要分为数据采集、数据计算、数据服务和数据应用四大层次;数据采集 Web端日志采集技术方案:Aplus.JS APP端日志采集技术方案:UserTrack 生产业务—>大数据系统传输: TimeTunnel(TT...
    文章 2018-08-15 8397浏览量
  • 中间件增强框架之-CaptureFramework框架

    为实现实时数据采集,UAVStack设计了CaptureFramework框架,提供统一的数据抓取行为和生成抓取结果能力。二、CaptureFramework运行原理 2.1 关键技术说明 JavaAssist Monitor捕获体系 precap/docap 2.2 架构说明 ...
    文章 2019-08-05 1695浏览量
  • Logtail从入门到精通(一):日志采集杂谈

    线下导数据:例如邮寄硬盘、AWS Snowmobile 卡车、阿里云的闪电立方等从数据的价值以及体量上而言,实时数据采集毫无疑问最重要的,而其中最大的部分就是日志实时采集。为何使用Agent 实现日志的实时采集一般有2种...
    文章 2018-04-22 6468浏览量
  • 数据中台技术汇(二)|DataSimba系列之数据采集平台

    DataX 不支持实时数据采集,DataS支持秒级的数据采集;DataSimba在采集数据时优先使用DataS的方式。为什么要做DataS 早期的Simba使用DataX导入数据,在企业部署过程中遇到很多问题,如: 某快消企业,数据库本身的...
    文章 2019-05-21 1951浏览量
  • 系列文章:Kubernetes日志方案设计思路

    产品功能从服务一个公司到服务上万家公司会有质的差别,上云促使我们更加深入的去思考:究竟哪些功能是日志这个平台需要去为用户去解决的,日志最核心的诉求是什么,如何去满足各行各业、各种不同业务角色的需求. ...
    文章 2019-11-13 1818浏览量
  • 闲鱼推荐,让智能计算从云走向端

    什么说,延迟问题对推荐系统是致命的,不可原谅的?推荐系统的实时性越高,更新速度越快,推荐越准。现在的用户越来越没有耐心,如果不快速抓住用户的心,用户很容易流失。推荐系统的实时性是指:(1)“模型”的...
    文章 2019-11-13 1195浏览量
  • IOT/智能设备日志解决方案(1):概述

    全球数据采集网络:对于一款消费级/工业级产品,设备遍布全国/全球非常普遍,普通的数据采集网络只能依赖于公网,网络链路质量很难得到保证,数据采集也会存在一定的延迟和不可靠因素。如何建立起一张全球采集加速的...
    文章 2018-09-10 3868浏览量
  • 规划一个智能工厂应避免的十个坑

    在生产和装配的过程中,能够通过传感器、数控系统或RFID自动进行生产、质量、能耗、设备绩效(OEE)等数据采集,并通过电子看板显示实时的生产状态,能够防呆防错;通过安灯系统实现工序之间的协作;生产线能够实现...
    文章 2019-04-19 2222浏览量
  • 一文看懂 K8s 日志系统设计和实践

    产品功能从服务一个公司到服务上万家公司会有质的差别,上云促使我们更加深入的去思考:究竟哪些功能是日志这个平台需要去为用户去解决的,日志最核心的诉求是什么,如何去满足各行各业、各种不同业务角色的需求. ...
    文章 2019-11-20 3941浏览量
  • MaxCompute(原ODPS)开发入门指南——数据上云篇

    Fluentd也是大家经常接触到的分布式日志采集系统,该插件是基于Fluentd开发的输出插件,主要是将采集到的数据写入DataHub。该插件遵守Fluentd输出插件开发规范,安装方便,可以很方便地将采集得到的数据写到DataHub...
    文章 2017-06-07 9015浏览量
  • 机器视觉系统图像采卡基本概念

    整个机器视觉系统分为图像采集与图像处理两大板块,采用模拟工业相机的图像采集系统中,图像采集卡就是连接这两大板块的重要组件。图像采集卡是图像采集部分和处理部分的联通器件,是一种可以获取数字图像信息,并将...
    文章 2018-05-29 1312浏览量
  • 互联网转型需要微服务架构

    今后由于移动互联网和物联网实时数据采集,我们做好实时的在现场的采集,反而不需要人工做采集、手工录入。第四,从封闭系统转向开放系统。过去的系统都是封闭式的,开发它的时候没有考虑到开放、没有考虑到互联...
    文章 2017-07-03 1220浏览量
  • Docker监控怎么做?

    在不同的场景可以选用不同的数据采集方式,比如要实时看主机的CPU使用情况,登陆到主机用CLI方式用top命令就可以看到系统CPU的使用和进程CPU的使用情况。比如有一些应用的状态需要记录,就一定要在日志里输出相应的...
    文章 2017-05-02 2045浏览量
  • 互联网转型需要微服务架构

    今后由于移动互联网和物联网实时数据采集,我们做好实时的在现场的采集,反而不需要人工做采集、手工录入。第四,从封闭系统转向开放系统。过去的系统都是封闭式的,开发它的时候没有考虑到开放、没有考虑到互联...
    文章 2018-05-15 1158浏览量
  • “时序数据库硬件API”打造智慧医疗器械

    医疗器械的每个设备都实时产生数据,这些数据都是非常重要的生理参数特征,需要将其快速的写入到数据库中,那么每秒就要写入上百万甚至上千万的实时数据,同时,还要实时分析,得出准确的、满足医疗需求的分析结果。...
    文章 2018-03-08 2020浏览量
1 2 3 4 ... 56 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化