• 数据平台架构技术选型场景运用

    数据源的特点决定数据采集与数据存储的技术选型,我根据数据源的特点将其分为四大类: 第一类:从来源来看分为内部数据和外部数据;第二类:从结构来看分为非结构化数据和结构化数据;第三类:从可变性来看分为不可变...
    文章 2017-08-01 1143浏览量
  • 一站式数据采集存储的利器:阿里云InfluxDB®️数据...

    3.查看数据采集的状态在“采集源列表”中,您可以看到所有InfluxDB®实例建立连接的采集源,如下图所示。每个采集源由uuid唯一标识,“采集状态”为“running”表示采集工具正在采集数据并上报到InfluxDB®,...
    文章 2019-08-05 1631浏览量
  • 一站式数据采集存储的利器:阿里云InfluxDB®️数据...

    虽然用户可以使用一些开源的采集工具实现数据采集,例如,Telegraf、Logstash和TCollector等,但是,这些采集工具都需要用户自行搭建并维护其运行的环境,增加了用户的学习成本,大大提高了数据采集的门槛。...
    文章 2019-07-22 1595浏览量
  • 【监控】InfluxDB Prometheus的监控分析

    Promethues 的数据采集器,我们称之为 exporter,每一个 exporter 会对外开放一个 端口,供 Prometheus Server 拉取数据。InfluxDB 的数据采集器 Telegraf,influxDB 官方宣传插件化驱动。这玩意的默认配置文件很多,...
    文章 2020-07-30 1568浏览量
  • Docker监控怎么

    在不同的场景可以选用不同的数据采集方式,比如要实时看主机的CPU使用情况,登陆到主机用CLI方式用top命令就可以看到系统CPU的使用和进程CPU的使用情况。比如有一些应用的状态需要记录,就一定要在日志里输出相应的...
    文章 2017-05-02 2054浏览量
  • 工业机器人视觉系统该如何选择?

    为了明确什么哪个才是最重要的,最好做一张评估表,列出“必须做”和“可以做”的测试。一旦主要的对测试标准满意,随后可以将更多的测试加进去来改善检测过程,一定要记住,添加测试的同时也会增加检测的时间。确定...
    文章 2017-11-22 1658浏览量
  • 清华徐葳:如何用大数据和人工智能让云更聪明?

    首先,系统监控一定要,如果觉得它太贵,我们可以详细优化每一个细节,是不是了压缩,是不是了所有可能的事情,来减少数据采集的开销。第二系统监控数据,系统跟你说的话不是自然语言,这些语言不是给你分析的...
    文章 2017-05-02 1443浏览量
  • 大数据下的技术运营:数据采集系统设计实现

    小到故障排查、问题定位,大到业务预测、运营管理,都离不开监控系统,可以说一个稳定、健康的IT架构中必然会有一个可信赖的监控系统,而一个监控系统的基石则是一个稳定而健壮的数据采集系统。定义采集数据 数据...
    文章 2017-08-01 1351浏览量
  • 中国人工智能学会通讯——数据助力智能驾驶体验

    从内容上可以看到,在这个数据集里,除了通用的语料之外,还会加入控制命令、一些地址和音乐方面的内容,这个是针对车内的应用场景而的一些变化。同时,在录制场景方面,车在不同的驾驶环境下、在不同的路况下,...
    文章 2017-09-01 1280浏览量
  • DataWorks数据分析模块|《一站式大数据开发治理...

    需要做什么决策&xff0c;为了支撑这个决策需要拿到什么信息等。第二步是数据采集。明确了需求后&xff0c;可以进行数据采集&xff0c;但这个环节可能会遇到几个问题。首先是期望的数据可能在技术层面是没有存储的&xff0c;或是...
    文章 2021-07-27 385浏览量
  • 数据浪潮下,前端工程师眼中的完整数据链图

    在可视化上的探索是永远不会局限的,人的想象力有多大就可以做得多不可思议。数据产品研发 再说到数据产品研发。产品研发一直是前端工程师的主旋律,我们的工作除了基础架构,稳定性保障,大部分都是在产品研发中。...
    文章 2017-05-17 2696浏览量
  • 干货分享:企业大数据的实时分析之路

    实时的分析,实时的展示,实时的反馈,你可以做一些股票的购买,风险的控制,人机交互。这都是要素四里面说到的。实时分析是大数据分析的必经之路,一开始我们企业做的是内部数据BI,之后是企业大数据分析,经过企业...
    文章 2017-08-01 1478浏览量
  • 切入家居行业,和而泰想用家庭大数据撬动制造业和服务...

    举一个例子,皮肤状态饮食、睡眠、情绪、天气等相关,从美容角度来说,什么样的天气吃什么对皮肤好,食品加工中注意什么可以通过一个人在家庭活动中的数据算出来。为算法服务的数据维度分为三类,一类是通过家电...
    文章 2017-07-04 1260浏览量
  • 助力“新基建”|基于StreamWorks构建实时大数据处理...

    实时采集:支持MySQL、SQLServer、Oracle、PolarDB、Kafka、EMQ等数据源实时数据采集,通过速率和并发数控制可帮助用户更准确的控制采集过程。数据开发:支持FlinkSQL、Flink任务类型,FlinkSQL作业提供可视化存储...
    文章 2020-04-14 1819浏览量
  • 物联网建设中通讯互联层的终极解决方案

    采集与控制单个设备,在实际应用中还远远不够,还要能够设备与设备之间进行信息传递与控制,并且返回给发送控制源设备确认信息。例如:在监测流量计严重报警的情况下,是否应该调节或控制液体源头的阀门。类似的例子...
    文章 2016-12-15 567浏览量
  • 如何采集Nginx的日志?

    可以在filebeat 和 ES之间加一层Logstash,可以将filebeat于ES解耦,通过Logstash可以做一些预处理,也可以通过Logstash采集到除ES以外的其他数据存储上。二、通过filebeat采集日志到logstash再送到ES 首先得安装 ...
    文章 2020-06-01 1314浏览量
  • 规划一个智能工厂应避免的十个坑

    面向生产一线工人:指令做什么、怎么做、满足什么标准,什么时候开工,什么时候完工,使用什么工具等;记录“人、机、料、法、环、测”等生产数据,建立可用于产品追溯的数据链;反馈进展、反馈问题、申请支援、拉动...
    文章 2019-04-19 2247浏览量
  • 什么选择这样的大数据平台架构?

    一定程度讲,比如企业客户统一视图宽表用HIVE做比较低效,因为涉及到多方数据的整合,但不是不可以做,最多慢点嘛,还是要讲究个平衡。hadoop到了X000台集群的规模也撑不住了,当前很多企业的数据量应该会超过这个...
    文章 2017-08-01 2367浏览量
  • 养鸡也能如此炫酷?阿里云MVP刘洪峰讲述IoT平台养鸡...

    另外,物联网本身的链条很长,传感器把数据采集完以后需要传到网关,从网关再到云端,到了云端需要一些Web上用应用或者APP,这一整个长链条的应用如果自己来非常复杂,自从有了阿里云物联网平台的一体化支持,...
    文章 2019-08-01 1836浏览量
  • 科技云报道:混合云之下,全网流量采集为何成为头部...

    再比如,针对企业在混合云环境中的流量采集需求,DeepFlow凭借其分布式架构和开放可编程的特性,将采集与分析消费解耦,并与多种云平台对接,实现了大规模异构IT资源池虚拟流量的统一采集和管理。为了确保企业安全...
    文章 2020-05-09 856浏览量
  • 阿里云物联网是什么

    阿里云物联网平台为设备提供安全可靠的连接通信能力,向下连接海量设备,支撑设备数据采集上云;向上提供云端API,指令数据通过API调用下发至设备端,实现远程控制。物联网平台也提供了其他增值能力,如设备管理、...
    文章 2020-09-23 2873浏览量
  • 阿里云物联网是什么

    阿里云物联网平台为设备提供安全可靠的连接通信能力,向下连接海量设备,支撑设备数据采集上云;向上提供云端API,指令数据通过API调用下发至设备端,实现远程控制。物联网平台也提供了其他增值能力,如设备管理、...
    文章 2020-10-02 1607浏览量
  • 数据和精准投放是广告行业的一场变革

    比如,《消费者权益保护法》第29条就对“经营者要采集什么数据,准备做什么用途,消费者是否同意”这些核心问题作出了明确规定:经营者收集、使用消费者个人信息,应当明示收集、使用信息的目的、方式和范围,并经...
    文章 2017-08-01 1474浏览量
  • 时培昕:工业物联网和工业大数据助力企业实现智能制造...

    其实我们看得见是从最原始的数据到最终展现,它是需要一层一层往上传递的,但原有的系统由于它是以控制为目的的,所以它在以数据采集,包括数据分析都是以控制为目标的,实现的数据采集的量,包括准确度,包括范围...
    文章 2017-10-02 1831浏览量
  • 微软物联网发掘万物互联的价值

    在物联网行业要做什么?徐明强表示,微软做物联网分几个步骤:第一,连接新老设备,不是只有Windows的操作系统设备才可以连上来,新旧设备都可以连接起来。不仅可以连接具有互联网协议的新设备,还可以用适配器连接...
    文章 2017-07-12 1227浏览量
  • 数据中心网络运维的苦

    对于虚拟机之间的东西向流量,我们可以在宿主机上插入 DFI 内核模块,或者在服务器上启动一个虚拟机用于数据采集,这样就能拿到 OvS 的全部网包了。拿到数据之后我们选择输出网流(当然我们也可以输出网包),为什么是...
    文章 2017-08-01 1174浏览量
  • 陈磊-大数据风控:拍拍信的AI视角

    从聚合数据的输出查询,可以看出一步关联二次关联的数据联系。而更深层次的特征查询,能对关系网络形态位置,把非结构化的关系网络转化为一般模型可以能吸收并消化的特征向量,从而检测到异常客户。以上讲了很多...
    文章 2017-10-25 2167浏览量
  • 技术解读|完整揭秘网络领域顶会SIGCOMM'20论文 阿里...

    而其他虚拟转发设备是预置规则,没有动态下发过程,对系统压力小,而数据采集本身会一定的限速保护,而持续丢包问题的诊断所需要Trace的包量级也不会很大,在任务中控制好包的数量,那么整个过程对转发的性能消耗...
    文章 2020-06-10 1263浏览量
  • 神策数据面向互联网金融企业提供行业解决方案

    数据采集与建模 数据仓库累积数据资产,分析用户行为规律有所依据 神策数据帮助企业通过PaaS平台搭建自己的数据仓库。数据在手表示企业可以随时回溯历史数据,不必再花时间从第三方数据分析平台调用数据,实时掌握...
    文章 2017-09-05 1486浏览量
  • 数仓实时化改造:Hudi on Flink 在顺丰的实践应用

    上述已经分享了我们在内部已经落地、实际应用的过程,后续我们还会做什么?4.1 弹性计算 首先,弹性计算。目前像监控任务,用户申请的资源远远超过实际需要使用的资源,会造成严重的资源浪费,内存也一样。处理类似...
    文章 2021-01-05 1101浏览量
1 2 3 4 ... 53 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化