• 数据采集和抽取怎么做?这篇文章终于说明白了!

    一、企业数据来源二、数据采集概念和价值三、数据采集常用工具四、数据采集系统设计原则五、数据采集模块生产落地分享 有来源才能谈采集,因此我们先来归纳下企业中数据来源。数据来源 企业中的数据来源极其多,但...
    文章 2020-05-21 1815浏览量
  • 时培昕:工业物联网和工业大数据助力企业实现智能制造...

    左边这张图其实是一个大家比较耳熟能详的一套数据流程,但是它是以控制为目的的,从传感器的数据采集到PLC这种控制系统,实现简单地一些存储和一些告警,然后再上到生产管理系统,再上到企业的经营管理系统,一直到...
    文章 2017-10-02 1831浏览量
  • 独家揭秘|阿里怎么做双11全链路压测?

    下面将结合主题系列前几次的文章,介绍下在数据准备、架构改造、流量安全策略(环境及流量隔离)、压测实施、问题定位分析这几方面,阿里巴巴在双十一压测这个项目上具体是怎么做的。压测环境改造 数据准备的同时,...
    文章 2019-10-22 18954浏览量
  • 独家揭秘|阿里怎么做双11全链路压测?

    下面将结合主题系列前几次的文章,介绍下在数据准备、架构改造、流量安全策略(环境及流量隔离)、压测实施、问题定位分析这几方面,阿里巴巴在双十一压测这个项目上具体是怎么做的。数据准备 大促活动确定之后,会...
    文章 2019-10-28 5531浏览量
  • 剑指企业级云原生,阿里云 CNFS 如何破局容器持久化...

    并且阿里云文件存储支持多级存储数据流动,大大简化了自动驾驶数据采集、传输、存储的流程。基因计算最后是来自基因计算场景的案例,该客户是全球领先的生命科学前沿机构。客户面临的问题:数据增长快,当前存储无法...
    文章 2021-07-30 167浏览量
  • 剑指企业级云原生,阿里云 CNFS 如何破局容器持久化...

    并且阿里云文件存储支持多级存储数据流动,大大简化了自动驾驶数据采集、传输、存储的流程。基因计算最后是来自基因计算场景的案例,该客户是全球领先的生命科学前沿机构。客户面临的问题:数据增长快,当前存储无法...
    文章 2021-07-29 278浏览量
  • 当纺织遇上阿里云,数学博士钻进车间要让企业更高效

    然而,之后夏分参与的项目是一家有32年历史的毛纺企业,从订单到配色、染毛、混毛,到纺线、织布和成衣,没有一套完整的数据采集系统。车间主任“迷信”人工智能和机器算法,在没有数据的情况下提出一系列“无解”...
    文章 2018-08-31 2339浏览量
  • 剑指企业级云原生,阿里云 CNFS 如何破局容器持久化...

    可以保存下机数据组装数据以及分析结果数据&xff0c;用于数据的分发、归档、交付&xff0c;保证 海量用户同时上传、下载数据&xff0c;提高数据交付效率。同时提供海量存储空间&xff0c;同时通过生命周期管理&xff0c;将冷...
    文章 2021-07-29 136浏览量
  • 360数据处理平台的架构演进及优化实践

    标准定下来之后,数据如何进入到组件中,这里就会有一个数据采集。接下来数据在组件之间的流转需要定义一个元数据,元数据包括了数据类型和数据字段。对于数据依赖其实就是拓扑关系的维护。图9 计算组件抽象 下图10...
    文章 2018-07-12 3460浏览量
  • 离线计算平台系列之一

    首先是去采集哪些key会出现数据倾斜,这里可以使用groupbykey,然后进行count,如果这样都会挂掉,那么进行sample抽样来解决,随机抽样10%的数据来进行判断。找到这样的key之后,在RDD A里面过滤掉热点对应的key,形成...
    文章 2016-08-03 4461浏览量
  • 支付宝端智能化探索与实践|xMedia:多媒体端智能应用...

    这点和云端的模型制作区别不大,一般由算法工程师负责,包含数据采集、算法设计、模型训练、模型压缩、模型部署等步骤。待模型完成之后,接下来就到了端上的工作,它由移动端开发工程师负责。首先是数据的采集,如扫...
    文章 2020-01-16 473浏览量
  • 支付宝端智能化探索与实践|xMedia:多媒体端智能应用...

    这点和云端的模型制作区别不大,一般由算法工程师负责,包含数据采集、算法设计、模型训练、模型压缩、模型部署等步骤。待模型完成之后,接下来就到了端上的工作,它由移动端开发工程师负责。首先是数据的采集,如扫...
    文章 2020-01-20 1937浏览量
  • [连载]《C#通讯(串口和网络)框架的设计与实现》-1....

    对于一个实时数据采集框架来说,首要的设计特点就是稳定性,这是其他一切特点的前提。不能出现异常后软件无故退出的现象、不能出现关闭软件后进程无法退出的现象、不能出现无法响应数据的现象、不能出现无法处理数据...
    文章 2015-11-20 906浏览量
  • 《精通软件性能测试与LoadRunner最佳实战》—第1章1.4...

    它考虑了用户端、特定的系统知识和操作环境。灰盒测试由方法和工具组成,这些方法和工具取材于应用程序的内部知识和与之交互的环境,能够用于黑盒测试以增强测试效率、错误发现和错误分析的效率。灰盒测试涉及输入和...
    文章 2017-05-02 2066浏览量
  • 软件各种系统架构图

    系统各层次职责1.UI(User Interface)层的职责是数据的展现和采集,数据采集的结果通常以Entity object提交给BL层处理。Service Interface侧层用于将业务或数据资源发布为服务(如WebServices)。2.BL(Business ...
    文章 2018-10-22 6933浏览量
  • 技术详解 阿里云AIoT物模型支撑设备规模已超亿级

    数据标准是一批可用于组装物模型的标准化素材&xff0c;物模型构建过程可以方便地从数据标准库中选择素材进行积木式搭建。在传统领域碎片化严重的情况下&xff0c;定义数据标准非常有挑战&xff0c;通常只有深耕传统行业才能...
    文章 2021-07-23 451浏览量
  • 技术详解 阿里云AIoT物模型支撑设备规模已超亿级

    数据标准是一批可用于组装物模型的标准化素材&xff0c;物模型构建过程可以方便地从数据标准库中选择素材进行积木式搭建。在传统领域碎片化严重的情况下&xff0c;定义数据标准非常有挑战&xff0c;通常只有深耕传统行业才能...
    文章 2021-11-19 16浏览量
  • 工程师笔记:我对数据系统云原生化的一些思考

    打造的分布式文件系统,直接 mount 目录写入 NAS,SLS 直接去 NAS 读(SLS 与 NAS 底层存储系统都是盘古,这里应该是有优化的,具体细节不太清楚,如有错误还请指正),显然相比常规写本地磁盘然后读一遍采集到 ...
    文章 2019-07-28 1325浏览量
  • Spark面试

    source运行在日志收集节点进行日志采集,之后临时存储在chanel中,sink负责将chanel中的数据发送到目的地。只有成功发送之后chanel中的数据才会被删除。首先书写flume配置文件,定义agent、source、chanel和sink然后...
    文章 2018-01-17 1690浏览量
  • 透视盒马:新零售操作系统的秘密

    销售网络的技术难点在线下门店的数据采集,执行效果跟踪,以及线上线下时时的数据同步。盒马构建了一整套的AIoT硬件设备体系,能够准确有效的提升门店现场数据的感知能力以及运筹决策能力,从而提升门店的人效、流效...
    文章 2020-05-12 1572浏览量
  • 带你读《物联网之魂:物联网协议与物联网操作系统》之...

    同时数字通信系统还能够适应各种类型的业务要求,例如电话、电报、图像及数据传输等,它的普及应用也方便实现统一的综合业务数字网,便于采用大规模集成电路,便于实现信息传输的保密处理,便于实现计算机通信网的...
    文章 2019-11-12 982浏览量
  • 阿里云大数据计算平台的自动化、精细化运维之路

    还有一部分是工具,机器的环境变得复杂以后,我们对工具稳定性就有更高要求,比如你要考虑到有些机器的 SSH 会 hang 住,还有某些机器 yumdb 是坏的,不能想当然的以为一条命令下去一定会执行成功。其次是多机房多...
    文章 2017-02-28 10234浏览量
  • 阿里BUY+的前世今生和未来之路

    在探索VR购物的过程中,有两个需要核心解决的问题:一个是VR购物的产品形态是什么,另一个是VR环境下的店铺和商品怎么来。对于这两个问题,我们分别发起了BUY+和造物神计划去解决。一直到双十一结束,基于BUY+探索VR...
    文章 2019-07-24 1525浏览量
  • 阿里大规模计算平台的自动化、精细化运维之路

    还有一部分是工具,机器的环境变得复杂以后,我们对工具稳定性就有更高要求,比如你要考虑到有些机器的 SSH 会 hang 住,还有某些机器 yumdb 是坏的,不能想当然的以为一条命令下去一定会执行成功。其次是多机房多...
    文章 2017-03-23 6005浏览量
  • Hadoop/Spark相关面试问题总结

    source运行在日志收集节点进行日志采集,之后临时存储在chanel中,sink负责将chanel中的数据发送到目的地。只有成功发送之后chanel中的数据才会被删除。首先书写flume配置文件,定义agent、source、chanel和sink然后...
    文章 2015-07-16 1204浏览量
  • 初识视觉SLAM:用相机解决定位和建图问题

    例如,轮式编码器会测到轮子转动的角度,IMU测量运动的角速度和加速度,相机和激光传感器则读取外部环境的某种观测数据。我们只能通过一些间接的手段,从这些数据推算自己的位置。虽然这听上去是一种迂回战术,但更...
    文章 2017-05-04 12495浏览量
  • 快手基于 Apache Flink 的优化实践

    比如采集数据时的时间&xff1b;Processing time&xff08;系统时间&xff09;xff0c;指系统的时间&xff0c;比如处理数据时的时间。如果你对数据的准确性要求比较高的话&xff0c;采用 Event time 能保障 exactly-once。Processing ...
    文章 2020-11-19 6986浏览量
  • PouchContainer 容器技术演进助力阿里云原生升级

    现在每个应用都有很多的 Dockerifle,怎么让 Dockerfile 更有表达能力,减少 Dockerfile 数量。构建的时候并发构建也是一个优化方向,buildkit 在这方面是可选的方案,Dockerfile 表达能力的欠缺也需要新的解决方案...
    文章 2019-12-25 679浏览量
  • 腾讯最赚钱的部门是怎么做运维的?

    比如这个版本是拉新用户,我们把版本发布完以后,还可以采集更多的数据,去帮助运营人员分析,看是不是达到了拉新用户的目的。或者协助运营人员分析,这个版本的用户体验对于拉新用户是不是有瓶颈。这都是运维可做的...
    文章 2017-05-02 2124浏览量
  • 中国工程院院士李德毅:智能车产业化实践与展望

    10年前,人们把传感器、交换机、计算机和服务器移到车里来采集和分析运动数据。5年前,又把传感器藏于车身,把工控机等置于后备箱。现在,传感器和车身一体,“驾驶脑”融入车内总线。“驾驶脑”不同于雷达等传感器...
    文章 2017-08-01 1281浏览量
1 2 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化