• 双11数据大屏背后:大规模流式增量计算及应用(附资料...

    其实就是去写一个程序来表达实时处理逻辑,数据是以流的形式进来然后存储在某个消息队列中,之后应用再去消息队列中获取数据并进行计算,并将数据产生的价值传输到下游的系统中。但是与离线计算不同,实时流式计算...
    文章 2017-05-22 1671浏览量
  • 双11数据大屏背后的秘密:大规模流式增量计算及应用

    其实就是去写一个程序来表达实时处理逻辑,数据是以流的形式进来然后存储在某个消息队列中,之后应用再去消息队列中获取数据并进行计算,并将数据产生的价值传输到下游的系统中。但是与离线计算不同,实时流式计算...
    文章 2017-03-13 6119浏览量
  • 美团点评 Flink 实时数仓应用经验分享

    实时处理技术,又是强调当前处理状态的一门技术,所以我们认为这两个相对对立的方案重叠在一起的时候,它注定不是用来解决一个比较广泛问题的一种方案。于是,我们把实时数仓建设的目的定位为解决由于传统数据仓库...
    文章 2020-07-04 1344浏览量
  • 批流融合实时平台在好未来的应用实践

    说一下 ODS 层实时化我们具体是怎么做的。要想把 ODS 层数据实时化,我们需要解决两个问题,第一个是离线数据的初始化问题,第二个是增量数据如何写入的问题。离线数据导入比较好做,如果数据源是 MySQL,我们可以...
    文章 2021-01-07 2730浏览量
  • Java:过去、未来的互联网编程之王

    RTSJ(Real-Time Specification for Java,即 Java 实时规范)以及相关标准用以处理这些事件的时间不确定性——定期或零星的任务调度、任务期限和 CPU 时间预算、垃圾收集线程、启用某些任务以避免垃圾收集延迟的...
    文章 2017-06-08 1367浏览量
  • 秘籍:如何用廉价硬件玩转深度学习,成本不到1000美元

    没选SSD固态硬盘,是因为比较贵也用不着,深度学习的程序不受硬盘I/O接口限制,因为数据会批量加载到内存里然后处理很长时间。显卡/GPU 怎么选显卡是最棘手的问题,玩深度学习,肯定得选NVIDIA,因为N记有CUDA框架和...
    文章 2018-03-14 2587浏览量
  • 《Adobe Premiere Pro视频编辑指南(第2版)》——...

    这是怎么回事呢?如果碰到这种情况,不要担心:因为这并不表示片段序列不被播放(或者也并不表示实时播放功能被关闭了)。可以参阅侧栏中“关于Adobe Premiere Pro工作流程的一点说明”来了解更详细的信息。在Adobe...
    文章 2017-05-02 2624浏览量
  • 持续定义Saas模式云数据仓库+实时搜索

    因此,我们更倾向于把MaxCompute看成一个数据处理的平台,在它上面我们可以做离线数据的处理,包括数据库的应用,传统数据仓库的应用,以及近实时的数据采集和近实时的数据查询,现在将其与MC-Holegres组件结合,...
    文章 2020-10-12 10499浏览量
  • LC3视角:Kubernetes下日志采集、存储与处理技术实践

    首先要强调的是,并非所有日志都需要实时处理,当前很多"T+1"时效的日志交付依然非常重要,比如:做BI可能天级别延迟足够,ctr预估可能1小时延迟的日志也可以。但是,在有些场景下,秒级或更高时效性的日志是必备...
    文章 2018-07-05 13251浏览量
  • 数据工程师必须掌握的7个大数据实战项目

    孤立这段时间,选取当前时间点发生的事件,做单独的处理,那就是实时处理。这类项目里,复杂度就是针对时间点的细化,可以是 millisecond(毫秒),nanosecond(纳秒:十亿分之一秒),picosecond(皮秒:一万亿分之一秒). ...
    文章 2020-01-03 3658浏览量
  • NET简谈组件程序设计之(AppDomain应用程序域)

    我们来看一下应用程序域是大概怎么创建的,包括代理的创建、位置的保存。用程序域中调用新的应用程序的功能,设计到了跨域的访问,所以.NET通过ObjRef保存新的应用程序的位置信息以便在客户端生成代理。当ObjRef到达...
    文章 2011-09-15 683浏览量
  • 牛X!100 年都不用更新的操作系统

    通过深度机器学习,操作系统会对内部系统环境和外部软件环境实时地自动适应。平时你安装的大多数更新和补丁,都是为了让系统运行更稳定、更安全、更兼容。基于这3个因素,工程师们会面对更复杂的问题,包括数据库...
    文章 2017-06-04 1060浏览量
  • 专栏|YARN,母系社会的运行架构

    东西其实不复杂,具体的处理流程如下: 儿子只负责提需求。老婆主要根据当前家庭的收入支出情况,以及需求的合理性(玩具是否适合这个年龄段、是否具有危险性、是否适合男孩子玩等)来判断需求是否可以被接纳。...
    文章 2018-11-22 1415浏览量
  • NET简谈组件程序设计之(AppDomain应用程序域)

    我们来看一下应用程序域是大概怎么创建的,包括代理的创建、位置的保存。简单解释一下:客户端通过AppDomain静态方法创建一个新的应用程序域,然后封装ObjRef对象,由于要在客户端应用程序域中调用新的应用程序的...
    文章 2017-11-14 1067浏览量
  • 揭秘OSS实战优化、UDF追求极致之路

    我们通过请求的方式让大家了解OSS图片实时处理架构,用户在访问OSS时在图片后面加一些参数, 一般来说会通过电脑和手机先访问CDN,CDN发现缓存 miss以后,就会回源到OSS协议接入层,OSS会先去访问图片缓存,如果命中...
    文章 2017-02-28 5329浏览量
  • 阿里云内存增强型实例re6性能怎么样?

    SAP HANA 是基于内存计算技术的高性能实时数据计算平台,将联机分析处理(OLAP)和联机事务处理(OLTP)整合到了单一的内存计算数据库中,这不仅消除了磁盘瓶颈,还提供了前所未有的高性能。阿里云内存增强型实例re6几乎...
    文章 2020-05-24 612浏览量
  • 【杭州云栖】阿里云高级技术专家刘廷伟:全球CDN服务...

    于是就将卡顿排除的手段和处理程序化,当有问题出现的时候,直接告警通知问题发生了、问题发生的原因是什么、这个问题的原因应该执行的修复策略是什么。一个是自动化处理陷阱,不要天真的以为所有的事情都可以自动化...
    文章 2018-09-21 3888浏览量
  • 《构建实时机器学习系统》一 导读

    总算有客户开始用了,怎么样才能对结果实时监控?这个时候你才会想起马云的那句话:“离开公司了你什么都不是”。还是回大公司吧,至少比较安稳……总结起来,机器学习从业人员的难处有三点。技能无法直接转化为经济...
    文章 2017-09-08 2805浏览量
  • 小白学数据之NoSQL数据库 进阶篇

    从功能上讲,数据库分成两种:一种是实时系统(也叫线上交易处理OLTP),另外一种就是数据仓库了(也叫线上分析处理OLAP)。实时系统主要的功能是日常的操作处理。假设我们有一个卖煎饼的电子商务网站,那我们的电子...
    文章 2017-05-02 1350浏览量
  • 《PaaS程序设计》一1.3 云:发展历程简介

    在应用程序生命周期管理概念出来之前,我们需要安排一个团队人为处理好几百台新服务器的增加工作。我们需要部署好代码。这些工作都需要人工干预以及人力资源协调。即便采用DevOps,这也是一项艰巨的工作。我们如何...
    文章 2017-07-03 1903浏览量
  • 数据库选型十八摸 之 PostgreSQL-致 架构师、开发者

    《"物联网"流式处理应用-用PostgreSQL实时处理(万亿每天)》 6 GIS、图像近似度运算-互联网、AR红包、虚拟现实与GIS结合、广告营销 等业务场景 AR红包是GIS与图像、社交、广告等业务碰撞产生的一个全新业务场景。需要...
    文章 2017-02-10 11373浏览量
  • 阿里云服务器实例规格怎么选/阿里云所有实例规格适用...

    实时视频处理及安全等计算工作负载 FPGA计算型实例规格族f3 深度学习推理 基因组学研究 数据库加速 图片转码,例如JPEG转WebP 实时视频处理,例如H.265视频压缩 GPU计算型弹性裸金属服务器实例规格族ebmgn6v 深度...
    文章 2020-02-23 1229浏览量
  • 王者荣耀背后的实时大数据平台用了什么黑科技?

    我们自研的 SQL 是怎么存储,最早是使用 Storm,但 StormSQL 的效率非常低,所以我们根据 SQL Parser 做的 SQL 的分装,我们对 SQL 自己进行解析,自己形成函数,在 SQL 提交之后,我们用这样的方式直接把它编译成 ...
    文章 2020-09-21 9413浏览量
  • 云计算是什么,阿里云提供哪些云服务

    IaaS上购买的一般是主机,用户不光要开发程序,还要考虑搭建系统,维护运行环境,以及怎么容灾,怎么做到高可用,怎么扩容。PaaS——相当于租房,房子做什么用有一定限制,但装修家居什么的房东都做好了,不够再租也...
    文章 2019-10-16 3170浏览量
  • 分布式编程模型的设计与演化

    在分布式计算领域,从数据处理的时效性出发,为在线数据应用和离线数据计算两大类,如同样的SQL语言,在在线数据应用领域可以处理类似于“小明了一只手机”之类的操作,也可以完成“最近5年所有手机商城成交量”的...
    文章 2017-05-21 5854浏览量
  • 当数据智能遇上工业制造

    骁龙835把虹膜识别、神经网络处理和算法应用到实时图像处理,封装尺寸变小 促进集成和融合,和其它终端的集成更容易…手机到车联网应用,功耗的降低提高了使用和应用场景,这也是融合化和人性化的完美体现吧!...
    文章 2019-09-18 1082浏览量
  • 唐端荣|DSP投放引擎的设计与实现

    它处于RTB实时交易链中代表广告主利益的节点,是一种直接面向广告主的效果广告投放技术,它是以竞价或定价的方式,实现广告的受众购买和程序化购买,支持实时竞价和人群定向(DMP),同时具备对投放效果的实时监测、...
    文章 2017-08-01 2897浏览量
  • 当数据智能遇上工业制造

    骁龙835把虹膜识别、神经网络处理和算法应用到实时图像处理,封装尺寸变小 促进集成和融合,和其它终端的集成更容易…手机到车联网应用,功耗的降低提高了使用和应用场景,这也是融合化和人性化的完美体现吧!...
    文章 2017-04-17 4142浏览量
  • 5W1H(六何分析法)全景洞察大数据

    在线实时数据清洗,一般是用sparkstreaming或者strom/jstorm直接处理实时流过来的数据,清洗完成,因为实时化,所以一般会接到在线的数据存储上,比如rds、mogodb、redis、hbase等。数据存储服务基本来讲,hadoop...
    文章 2016-06-30 9912浏览量
  • 5W1H(六何分析法)全景洞察大数据

    在线实时数据清洗,一般是用sparkstreaming或者strom/jstorm直接处理实时流过来的数据,清洗完成,因为实时化,所以一般会接到在线的数据存储上,比如rds、mogodb、redis、hbase等。数据存储服务 基本来讲,hadoop...
    文章 2018-11-05 2043浏览量
1 2 3 4 ... 11 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化