• 说说阿里增量计算框架Galaxy

    流计算场景下,数据按时间或条数切成不同的批,批内可以做普遍意义下的MapReduce操作,批之间需要merge阶段做跨批聚合的计算。大家可以对比Spark Streaming的UpdateStateByKey操作,在一个DStream内,各个时间段内...
    文章 2016-12-12 6862浏览量
  • 实时数仓入门训练营:基于 Apache Flink+Hologres 的...

    那么在产生用户行为之后可以做一件什么事情呢?可以在中国的男性用户访问PageID 100的时候,不单纯给他推广告2002,而是推最近这段时间中国男性用户访问PageID 100时候点击最多的那些广告。这样的情况下,如果中国...
    文章 2021-07-13 1233浏览量
  • 数据库必知词汇:流计算

    同时,阿里云流计算还使用了增量计算模型,将大批量数据分批进行增量计算,进一步减少单次运算规模并有效降低整体运算时延。从用户角度,对于流式作业,必须预先定义计算逻辑,并提交到流式计算系统中。在整个运行...
    文章 2020-02-23 399浏览量
  • 大数据相关总结(待续)

    通过海量数据计算分析 可以提取出有用的数据关系模型 这些数据关系模型可以做推荐 可以计算用户行为 可以做人物或者城市画像等等 eg1: 拿到北京200w浮动车数据点 计算到北京的所有的道路网络上 计算出每条道路的...
    文章 2017-11-02 758浏览量
  • 提效降本:蚂蚁金服如何用融合计算改造在线机器学习

    通过这种方式不仅可以兼容流计算和机器学习,也可以将其他模式进行衔接。计算中DAG概念最开始是为了解决多阶段分布式计算的效率而提出的,主要思想是通过调度减少计算时的IO。但是以前的计算DAG,在任务执行的时候它...
    文章 2019-11-01 2492浏览量
  • TableStore时序数据存储-架构篇

    TableStore除了对接Blink,目前也能对接函数计算(Function Compute)做事件编程,在时序场景可以做实时的异常状态监测。同时也可通过Stream API将增量数据读出,做定制化分析。大数据分析引擎 TableStore与阿里云自...
    文章 2018-07-31 7002浏览量
  • 基于实时深度学习的推荐系统架构设计和技术演进

    有的可以做的比较极致,是按“秒”级的。不管是哪边出来的模型,最后都会送到这个模型中去,进行模型的验证以及上线。这个其实是一个非常复杂的工作。首先,静态特征计算是周期性的,也可能是手动的。当需要做 ...
    文章 2021-07-02 1157浏览量
  • Apache Kafka:大数据的实时处理时代

    用户并不需要在意该拓补结构,只需明白定义计算流、得到新的流,写回 Kafka。连接每一个不同的运算单元就是一个 Stream,即 record stream,每一个 Stream 都在源源不断地实时产生 record,每一个 record 是一个...
    文章 2017-10-02 1370浏览量
  • Apache Kafka:大数据的实时处理时代

    用户并不需要在意该拓补结构,只需明白定义计算流、得到新的流,写回 Kafka。连接每一个不同的运算单元就是一个 Stream,即 record stream,每一个 Stream 都在源源不断地实时产生 record,每一个 record 是一个...
    文章 2017-08-09 1573浏览量
  • Elasticsearch基于Pipeline窗口函数实现实时聚合计算

    Streaming窗口计算模型在Spark中我们又可以做一个窗口计算模型,创建一个window,设定一个1-2分钟的时间窗口,在时序的数据处理场景确实很合适,比如使用spark streaming等等。当然有很多数据场景上它并不是时序的,...
    文章 2021-03-22 496浏览量
  • 《Kafka Stream》调研:一种轻量级流计算模式

    对于流计算,已经有Storm、Spark,Samza,包括最近新起的Flink,Kafka为什么再自己一套流计算呢?Kafka Stream 与这些框架比有什么优势?Samza、Consumer Group已经包装了Kafka轻量级的消费功能,难道不够吗?花了...
    文章 2016-07-27 23822浏览量
  • bilibili:基于 Flink 的机器学习工作平台在 ...

    因为很多时候一个机器的学习链路非常长,比如刚刚那个图里面我经常改动的可能只有五六个节点,当我想重新拉起整个实验流程,把整个图克隆一遍,中间我只需要改动其中的部分节点或者大部分节点,上游节点是可以做数据...
    文章 2021-05-27 1359浏览量
  • 《大数据算法》一3.1 空间亚线性算法概述

    可以从数据计算和挖掘多种统计量,如最大值(max)、最小值(min)、和(sum)、平均值(avg)这些基本的聚集的值,也可以计算中位数、分位数、频繁元素等更复杂的统计量,还可以做一些分析、挖掘、预警等,这些工作都...
    文章 2017-06-21 2233浏览量
  • 开放计算架构:蚂蚁金服是如何用一套架构容纳所有计算...

    过去十几年,计算技术不断演进,从大规模数据仓库批计算,到实时计算和流计算,再到交互式分析,一方面能解决一部分问题,另一方面给我们带来了新的挑战。比如,多种计算模式带来多次研发的效率问题,多套系统带来...
    文章 2019-10-18 1507浏览量
  • DT时代阿里云流计算让业务实时、让数据发电

    综合CEP和风险模型可以实时地检测用户的行为是否有问题,进而发出报警避免更大的财产损失。实时报表 实时报表中,例如天猫的双十一大屏,将用户的交易数据和行为数据归组到消息队列中,消息队列读取数据关联到商品的...
    文章 2018-06-26 2356浏览量
  • 如何从系统层面优化深度学习计算

    另外,我们在分布式深度学习方向上关注的另一个问题是如何自动地对资源无关的数据优化的分布式执行,也就是自动划分数据图中的计算任务并为其分配相应的计算资源,以使计算效率最优化。Google的Jeff Dean...
    文章 2018-05-18 805浏览量
  • 什么说 Flink+AI 值得期待?

    因此静态模型通常需要重新训练,这可以是一个定期过程或者通过对样本和模型的预测效果进行监控来实现(注意这里的监控本身其实是一个典型的流计算需求)。另外,在有些场景下,预测阶段的样本分布可能无法在训练阶段...
    文章 2020-02-20 1269浏览量
  • 什么说 Flink+AI 值得期待?

    因此静态模型通常需要重新训练,这可以是一个定期过程或者通过对样本和模型的预测效果进行监控来实现(注意这里的监控本身其实是一个典型的流计算需求)。另外,在有些场景下,预测阶段的样本分布可能无法在训练阶段...
    文章 2020-02-20 434浏览量
  • 手把手教你从系统层面优化深度学习计算

    另外,我们在分布式深度学习方向上关注的另一个问题是如何自动地对资源无关的数据优化的分布式执行,也就是自动划分数据图中的计算任务并为其分配相应的计算资源,以使计算效率最优化。Google的Jeff Dean...
    文章 2018-05-28 1154浏览量
  • 什么说 Flink+AI 值得期待?

    因此静态模型通常需要重新训练,这可以是一个定期过程或者通过对样本和模型的预测效果进行监控来实现(注意这里的监控本身其实是一个典型的流计算需求)。另外,在有些场景下,预测阶段的样本分布可能无法在训练阶段...
    文章 2020-02-20 231浏览量
  • 金融数据智能在蚂蚁金服的现状与发展

    可以想象为将引擎和存储抽象出来,对业务而言,不需要关注流计算与批计算,而只需要关注需要数据做什么以及数据的时效性即可,其他的部分则由引擎以及存储层自动优化和解决。此外,在统一编程模型中真正实现了面向...
    文章 2019-10-12 1929浏览量
  • 什么说 Flink+AI 值得期待?

    因此静态模型通常需要重新训练,这可以是一个定期过程或者通过对样本和模型的预测效果进行监控来实现(注意这里的监控本身其实是一个典型的流计算需求)。另外,在有些场景下,预测阶段的样本分布可能无法在训练阶段...
    文章 2020-02-20 478浏览量
  • 解密阿里云大规模深度学习性能优化实践

    大规模分布式训练的基本计算模型大体上分为两类:一类是 PS 模式的分布式训练,一类是对等模式的分布式训练。如图,PS 分布式有一个参数服务器,有很多个 worker,参数服务器负责存储全局模型,而每个 worker 上都有...
    文章 2020-04-09 1875浏览量
  • 解密阿里云大规模深度学习性能优化实践

    大规模分布式训练的基本计算模型大体上分为两类:一类是 PS 模式的分布式训练,一类是对等模式的分布式训练。如图,PS 分布式有一个参数服务器,有很多个 worker,参数服务器负责存储全局模型,而每个 worker 上都有...
    文章 2020-04-10 1555浏览量
  • Hinton向量学院推出神经ODE:超越ResNet 4大性能优势

    标准化模型容量由网络的深度(K)决定,而连续标准化模型容量可以通过增加宽度(M)来增加,使它们更容易训练。来源:研究论文 还有时间连续RNN(continuous-time RNNs),能够处理不规则的观察时间,同时用...
    文章 2018-06-21 1589浏览量
  • 用BPM策略对遗留应用现代化

    流计算模型应该基于复杂事件处理以及流(Stream/flow)式API,尤其是微服务。CEP可能对事务+分析模型也有用,因为分析有实时的需要。这种模型会叠加到你原来的BPM流程图上,表明了应用是如何与流程自然建立起来的...
    文章 2017-07-03 1126浏览量
  • 开发者解读:为什么蚂蚁要用融合计算这种新计算模式?

    它的特征是迭代周期非常长,数据计算是以天或小时级别来进行的,传统的在线学习主要是指把批计算变成流计算,将流计算的计算引擎和机器学习训练的引擎连接在一起,然后两边快速迭代来产生数据模型。而蚂蚁的在线...
    文章 2019-12-04 1965浏览量
  • 日志和实时流计算处理

    我认为流计算处理的计算模型可以是如同MapReduce那样的分布式处理框架一样的通用,只要它能提供低延迟的结果就可以。而真正来驱动(或决定)处理模型的则是数据收集的方法。通过批次收集的数据则自然由按批次处理。...
    文章 2017-05-26 1418浏览量
  • LinkedIn前数据专家解读日志与实时处理

    我认为流计算处理的计算模型可以是如同MapReduce那样的分布式处理框架一样的通用,只要它能提供低延迟的结果就可以。而真正来驱动(或决定)处理模型的则是数据收集的方法。通过批次收集的数据则自然由按批次处理。...
    文章 2017-05-02 1183浏览量
  • Flink 如何支持特征工程、在线学习、在线预测等 AI ...

    其实除了这些通用的和批的处理之外,Flink 对于机器学习中的模型训练和图计算这些复杂的分析场景也提供了原生支持。这些场景的特点是对数据的迭代计算要求较高,目前 Flink 对迭代计算的支持主要是在 DataSet 接口...
    文章 2020-03-13 1958浏览量
1 2 3 4 ... 145 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化