批处理系统如何搭建

  • Lambda plus: 云上大数据解决方案

    本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结...

    文章 Dendi 2019-05-29 2509浏览量

  • 大数据架构如何做到流批一体?

    阿里妹导读:大数据与现有的科技手段结合,对大多数产业而言都能产生巨大的经济及社会价值。这也是当下许多企业,在大数据上深耕的原因。大数据分析场景需要解决哪些技术挑战?目前,有哪些主流大数据架构模式及其发展?今天,我们都会一一解读,并介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该...

    文章 技术小能手 2019-07-01 4165浏览量

  • DT时代阿里云流计算让业务实时、让数据发电

    摘要: 如果说数据处理技术时代中数据是新能源,流计算就是让新能源发电的关键技术。基于阿里云流计算天猫双十一大屏可以实时展现上亿条数据订单。如何搭建具备亿级QPS处理能力的流式大数据处理系统,本文就阿里云流计算在大数据实时处理中带来的价值、流计算的显著优势以及应用场景和案例等方面的内容做了深入的分析...

    文章 sherlding 2018-06-26 2172浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 阿里巴巴为什么选择Apache Flink?

    本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。 合抱之木,生于毫末 随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处...

    文章 技术小能手 2018-10-16 4391浏览量

  • 阿里巴巴为什么选择Apache Flink?

    作者:王峰 整理:韩非 本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰(花名:莫问)在云栖大会‘开发者生态峰会’上发表的演讲。 伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值,再也难...

    文章 Ververica 2019-05-05 1268浏览量

  • 阿里巴巴为什么选择Apache Flink?

    本文作者:王峰(花名:莫问) 导读:伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值再也难以被计算。时下,谈及大数据,不得不提到热门的下一代大数据计算引擎Apache Flink(以下简称Flink)...

    文章 赵慧 2018-10-16 2905浏览量

  • Lambda plus: 云上大数据解决方案

    本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结...

    文章 Dendi 2019-05-31 884浏览量

  • 超越批处理的世界:流计算

    今日,流式数据处理是大数据里的很重要一环。原因有不少,其中包括: 商业(竞争)极度渴望更快的数据,而转换成流计算则是一个好的方法来降低延迟。 海量的、无穷数据集在现在的商业环境里变的越来越常见,而用专门设计来处理这样数据的系统来应对这些数据则更为容易。 在数据到达时就对他们进行处理能...

    文章 小旋风柴进 2017-05-02 904浏览量

  • 带你读《企业数据湖》之二:数据湖概念概览

    点击这里查看第一章:数据导论 点击这里查看第三章:Lambda架构:一种数据湖实现模式 第2章数据湖概念概览 数据湖概念的诞生,源自企业面临的一些挑战,如数据应该以何种方式处理和存储。最开始,企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。最开始的时候,每个应用程序会产生、存储大量数...

    文章 云迹九州 2019-10-19 869浏览量

  • 大数据小视角4:小议Lambda 与 Kappa 架构,不可变数据的计算探索

    这个系列文章之前因为私事荒废了很久,继续更新~~之前与老大谈论架构时,老大和我聊了聊分布式数据处理之中的Lambda结构,之前在《Designing Data-Intensive Applications》这本书之中,作者 Martin Kleppmann也在文中涉及到了通过重...

    文章 happenlee 2018-08-08 2300浏览量

  • 【干货合集】NoSQL技术体系深度解读系列(一):Redis,从技术原理到最佳实践

    2018年开年知识盛会——NoSQL数据库直播大讲堂峰会,将于1月19日、23日、25日与大家见面,阿里云Redis、MongoDB、HBase的15位技术专家、产品专家将给大家带来深度的技术及产品分享。本次峰会的主要板块包括1月17日的北京产品发布会、1月19日、23日、25日的系列直播技术大讲...

    文章 场景研读 2018-01-08 12677浏览量

  • 海量数据下的舆情分析,该如何搭建?

    阿里妹导读:互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博、朋友圈或者点评网站上发表动态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象,一则信息可以在短短数分钟内,有数万计转发,数百万的阅读。海量信...

    文章 KB小秘书 2019-07-26 1261浏览量

  • 如何落地一个算法?

    一 背景 在云计算环境下,虚拟机的负载均衡、自动伸缩、绿色节能以及宿主机升级等需求使得我们需要利用虚拟机(VM)迁移技术,尤其是虚拟机热迁移技术,对于down time(停机时间)要求比较高,停机时间越短,客户业务中断时间就越短,影响就越小。如果能够根据VM的历史工作负载预测其未来的工作负载趋势...

    文章 茶什i 2020-06-18 380浏览量

  • 基于宜搭的“设备报修”实践案例

    一、产品介绍 宜搭:人人搭建、人人使用。应用搭建,从未如此简单。 宜搭平台的命名取适宜搭建、容易搭建之意。平台集合了页面设计、业务规则定义、数据收集与分析三大核心能力,用户通过简单的拖拽、配置,即可完成业务应用的搭建。同时,平台还具备一次搭建双端适配、权限独立设置、定制消息提醒推送及海量信息存储等...

    文章 宜搭管理员萌妹 2019-09-10 1244浏览量

  • 使用函数工作流+函数计算轻松构建 ETL 离线数据处理系统

    前言 随着云计算、人工智能、物联网等新技术的应用普及,人类产生的数据呈现出了爆发式增长的态势,对数据处理的需求能力也提出了越来越高的要求。数据成了重要资产,收集、处理数据的能力成为了核心竞争力,比如:应用服务的运行监控,运营数据的分析,以及深度学习的数据过滤、预处理等,这些对已有数据的处理能力将直...

    文章 渐意 2019-12-30 2232浏览量

  • Kafka实战-实时日志统计流程

    1.概述   在《Kafka实战-简单示例》 一文中给大家介绍来Kafka的简单示例,演示了如何编写Kafka的代码去生产数据和消费数据,今天给大家介绍如何去整合一个完整的项目,本篇博客我打 算为大家介绍Flume+Kafka+Storm的实时日志统计,由于涉及的内容较多,这里先给大家梳理一个项目...

    文章 smartloli 2016-04-25 5699浏览量

  • 40亿条/秒!Flink流批一体在阿里双11首次落地的背后

    随着 11 月 11 日 12 点钟声的敲响,2020 年双 11 的 GMV 数字定格在了 4982 亿,在 Flink 实时计算技术的驱动下全程保持了丝般顺滑滚动,基于 Flink 的阿里巴巴实时计算平台也圆满完成了今年双 11 整体经济体的实时数据任务保障,再次平稳度过全年大考。 除了 GM...

    文章 开发者小助手_LS 2020-11-23 1浏览量

  • win8怎么设置wifi热点共享

    Win8共享wifi热点如何设置?大家都知道win7系统可以实现wifi热点共享,那么win8应该也能实现wifi热点共享,那么如何设置win8不需要任何软件只需要对电脑进行设置就可以共享无线上网。 工具/原料 系统是WIN8可上网的电脑 无线网卡支持承载网络(最好更新到最新的无线网卡驱动),...

    文章 阿笨net 2013-05-05 773浏览量

  • 首次加入云栖大会的Flink专场,究竟都讲了啥?

         导读:9月19日,云栖大会的Flink分论坛,在杭州正式开幕。今天是云栖大会的第一天,据悉,这也是云栖大会首次加入Flink的论坛,足见阿里对于Flink前景的看好与重视。本次Flink分论坛,除了阿里巴巴的嘉宾外,论坛也邀请了Data Artisans的联合创始人,Flink的开创者和...

    文章 若有-若无 2018-09-25 3078浏览量

  • 梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

       (来源:C资讯)     专注新闻资讯的梨视频近来表现亮眼。   梨视频由前澎湃新闻掌门人邱兵创立。   在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下《微辣》栏目总播放量已经超过4亿,并在上线1个月后获得“年度视频新媒体”大奖。   这样一款脱胎于传统媒体的创业型短视频软件,在...

    文章 阿里云头条 2017-01-16 3415浏览量

  • Flink已经足够强大了吗?阿里巴巴说:还不够

    随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就...

    文章 技术小能手 2018-11-06 2128浏览量

  • Kafka实战-实时日志统计流程

    1.概述   在《Kafka实战-简单示例》一文中给大家介绍来Kafka的简单示例,演示了如何编写Kafka的代码去生产数据和消费数据,今天给大家介绍如何去整合一个完整的项目,本篇博客我打算为大家介绍Flume+Kafka+Storm的实时日志统计,由于涉及的内容较多,这里先给大家梳理一个项目的运...

    文章 技术mix呢 2017-11-20 672浏览量

  • 取之开源,用之开源-深度剖析阿里巴巴对Flink的优化与改进

    作者 | 阿里巴巴实时计算团队导读:随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者...

    文章 赵慧 2018-11-06 1724浏览量

  • 【译】使用Apache Kafka构建流式数据平台(1)

    前言:前段时间接触过一个流式计算的任务,使用了阿里巴巴集团的JStorm,发现这个领域值得探索,就发现了这篇文章——Putting Apache Kafka To Use: A Practical Guide to Building a Stream Data Platform(Part 1)。在...

    文章 杜琪 2016-06-07 3123浏览量

  • 如何基于大数据及AI平台实现业务系统实时化?

    作者:高旸(吾与),阿里巴巴高级技术专家 1. 前言 随着互联网“人口红利”的“消耗殆尽”,基于“T+1”或者离线计算的机器学习平台及推荐系统转化率与效果日趋“平淡”。后疫情时代的新社会模式及经济形态必将催生出新的商业模式,在线业务及相关应用场景的流量呈现井喷式发展,常规的离线系统及离线机器...

    文章 阿里云实时计算Flink 2020-08-28 900浏览量

  • 急速上线 Serverless 钉钉机器人“防疫精灵”

    新型冠状病毒疫情肆虐的春节,大家都过得人心惶惶,作为被关在家的程序狗,总觉得要做点什么。于是阿里云 IoT 事业部的几个同学就开始了防疫精灵的开发之路。 从点子到防疫宝,只花了一个下午时间;从防疫宝到钉钉全域机器人防疫精灵,只花了 1.5 天时间完成开发,3 天灰度、全量,发布 1 天半就突破 1...

    文章 倚贤 2020-03-24 1026浏览量

  • 梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

    专注新闻资讯的梨视频近来表现亮眼。 梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下《微辣》栏目总播放量已经超过4亿,并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,不仅让内人士在感叹梨视频内...

    文章 开源大数据EMR 2017-01-16 12000浏览量

  • 日交易笔百万级,Ping++的大数据平台架构

    11+大数据行业应用实践请见https://yq.aliyun.com/activity/156,同时这里还有流计算、机器学习、性能调优等技术实践。此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps;...

    文章 百遇 2017-02-19 9030浏览量

  • 仅1年GitHub Star数翻倍,Flink 做了什么?

    作者|莫问 Flink:最活跃 Apache 项目之一 首先,简单总结一下 Flink 社区的发展情况。自 2014 年 Flink 贡献给开源社区之后,其发展非常迅速。目前,Flink 可以称之为 Apache 基金会中最为活跃的项目之一,在 GitHub 上其访问量在 Apache 项目中位居...

    文章 檸,铮 2019-12-19 74浏览量

  • Kafka项目实战-用户日志上报实时统计之应用概述

    1.概述   本课程的视频教程地址:《Kafka实战项目之应用概述》   本课程是通过一个用户实时上报日志来展开的,通过介绍 Kafka 的业务和应用场景,并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时,如下图所示:   接下来,我们开始第一课时的学习:《Kaf...

    文章 smartloli 2016-04-25 3161浏览量

1 2 3 4 ... 24 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板