外部数据流如何搭建

  • 北京云栖大会 Tech Insight 爆场论坛-云数据·大计算:快速搭建互联网在线运营分析平台

    阿里巴巴集团首席技术官王坚在《在线》一书中指出“大数据“的叫法应该叫‘在线数据’。‘在线’远比‘大’更能揭示本质。数据不在线,体量再大,价值也有限。数据在线,即数据实时更新、数据共享、极易获得。”王坚博士提到的数据在线也可以理解为数据应该像钢铁一样标准化能够流转,达到数据共享,产生更大的价值。只有...

    文章 小二辛苑 2017-12-19 2069浏览量

  • 阿里巴巴为什么选择Apache Flink?

    本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。 合抱之木,生于毫末 随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处...

    文章 技术小能手 2018-10-16 4391浏览量

  • 阿里巴巴为什么选择Apache Flink?

    作者:王峰 整理:韩非 本文主要整理自云栖大会阿里巴巴计算平台事业部资深技术专家王峰(花名:莫问)在云栖大会‘开发者生态峰会’上发表的演讲。 伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值,再也难...

    文章 Ververica 2019-05-05 1274浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 阿里巴巴为什么选择Apache Flink?

    本文作者:王峰(花名:莫问) 导读:伴随着海量增长的数据,数字化时代的未来感扑面而至。不论是结绳记事的小数据时代,还是我们正在经历的大数据时代,计算的边界正在被无限拓宽,而数据的价值再也难以被计算。时下,谈及大数据,不得不提到热门的下一代大数据计算引擎Apache Flink(以下简称Flink)...

    文章 赵慧 2018-10-16 2905浏览量

  • Kafka实战(四) -Kafka门派知多少

    Kafka不是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台 Storm/Spark Streaming/Flink,在大规模流处理领域主流 Kafka经过这么长时间不断的迭代,现在已经能够稍稍比肩这些框架 Kafka社区对于这些框架心存敬意 目...

    文章 javaedge 2019-08-26 1461浏览量

  • 实时计算案例:菜鸟物流

    挑战 菜鸟物流作为承接全国最大流量的快递运输平台之一, 在重大购物狂欢节日中扮演了重要角色。近年来, 尽管菜鸟 物流的仓配系统进行了多业务端的优化, 但仓配业务链路长、节点多、分析维度复杂的业务特点, 使其在开发仓配 实时数据的过程中仍面临了不少挑战。如何保障其仓配实时数据的丝滑顺畅, 建立带有“...

    文章 阿里云实时计算Flink 2020-10-13 2945浏览量

  • OA系统自定义平台技术要点

    OA的通用功能相对成熟的情况下,随着客户管理应用的深入,更多的OA和ERP的边缘需求,开始旺盛出来,因此如何持续的满足客户的功能需求,成为各大主流厂商的研究方向。而如果要解决这个问题,OA技术平台起着决定性的作用。 OA技术从过去的BASIC+文件系统到VB+ACCESS、DELPHI+ORACL...

    文章 玄学酱 2017-07-05 918浏览量

  • 世界杯直播背后的实时日志分析

    2018年世界杯网络直播,网络同时在线观看人数超过千万,为了保证直播体验,CDN在其中起到了极其重要的作用,为了保障CDN的播放质量,需要对CDN的各类日志进行实时收集、清洗和分析。我们以类似“世界杯”直播为背景,向大家演示如何通过CDN的播放器、推流等日志实时分析,监控线上业务的质量,了解用户的...

    文章 suntingtao 2018-09-09 1763浏览量

  • 日交易笔百万级,Ping++的大数据平台架构

    11+大数据行业应用实践请见https://yq.aliyun.com/activity/156,同时这里还有流计算、机器学习、性能调优等技术实践。此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps;...

    文章 百遇 2017-02-19 9030浏览量

  • 我的2017云栖之行

    我的2017云栖之行 ——笨笨的粽子妞 零:云栖初印象 说起今年的云栖,很早就关注了,但是苦于京杭的距离和工作原因,一直在摇摆不定,但是又不想给自己留下遗憾。在收到赠票后,毅然决然请假,在10月9日踏上云栖之行。 然而,天公不作美,9号的北京,雨从早到晚,一直下个不停。原定下午六点的航班,一直延误...

    文章 笨笨的粽子妞 2017-10-19 2289浏览量

  • 前端通用模块在手淘业务中的实践

    2020年618大促已经过去,作为淘系每年重要的大促活动,淘系前端在其中扮演着什么样的角色,如何保证大促的平稳进行?又在其中应用了哪些新技术?淘系前端团队特此举办了 618 系列征文,为大家介绍 618 中的前端身影。 本篇的作者是来自于行业与工作台团队的 玄扈,为大家介绍 行业魔方 项目。 前言...

    文章 淘系技术 2020-07-10 503浏览量

  • Flink已经足够强大了吗?阿里巴巴说:还不够

    随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就...

    文章 技术小能手 2018-11-06 2128浏览量

  • 取之开源,用之开源-深度剖析阿里巴巴对Flink的优化与改进

    作者 | 阿里巴巴实时计算团队导读:随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者...

    文章 赵慧 2018-11-06 1724浏览量

  • 卡巴拉树开发秘辛:工作流模式

    高异步并发在前端大数据渲染场景是常遇到的问题,如何有效管理并发过程,解决资料合并与节流,消息中心等问题一直是该场景下常遇到的问题,但目前为止一直没有一套完善的解决方案。本文阐述了如何利用工作流模式搭配rxjs实践一套有效的流管理工具。工作流模式是2000年由W.M.P. van der Aalst...

    文章 kollpdcgpqxpi 2020-01-06 216浏览量

  • 敏捷大数据与敏捷 AI

    --------点击屏幕右侧或者屏幕底部“+订阅”,关注我,随时分享机器智能最新行业动态及技术干货------------ 前言 人工智能的诞生可以追溯到上世纪 50 年代,在达特茅斯会议上,麦卡锡提出了 AI 的概念,但在初期的热度过后,人工智能的发展经历了多次低谷,直到从 90 年代中末期开始...

    文章 机器智能技术 2020-02-26 143浏览量

  • 首次加入云栖大会的Flink专场,究竟都讲了啥?

         导读:9月19日,云栖大会的Flink分论坛,在杭州正式开幕。今天是云栖大会的第一天,据悉,这也是云栖大会首次加入Flink的论坛,足见阿里对于Flink前景的看好与重视。本次Flink分论坛,除了阿里巴巴的嘉宾外,论坛也邀请了Data Artisans的联合创始人,Flink的开创者和...

    文章 若有-若无 2018-09-25 3078浏览量

  • Teradata扩展数据湖搭建能力

    全球领先的大数据分析服务供应商Teradata天睿公司(Teradata Corporation,纽交所:TDC)宣布旗下Think Big公司运用Apache Spark 扩展数据湖与管理服务业务。Think Big公司是Teradata天睿公司旗下全球化咨询公司,拥有领先的Apache Spa...

    文章 青衫无名 2017-07-03 1215浏览量

  • 系列文章:Kubernetes日志方案设计思路

    上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入,会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。 需求驱动架构设计 技术架构,...

    文章 元乙 2019-11-13 1501浏览量

  • 北京云栖大会workshop:《数据处理:数据建模与加工》篇

    实验背景介绍 了解更多2017云栖大会·北京峰会 TechInsight & Workshop. 本手册为云栖大会Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》的《数据处理:数据建模与加工》篇而准备。主要阐述在使用DataWorks/MaxCompute过程中如何直读T...

    文章 祎休 2017-12-13 3899浏览量

  • 京东首席科学家:云计算、大数据撬动购买力

    在电商业务运营整整十年之际,京东宣布,电商云于6月5日正式上线,同时京东的大数据和云战略也拉开大幕,让我们更清晰地看到云和大数据是如何融入到京东的命脉和核心竞争力中。 向后看,京东积累了十年的技术实力和大量用户数据;向前看,未来十年战略定位三大方向,“技术驱动”的自助式B2C、开放业务和金融。何刚...

    文章 小旋风柴进 2017-04-03 1024浏览量

  • Android Day02-文件操作-登陆示例

    需求:登陆 第1步:搭建UI     采用混合布局,布局搭建好之后如下所示:      第2步:准备工作     根据javaWeb中的mvc+dao的开发模式,创建好包名和类。      第3步:业务逻辑     就是一个存值和取值的过程,也可以说是读写文件的过程。     注意在获取路径的时...

    文章 技术小胖子 2017-11-08 661浏览量

  • Android Day02-文件操作-登陆示例

    需求:登陆 第1步:搭建UI     采用混合布局,布局搭建好之后如下所示:      第2步:准备工作     根据javaWeb中的mvc+dao的开发模式,创建好包名和类。      第3步:业务逻辑     就是一个存值和取值的过程,也可以说是读写文件的过程。     注意在获取路径的时...

    文章 技术小胖子 2017-11-03 576浏览量

  • 企业大数据平台下数仓建设思路

    免费开通大数据服务:https://www.aliyun.com/product/odps 介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结...

    文章 隐林 2016-12-22 11860浏览量

  • 宜搭的流程之道

    什么是工作流 什么是工作流,工作流是一系列相互连接、自动进行的业务按照一定的规则有序运行的活动或任务。在工作流尚未普及之前,公司大多以纸质方式通过人工流转实现业务审批,效率比较低下,随着科技的进步,工作流逐渐代替了线下的手工劳动,通过既定的规则就可以实现业务表单的提交、审批、修改、跟踪、通知、管理...

    文章 沉寒 2019-08-28 951浏览量

  • 学不动?Apache Member 教你评估实用技术的思路

    作者:章剑锋 ( 简锋 ) 导读:笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过很多大数据底层框架内核的开发 ( Hadoop,Pig,Tez,Spark,Livy ),现在是多个 Apache 项目的 PMC。 相信大家都看过不少 Flink 的文章了,今...

    文章 阿里云实时计算Flink 2020-03-23 916浏览量

  • 一文看懂 K8s 日志系统设计和实践

    作者 | 元乙  阿里云存储服务技术专家 导读:上一篇文章《6 个 K8s 日志系统建设中的典型问题,你遇到过几个?》中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生背景下日志系统的建设难点,相信 DevOps、SRE、运维等同学看了之后深有体会。本篇文章单刀直入,会...

    文章 阿里巴巴云原生小助手 2019-11-20 2944浏览量

  • 如何在 Apache Flink 中使用 Python API?

    作者:孙金城(金竹)整理:韩非 本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache Flink Python API 的...

    文章 阿里云实时计算Flink 2019-09-09 2917浏览量

  • 当下流行架构中的一些技术思考

    标签(空格分隔): ArchSummit2016 [toc] 时间:2016.12.2-2016.12.3地点:北京ArchSummit会场人物:行业内的讲师&参会人员 总体趋势 ArchSummit全球架构师峰会,在初冬的北京举行。我们一伙人奔着雾霾和技术前沿的理想追逐而去。我先聊聊这...

    文章 尊渊 2016-12-14 8375浏览量

  • 金融交换网关重构之路

    大家晚上好,今天我们分享的主题主要有四个部分 整个重构过程的总结 系统面临的痛点 架构演进之路 重构的收益 第一部分:系统面临的痛点 我们系统重构之前面临的痛点主要分为两类 系统的问题 研发的问题 1.1 系统问题: (1)没有通用报文的抽象 没有形成统一的报文收发...

    文章 jurassic_1 2016-11-20 3172浏览量

  • 进击的 Flink:网易云音乐实时数仓建设实践

    作者 | 汪磊(网易云音乐 / 数据平台开发专家)整理 | 杨涛(Flink 社区志愿者) 如何基于 Flink 的新 API 升级实时数仓架构? 背景介绍 网易云音乐从 2018 年开始搭建实时计算平台,到目前为止已经发展至如下规模: 机器数量:130+ 单 Kafka 峰值 QPS:400W...

    文章 阿里云实时计算Flink 2020-07-24 1260浏览量

1 2 3 4 ... 15 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板