• 关于

    数据库跑批的概念

    的搜索结果
  • 为什么说Storm比Hadoop快?

    “快”这个词是不明确的,专业属于点有两个层面: 时延 , 指数据从产生到运算产生结果的时间,题主的“快”应该主要指这个。 吞吐, 指系统单位时间处理的数据量。 首先明确一点,在消耗资源相同的情况下,一般来说storm的延时低于mapreduce。但是吞吐也低于mapreduce。 storm...

    文章 知与谁同 2017-08-01 892浏览量

  • 为什么说Storm比Hadoop 快?

    快”这个词是不明确的,专业属于点有两个层面: 1.时延 , 指数据从产生到运算产生结果的时间,题主的“快”应该主要指这个。 2. 吞吐, 指系统单位时间处理的数据量。 首先明确一点,在消耗资源相同的情况下,一般来说storm的延时低于mapreduce。但是吞吐也低于mapreduce。 sto...

    文章 知与谁同 2017-08-01 749浏览量

  • mongoose - 让node.js高效操作mongodb

    Mongoose库简而言之就是在node环境中操作MongoDB数据库的一种便捷的封装,一种对象模型工具,类似ORM,Mongoose将数据库中的数据转换为JavaScript对象以供你在应用中使用。 当然要使用的话,必须要先安装好环境Node.js与MongoDB =》 MongoDB安装 Mo...

    文章 文艺小青年 2017-07-06 1624浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 40亿条/秒!Flink流批一体在阿里双11首次落地的背后

    作者 | 王峰(莫问)来源 | 阿里技术公众号随着 11 月 11 日 12 点钟声的敲响,2020 年双 11 的 GMV 数字定格在了 4982 亿,在 Flink 实时计算技术的驱动下全程保持了丝般顺滑滚动,基于 Flink 的阿里巴巴实时计算平台也圆满完成了今年双 11 整体经济体的实时数...

    文章 开发者小助手_LS 2020-11-23 1590浏览量

  • 实时计算 Flink SQL 核心功能解密

    Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到了5+亿每秒,而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/秒。Flink SQL 在这么短的时间内支撑了如...

    文章 初商 2019-08-03 725浏览量

  • 实时计算 Flink SQL 核心功能解密

    实时计算 Flink SQL 核心功能解密 Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到了5+亿每秒,而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/...

    文章 阿里云实时计算Flink 2018-02-08 15399浏览量

  • 含PPT下载 | 李飞飞:如何看待数据库的未来?

    本文内容根据演讲嘉宾视频以及PPT整理而成,文末有直播全程的 PDF 下载链接。 视频地址:https://developer.aliyun.com/live/2031 本次分享将主要围绕以下四个方面展开: 云原生分布式数据库系统的发展历程 数据库系统架构的对比及趋势 云数据库技术高速发展的现...

    文章 开发者社区 2020-02-25 7672浏览量

  • 基于 Flink+Iceberg 构建企业级实时数据湖

    Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?本次分享主要包括以下核心内容: 数据湖的相关背景介绍; 经典业务场景介绍; 为什么选择 Apache Iceber...

    文章 阿里云实时计算Flink 2020-12-04 1787浏览量

  • 40亿条/秒!Flink流批一体在阿里双11首次落地的背后

    作者:王峰(莫问)导读:今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头...

    文章 阿里云实时计算Flink 2020-11-23 3003浏览量

  • 【转载文章】记录一次MySQL两千万数据的大表优化解决过程,提供三种解决方案

    问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无...

    文章 隐林 2019-02-21 9409浏览量

  • Jstorm概述

    JStorm 是一个分布式实时计算引擎 实时计算 vs 流式计算 流式计算 是一种编程模型,强调流水处理,从上游到下游,多个节点顺序处理 实时计算 是一种对数据时效的要求,强调响应时间 现在的几乎全部实时计算引擎都是使用流式计算 JStorm 是一个类似Hadoop MapReduce的系统, 用...

    文章 KB小秘书 2019-07-17 1794浏览量

  • 大数据采集和抽取怎么做?这篇文章终于说明白了!

    本文来源于公众号【胖滚猪学编程】,转载请注明出处! 关于数据中台的概念和架构,我们在大白话 六问数据中台和数据中台全景架构及模块解析!一文入门中台架构师!两篇文章中都说明白了。从这一篇文章开始分享中台落地实战。 其实无论是数据中台还是数据平台,数据无疑都是核心中的核心,所以闭着眼睛想都知道数据汇聚...

    文章 公众号胖滚猪学编程 2020-05-21 1244浏览量

  • 进击的 Flink:网易云音乐实时数仓建设实践

    作者 | 汪磊(网易云音乐 / 数据平台开发专家)整理 | 杨涛(Flink 社区志愿者) 如何基于 Flink 的新 API 升级实时数仓架构? 背景介绍 网易云音乐从 2018 年开始搭建实时计算平台,到目前为止已经发展至如下规模: 机器数量:130+ 单 Kafka 峰值 QPS:400W...

    文章 阿里云实时计算Flink 2020-07-24 1566浏览量

  • 厉害了,蚂蚁金服!创造了中国自己的数据库OceanBase

    2008年,王坚从微软亚洲研究院常务副院长的位置上离职后,于当年9月加入了阿里巴巴集团担任首席架构师一职,负责集团技术架构以及基础技术平台建设。加入阿里没多久后,王坚就提出了“去IOE”的想法,即摆脱过去IT系统中对IBM小型机、Oracle数据库以及EMC存储的过度依赖。 2009年开始,阿里...

    文章 安和林 2018-03-26 7402浏览量

  • 【大数据100分】大数据架构及行业大数据应用(中级教程)

    【大数据100分】南大通用CTO武新:大数据架构及行业大数据应用〖大数据中级教程〗 主讲嘉宾:武新 主持人:中关村大数据产业联盟 副秘书长陈新河 承办:中关村大数据产业联盟 武新,南大通用高级副总裁兼CTO,法国奥尔良大学和法国国家科研中心博士;南大通用GBASE系列数据库产品的总设计师。在著名...

    文章 小旋风柴进 2017-04-03 2067浏览量

  • 仅1年GitHub Star数翻倍,Flink 做了什么?

    作者|莫问 Flink:最活跃 Apache 项目之一 首先,简单总结一下 Flink 社区的发展情况。自 2014 年 Flink 贡献给开源社区之后,其发展非常迅速。目前,Flink 可以称之为 Apache 基金会中最为活跃的项目之一,在 GitHub 上其访问量在 Apache 项目中位居...

    文章 檸,铮 2019-12-19 99浏览量

  • 数据库工程师快速上手MaxCompute进行ETL

    案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者,特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发,简单了解在MaxCompute做大数据...

    文章 海清 2017-06-09 9131浏览量

  • 2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11

    “不是任何一朵云都能撑住这个流量。中国有两朵云,一朵是阿里云,一朵叫其他云。”11月11日晚,阿里巴巴集团CTO张建锋表示,“阿里云不一样,10年前我们从第一行代码写起,构建了中国唯一自研的云操作系统飞天。” 阿里巴巴集团CTO、阿里云智能总裁张建锋 2019天猫双11再次刷新世界纪录,订单创新...

    文章 Roin123 2019-11-12 2772浏览量

  • 2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11

    “不是任何一朵云都能撑住这个流量。中国有两朵云,一朵是阿里云,一朵叫其他云。”11月11日晚,阿里巴巴集团CTO张建锋表示,“阿里云不一样,10年前我们从第一行代码写起,构建了中国唯一自研的云操作系统飞天。” 阿里巴巴集团CTO、阿里云智能总裁张建锋 2019天猫双11再次刷新世界纪录,订单创新峰...

    文章 技术小能手 2019-11-12 4697浏览量

  • 未来 云计算将在大数据领域扮演怎样的角色?

    企业存储环境主要是围绕记录系统构建起来的,侧重于这些问题:为数据记录长度固定的文件购买哪些类型的存储介质和管理系统,所存储数据的性质是实时数据、准实时数据,还是只是偶尔需要访问或完全可以用数据归档保存起来的批量填充的数据等。 自从大数据进入企业数据中心和业务部门,一切改变了――单个的大数据文件可以...

    文章 玄学酱 2017-07-05 975浏览量

  • 仅1年GitHub Star数翻倍,Flink 做了什么?

    作者:王峰(莫问) Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上,阿里巴巴资深技术...

    文章 阿里云实时计算Flink 2019-12-17 2621浏览量

  • 仅 1 年 GitHub Star 数翻倍,Flink 做了什么?

    作者:王峰(莫问) Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上,阿里巴巴资深技术...

    文章 阿里云实时计算Flink 2019-12-17 582浏览量

  • 阿里云实时大数据解决方案,助力企业实时分析与决策

    性能高1倍,价格低3/4!数据库实时同步新选择! 实时分析决策的第一步就需要将数据实时同步到大数据计算引擎,DataWorks数据集成采用自研高性能引擎,在相同的机器规格情况下,RDS实时同步性能最高为其他数据同步方案的2倍,而价格可低至其1/4。通过DataWorks数据集成,企业可以进行高效、...

    文章 小攻云攻略 2020-12-23 579浏览量

  • 2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11

    2019天猫双11成交额2684亿! “不是任何一朵云都能撑住这个流量。中国有两朵云,一朵是阿里云,一朵叫其他云。”11月11日晚,阿里巴巴集团CTO张建锋表示,“阿里云不一样,10年前我们从第一行代码写起,构建了中国唯一自研的云操作系统飞天。” 阿里巴巴集团CTO、阿里云智能总裁张建锋 201...

    文章 社区助手 2019-11-12 1170浏览量

  • 好的数据模型最终都为业务而生

    数据模型能够促进业务与技术进行有效沟通。只要基于数据进行决策及拓展业务边界,好的数据模型必不可少。 那么,企业究竟该如何构建数据模型呢? 9月16日,「数智·泛零售」04课,奇点云高级数据模型架构专家天启结合实践经验分享的《泛零售数据中台实施之模型设计》解答了疑惑。 01 数据中台能解决什么问题?...

    文章 startdtsms 2020-09-25 236浏览量

  • 阿里云实时大数据解决方案,助力企业实时分析与决策

    简介: 2020年双11,云原生实时数仓首次在阿里巴巴双11核心数据场景落地,实现商业全链路实时化,毫秒级海量数据处理能力。搜索推荐业务数据开发效率提升4倍,菜鸟物流包裹数据链路从小时级优化到3分钟,考拉分钟及小时业务1分钟内完成,大数据的实时分析与决策在瞬息万变的市场竞争中成为了标品!今天,我们...

    文章 DataWorks团队 2020-12-24 3016浏览量

  • 玩物得志:效率为王 基于DataWorks+MaxCompute+MC-Hologres 构建大数据平台

    本稿件基于对玩物得志CTO张淼及大数据负责人朱朔晗采访成文 2018 年底,玩物得志从 0 开始,搭建技术团队,技术架构快速经历了服务化、平台化等转变。为了支撑业务的快速发展,玩物得志极少自己造轮子,会大量采用云平台提供的 Sa...

    文章 晋恒 2020-12-01 5225浏览量

  • 取之开源,用之开源-深度剖析阿里巴巴对Flink的优化与改进

    作者 | 阿里巴巴实时计算团队导读:随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者...

    文章 赵慧 2018-11-06 1790浏览量

  • Flink已经足够强大了吗?阿里巴巴说:还不够

    随着人工智能时代的降临,数据量的爆发,阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里巴巴就在想:能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就...

    文章 技术小能手 2018-11-06 2154浏览量

  • 深度剖析阿里巴巴对Apache Flink的优化与改进

    本文主要从两个层面深度剖析:阿里巴巴对Flink究竟做了哪些优化? 取之开源,用之开源 一、SQL层 为了能够真正做到用户根据自己的业务逻辑开发一套代码,能够同时运行在多种不同的场景,Flink首先需要给用户提供一个统一的API。在经过一番调研之后,阿里巴巴实时计算认为SQL是一个非常适合的选择。...

    文章 Ververica 2019-04-30 1114浏览量

1 2 3 4 ... 8 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT