• 关于

    storm怎么重启

    的搜索结果
  • Jstorm到Flink 在今日头条的迁移实践

    作者r:张光辉导读t:本文将为大家展示字节跳动公司怎么把Storm从J storm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。字节跳动公司是如何兼容以前的Jstorm作业以及基于Flink做一个任务管理平台的呢?本文将一一为...

    文章 赵慧 2018-10-15 2809浏览量

  • Jstorm到Flink在今日头条的迁移实践

    本文内容如下: 引入Flink的背景 Flink集群的构建过程 构建流式管理平台 引入Flink的背景# 下面这幅图展示的是字节跳动公司的业务场景 首先,应用层有广告,也有AB测,也有推送和数据仓库的一些业务。然后在使用J storm的过程中,增加了一层模板主要应用于storm的计算模型...

    文章 李博 bluemind 2018-11-14 1881浏览量

  • 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

    一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写...

    文章 cnbird 2014-10-08 1075浏览量

  • 从Storm和Spark 学习流式实时分布式计算的设计

    0. 背景 最近我在做流式实时分布式计算系统的架构设计,而正好又要参加CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark...

    文章 anzhsoft 2014-08-02 2900浏览量

  • (课程)基于HBase做Storm 实时计算指标存储

    Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视云数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据平台架构、推荐三年多,个人时间现专注于集群自动化部署,服务管理,资源自动化调度等方向。...

    文章 祝威廉 2016-09-07 2477浏览量

  • Centos7服务器运维服务系统安装过程中遇到的问题总结

    1.1 操作系统 centos服务器运维 由于我们Sinesafe的客户要求网站的服务器要装Centos7版本所以给大家分享下安装的过程与经验,如果需要深入的服务器运维服务也可以找我们。 机器域名 机器别名 xxx.xxx.xxx.xxx bigdata1 xxx.xxx.xxx.xxx b...

    文章 网站安全 2018-06-27 1457浏览量

  • SLA 99.99%以上!饿了么实时计算平台3年演进历程

    一、背景 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发,其中包括20+组件的开发和维护、2K+ Servers 运维及数据平台周边衍生工具研发&维护。离线 Infra 和平台工具这一块对外分享的比较多。 今天主要给大家讲讲饿了么...

    文章 技术小能手 2018-04-09 5725浏览量

  • Centos7服务器运维服务系统安装过程中遇到的问题总结

    1.1 操作系统   centos服务器运维 由于我们Sinesafe的客户要求网站的服务器要装Centos7版本所以给大家分享下安装的过程与经验,如果需要深入的服务器运维服务也可以找我们。 机器域名 机器别名 xxx.xxx.xxx.xxx bigdata1 xxx.xxx.xxx.xxx ...

    文章 网站安全者 2018-06-27 1250浏览量

  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    摘要:本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。提纲如下: 爱奇艺 Flink 服务现状 Flink 改进 实时计算平台 Flink 业务案例 挑...

    文章 阿里云实时计算Flink 2020-03-05 1429浏览量

  • 日均万亿条数据如何处理?爱奇艺实时计算平台这样做

    摘要:本文由爱奇艺大数据服务负责人梁建煌分享,介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台,并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。提纲如下: 爱奇艺 Flink 服务现状 Flink 改进 实时计算平台 Flink 业务案例 挑...

    文章 阿里云实时计算Flink 2020-03-05 1646浏览量

  • Apache Flink 在同程艺龙实时计算平台的研发与应用实践

    本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平台上的行为轨迹,我们开始开发实时应用。那...

    文章 阿里云实时计算Flink 2019-09-11 2174浏览量

  • Apache Flink 在同程艺龙实时计算平台的研发与应用实践

    本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平台上的行为轨迹,我们开始开发实时应用。那...

    文章 阿里云实时计算Flink 2019-09-10 904浏览量

  • mongodb副本集搭建过程中的问题和解决技巧

    在我以往的认知中,一个系统一旦正式上线,多半不会轻易的迁移服务器,尤其是那种涉及到多个关联应用,涉及到多台硬件服务器的系统,因为这种迁移将是牵一发而动全身的。 但是,却仍然有这种情况存在,就如我这几天主要负责的事,就是一个系统的全部服务器迁移中的部分机器迁移,还有一部分由别人负责。 这个系统涉及到...

    文章 涂宗勋 2017-09-12 1144浏览量

  • 快手基于 Apache Flink 的优化实践

    本次由快手刘建刚老师分享,内容主要分为三部分。首先介绍流式计算的基本概念, 然后介绍 Flink 的关键技术,最后讲讲 Flink 在快手生产实践中的一些应用,包括实时指标计算和快速 failover。一、流式计算的介绍流式计算主要针对 un...

    文章 阿里云实时计算Flink 2020-11-19 2788浏览量

  • Flink 面试指南 | 终于要跟大家见面了,我有点紧张。(附思维导图)

    面试,一个令人大多数同学头疼的问题,要么成功进入心仪公司,要么沮丧与其失之交臂。但是,如果能在面试前就能知道面试官将会问的问题,然后可以好好提前准备,这种感觉是不是特别棒? 之前社区帮大家汇总了目前 15 家重量级公司的招聘需求更新在社区招聘帖,也收到了很多同学的反馈: “投了一堆简历,但是都没...

    文章 阿里云实时计算Flink 2020-05-15 4969浏览量

  • 日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

    作者:微博广告数据平台 随着微博业务线的快速扩张,微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,越来越多的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持...

    文章 阿里云实时计算Flink 2019-10-30 6305浏览量

  • 专栏 | YARN,母系社会的运行架构

    是时候该讨论一下YARN了。 最近看了不少YARN的技术资料,每次看都觉得不知所云。无法理解其精髓,今天在航班上突然灵光一现,豁然开朗。然后,又洋洋洒洒在航班清洁袋上鬼画符,写下了今天我想跟大家分享的内容。我自己觉得蛮过瘾的,也希望大家看着也更过瘾。 废话不多说,上图! 首先,我郑重申明:我家庭...

    文章 技术小能手 2018-11-22 1243浏览量

  • 日志和实时流计算处理

    到目前为止,我还仅仅只是描述了一些把数据从一个地方拷贝到其他地方的多种的方法。然而,在存储系统间挪动字节并不是故事的结尾。实际上我们发现,“日志”是“流”的另外一种说法,而日志(的处理)是流计算处理的核心。 但是先等一下,到底什么是流计算处理? 如果你是上世纪九十年代末和二十一世纪初的数据库或者数...

    文章 小旋风柴进 2017-05-26 1367浏览量

  • LinkedIn前数据专家解读日志与实时流处理

    编者注:本内容来自Jay Kreps所著的《我喜爱日志:事件数据、流计算处理和数据集成》一书的第三章。Jay Kreps是Confluent的联合创始人和CEO。在此之前,Jay是领英的主要架构师之一,专注于数据基础架构和数据驱动的产品。他是多个可扩展的数据系统空间的开源项目的作者之一,包括Vol...

    文章 小旋风柴进 2017-05-02 1147浏览量

  • 18个PPT,29个提问解答,都在这儿啦!

    4月25-26日,全球首个 Apache 顶级项目在线盛会 Flink Forward 中文精华版重磅开播,聚焦 Alibaba、 Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互联网公司实时计算的经典场景和业务故事,由 Flink 核心贡献者们对 19 个优质 ...

    文章 阿里云实时计算Flink 2020-04-28 828浏览量

  • 开放下载!18个PPT,29个提问解答,都在这儿啦!

    点击免费下载18个PPT资料包>>> 4月25-26日,全球首个 Apache 顶级项目在线盛会 Flink Forward 中文精华版重磅开播,聚焦 Alibaba、 Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互联网公司实时计算的经典场景和...

    文章 阿里云实时计算Flink 2020-04-28 16601浏览量

  • 【ATF】钱正平:大规模实时计算及其在阿里的应用与创新

    2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献。阿里巴巴集团技术委员会主席王坚,阿里巴巴集团首席技术官(CTO)张建锋(花名:行癫),阿里巴巴集团首席风险官(CRO)刘振飞(花名:振飞),蚂蚁金服首席技术官(CTO)程立(花名:鲁肃)以及来自阿里巴巴集团...

    文章 云篆 2016-04-16 6024浏览量

  • 分布式程序员必读:你与分布式和事务真的很熟吗?

    微吐槽 hello,world. 不想了,我等码农,还是看看怎么来处理分布式系统中的事务这个老大难吧! 本文略长,读者需要有一定耐心,如果你是高级码农或者架构师级别,你可以跳过。 本文注重实战或者实现,不涉及CAP,略提ACID。 本文适合基础分布式程序员: 本文会涉及集群中节点的failo...

    文章 晚来风急 2017-08-02 1036浏览量

  • 基于 Flink 的典型 ETL 场景实现

    作者:买蓉 · 美团点评高级技术专家整理:赵阳(Flink 社区志愿者)校对:苗浩冲(Flink 社区志愿者) 本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手,综述数仓发展演进,然后分享基于 Flink 实现典型 ETL 场景的几个方案。 1.实时数仓的相关概述 1.1 实时数仓产生背...

    文章 游客u6jnwq2rniwnw 2020-08-26 1659浏览量

  • DTCC 2019 | 云时代数据库迁移 & 容灾技术新进展与应用

    摘要:迁移&容灾是数据库的强需求,传统的迁移&容灾技术已经发展多年,随着云时代的来临,在迁移&容灾的使用场景、网络、技术都有很大的变化,如何在云时代下更简单的实现数据库的迁移&容灾,云厂商如何通过新的技术实现弯道超车,本文中阿里云智能数据库产品事业部高级技术专家付大...

    文章 七幕 2019-05-24 3032浏览量

  • 数仓实时化改造:Hudi on Flink 在顺丰的实践应用

    作者 | 蔡适择(顺丰大数据平台负责人) 整理 | 赵阳(Flink 社区志愿者) 本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分: ● 顺丰业务介绍 ● Hudi on Flink ● 产品化支持 ● 后续计划...

    文章 阿里云实时计算Flink 2021-01-05 700浏览量

  • Apache Spark源码走读(五)部署模式下的容错性分析 &standalone cluster模式下资源的申请与释放

    <一>部署模式下的容错性分析 概要 本文就standalone部署方式下的容错性问题做比较细致的分析,主要回答standalone部署方式下的包含哪些主要节点,当某一类节点出现问题时,系统是如何处理的。 Standalone部署的节点组成 介绍Spark的资料中对于RDD这个概念涉及...

    文章 许鹏 2016-09-14 2328浏览量

  • Docker技术入门与实战(第2版).

    容器技术系列 Docker技术入门与实战 第2版 杨保华 戴王剑 曹亚仑 编著 图书在版编目(CIP)数据 Docker技术入门与实战 / 杨保华,戴王剑,曹亚仑编著. —2版. —北京:机械工业出版社,2017.1 (容器技术系列) ISBN 978-7-111-55582-7 I. D...

    文章 华章计算机 2017-05-02 7209浏览量

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT