• 关于

    分布式数据采集系统怎么重启

    的搜索结果
  • Docker监控怎么做?

    作者介绍 陈爱珍,DBAplus社群联合发起人,七牛云布道师。拥有多年企业级系统的应用运维及分布式系统实战经验,现专注于容器、微服务及DevOps落地的研究与实践。  监控的价值与体系在运维体系中, 监控是非常重要的组成部分。通过监控可以实时掌握系统运行的状态,对故障的提前预警,历史状态的回放等...

    文章 努力酱 2017-05-02 1960浏览量

  • LC3视角:Kubernetes下日志采集、存储与处理技术实践

    Kubernetes日志处理的趋势与挑战 Kubernetes的serveless化 Kubernetes容器技术促进了技术栈的去耦合,通过引入栈的分层使得开发者可以更加关注自身的应用程序和业务场景。从Kubernetes本身来看,这个技术解耦也在更进一步发展,容器化的一个发展的趋势是:这些容器都...

    文章 唐恺 2018-07-05 13008浏览量

  • 【云栖大会】阿里云首席架构师唐洪:飞天,互联网规模的操作系统

    10月13日,2016杭州·云栖大会主论坛上,阿里云首席架构师唐洪以《飞天,互联网规模的操作系统》为题进行了主题演讲。在他看来,飞天,通过与数据密集型学科的紧密合作重新定义人们对计算的认知界线。 以下是演讲全文: 唐洪:各位尊敬的领导,各位尊敬的来宾,各位在互联网上观看大会的朋友们,大家中午...

    文章 阿里云头条 2016-10-20 7580浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 开源监控利器Prometheus初探

    前言: Kubernetes作为当下最炙手可热的容器管理平台,在给应用部署运维带来便捷的同时,也给应用及性能监控带来了新的挑战。本文给大家分享一款十分火热的开源监控工具Prometheus,让我们一起来看它是如何兼顾传统的应用监控、主机 性能监控和Kubernetes监控的。 目录: 一、Prom...

    文章 店家小二 2018-12-18 1901浏览量

  • 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

    一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写...

    文章 cnbird 2014-10-08 1075浏览量

  • 《Hadoop与大数据挖掘》——第2章 大数据存储与运算利器—Hadoop 2.1 Hadoop概述

    本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.1节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第2章 大数据存储与运算利器—Hadoop 本章主要介绍了Hadoop框架的概念、架构、组件、生态系统以及...

    文章 华章计算机 2017-07-03 2097浏览量

  • 阿里大数据运维新成员——24小时待命!有求必应!能说会做!

    序言 阿里大数据计算平台包含了广泛的数据计算相关产品与服务,包括MaxCompute通用计算、StreamCompute实时流计算、PAI机器学习、Flash图计算及其上的一站式开发平台Dataworks。同时计算平台拥有着多个全球机房、十万多机器的部署规模,在这样的体量下,线上的作业故障分析与用...

    文章 技术小能手 2019-03-27 1627浏览量

  • 从零开始入门 K8s | 可观测性:监控与日志

    作者 | 莫源  阿里巴巴技术专家 一、背景 监控和日志是大型分布式系统的重要基础设施,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。 在 Kubernetes 中,监控和日志属于生态的一部分,它并不是核心组件,因此大部分的能力依赖上层的云厂商的适配。Kubernetes ...

    文章 阿里巴巴云原生小助手 2019-10-15 2749浏览量

  • 工商银行基于 Dubbo 构建金融微服务架构的实践-服务发现篇

    作者 | 张远征来源|阿里巴巴云原生公众号 导读:Dubbo 作为分布式微服务框架,众多公司在实践中基于 Dubbo 进行分布式系统架构。重启开源后,我们不仅看到 Dubbo 3.0 最新的 Roadmap 发布,而且还看到阿里在自身电商开始推进 Dubbo 和内部 HSF 的融合,并在 双11 ...

    文章 阿里巴巴云原生小助手 2020-12-08 9465浏览量

  • 【ATF】钱正平:大规模实时计算及其在阿里的应用与创新

    2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献。阿里巴巴集团技术委员会主席王坚,阿里巴巴集团首席技术官(CTO)张建锋(花名:行癫),阿里巴巴集团首席风险官(CRO)刘振飞(花名:振飞),蚂蚁金服首席技术官(CTO)程立(花名:鲁肃)以及来自阿里巴巴集团...

    文章 云篆 2016-04-16 6024浏览量

  • SLA 99.99%以上!饿了么实时计算平台3年演进历程

    一、背景 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发,其中包括20+组件的开发和维护、2K+ Servers 运维及数据平台周边衍生工具研发&维护。离线 Infra 和平台工具这一块对外分享的比较多。 今天主要给大家讲讲饿了么...

    文章 技术小能手 2018-04-09 5720浏览量

  • 创业公司如何做数据分析(四)ELK日志系统

    作为系列文章的第四篇,本文将重点探讨数据采集层中的ELK日志系统。日志,指的是后台服务中产生的log信息,通常会输入到不同的文件中,比如Django服务下,一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上,取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志,显然非常...

    文章 云市场转载 2017-04-14 6261浏览量

  • 日志和实时流计算处理

    到目前为止,我还仅仅只是描述了一些把数据从一个地方拷贝到其他地方的多种的方法。然而,在存储系统间挪动字节并不是故事的结尾。实际上我们发现,“日志”是“流”的另外一种说法,而日志(的处理)是流计算处理的核心。 但是先等一下,到底什么是流计算处理? 如果你是上世纪九十年代末和二十一世纪初的数据库或者数...

    文章 小旋风柴进 2017-05-26 1367浏览量

  • LinkedIn前数据专家解读日志与实时流处理

    编者注:本内容来自Jay Kreps所著的《我喜爱日志:事件数据、流计算处理和数据集成》一书的第三章。Jay Kreps是Confluent的联合创始人和CEO。在此之前,Jay是领英的主要架构师之一,专注于数据基础架构和数据驱动的产品。他是多个可扩展的数据系统空间的开源项目的作者之一,包括Vol...

    文章 小旋风柴进 2017-05-02 1147浏览量

  • 云栖PPT下载 | 开源界大咖集体现身,开源数据库专场重点再回眸!

    阿里云开源数据库项目最新发布 阿里巴巴集团副总裁、阿里云智能数据库事业部总裁、高级研究员李飞飞(飞刀)、阿里云数据库资深技术专家楼方鑫(黄忠)以及阿里云数据库技术专家傅宇(齐木)三位阿里云技术专家为大家介绍了最新的阿里云开源数据库项目。 李飞飞: 数据库在过去这么多年,尤其近几年发展如此迅速的核心...

    文章 Roin123 2019-10-17 2001浏览量

  • 【双11背后的技术】万亿交易量级下的秒级监控

    选自《不一样的技术创新——阿里巴巴2016双11背后的技术》,全书目录:https://yq.aliyun.com/articles/68637 本文作者:郁松、章邯、程超、癫行 前言 2016财年,阿里巴巴电商交易额(GMV)突破3万亿元人民币,成为全球最大网上经济体,这背后是基础架构事业群构筑...

    文章 云木西 2017-01-12 5277浏览量

  • 我在架构设计和代码开发中的一些常用原则

    作者 | 剑痴来源 | 阿里技术公众号不管我一生中取得了多大的成功,其主要原因都不是我知道多少事情,而是我知道在无知的情况下自己应该怎么做。我一生中学到的最重要的东西是一种以原则为基础的生活方式,是它帮助我发现真相是什么,并据此如何行动。——瑞·达利欧(Ray Dalio)在日常的开发和设计过程中...

    文章 开发者小助手_LS 2021-03-18 763浏览量

  • 【转载】低成本和高性能的MySQL云数据库的实现淘宝 MySQL

    低成本和高性能的MySQL云数据库的实现 作者: 鸣嵩/曹伟(集团技术专家) 本文刊登于《程序员》杂志2012年12期上,转载请注明         UMP(Unified MySQL Platform)系统是淘宝核心系统数据库团队开发的低成本和高性能的MySQL云数据方案,关...

    文章 摩云飞 2016-05-11 3513浏览量

  • Apache Flink 在同程艺龙实时计算平台的研发与应用实践

    本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平台上的行为轨迹,我们开始开发实时应用。那...

    文章 阿里云实时计算Flink 2019-09-11 2172浏览量

  • Apache Flink 在同程艺龙实时计算平台的研发与应用实践

    本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平台上的行为轨迹,我们开始开发实时应用。那...

    文章 阿里云实时计算Flink 2019-09-10 898浏览量

  • 面向容器的资源调度技术对比

    本文以资源分配理念,拍卖、预算、抢占出发,引出Borg、Omega、Mesos、Kubernetes架构、数据、API的特点比较。然后梳理资源共享各种不同共享形式的内容,接着对比任务类型,最后回到资源利用率和基于数据预测角度,看相关系统是如何运用和实现各自场景目标。最后给出阿里巴巴电商在线服务资源...

    文章 技术小能手 2017-06-28 4106浏览量

  • 面向容器技术资源调度关键技术对比(作者:阿里中间件)

      摘要:本文以资源分配理念:拍卖、预算、抢占出发,引出Borg、Omega、Mesos、Kubernetes架构、数据、API的特点比较。然后梳理资源共享各种不同共享形式的内容,接着对比任务类型,最后回到资源利用率和基于数据预测角度,看相关系统是如何运用的和实现各自场景目标的。最后给出阿里巴巴电...

    文章 kevinliali 2016-04-27 7002浏览量

  • 阿里如何实现100%容器化镜像化?八年技术演进之路回顾

    八年时间,阿里集团实现了 100%内部容器化镜像化,经历了几代演进。本文将从最初的架构开始,向大家介绍下阿里内部的容器化演化过程。 PouchContainer 现在服务于阿里巴巴集团和蚂蚁金服集团的绝大部分 BU, 包括交易&中间件,B2B/CBU/ICBU,搜索广告数据库,还有收购或入...

    文章 技术小能手 2018-09-26 1969浏览量

  • 独家揭秘:阿里巴巴Zeus资源调度系统

    本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。本文主线:问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略,引出依赖的容器技术、实践方案,所有这些落实到工程实践,要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序列文章并...

    文章 kevinliali 2016-04-29 10206浏览量

  • 救火必备!问题排查与系统优化手册

    一 问题排查 1 常见问题 Know Your Enemy:知己知彼,百战不殆。 日常遇到的大部分问题,大致可以归到如下几类: 逻辑缺陷:e.g. NPE、死循环、边界情况未覆盖。 性能瓶颈:e.g. 接口 RT 陡增、吞吐率上不去。 内存异常:e.g. GC 卡顿、频繁 FGC、内存泄露、...

    文章 茶什i 2020-07-13 1651浏览量

  • 独家揭秘:阿里巴巴Zeus资源调度系统

    本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。本文主线:问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略,引出依赖的容器技术、实践方案,所有这些落实到工程实践,要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序列文章并...

    文章 初商 2019-07-30 1816浏览量

  • 快手基于 Apache Flink 的优化实践

    本次由快手刘建刚老师分享,内容主要分为三部分。首先介绍流式计算的基本概念, 然后介绍 Flink 的关键技术,最后讲讲 Flink 在快手生产实践中的一些应用,包括实时指标计算和快速 failover。一、流式计算的介绍流式计算主要针对 un...

    文章 阿里云实时计算Flink 2020-11-19 2721浏览量

  • Flink SQL CDC 上线!我们总结了 13 条生产实践经验

    作者:曾庆东 摘要:7月,Flink 1.11 新版发布,在生态及易用性上有大幅提升,其中 Table & SQL 开始支持 Change Data Capture(CDC)。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景,本文由社区由曾庆东同学分享,主要介绍 ...

    文章 阿里云实时计算Flink 2020-09-25 7527浏览量

  • 带你读《企业私有云建设指南》之二:企业云计算涉及的技术选型和管理

    点击查看第一章点击查看第三章 第2章 企业云计算涉及的技术选型和管理在以AWS、Google、阿里等为代表的公有云发展的同时,很多大型企业出于数据安全性、系统稳定性、软硬件自主权、对自主可控以及TCO(Total Cost of Ownership,总体拥有成本)低的考虑,更加倾向于建设企业私有云...

    文章 温柔的养猫人 2019-10-31 2275浏览量

  • 使用 E-MapReduce 构建云上数据湖

    原视频链接:https://www.slidestalk.com/AliSpark/EMapReduce191196?video 编辑:杨仲鲍,北京海致星图科技有限公司服务端开发工程师 ,大数据爱好者,Spark 中文社区志愿者 首先介绍一下阿里云飞天大数据平台(简称飞天平台),飞天平台由AI...

    文章 阿里云E-MapReduce团队 2020-08-21 1350浏览量

1 2 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT