• 软件即抽象

    最初的大主机的处理能力太过于空闲,一个当前使用机器的用户对于这台机器的处理时间和处理能力是独占的,机器内没有管控这些程序该如何更好运行,出错了怎么防崩之类的逻辑,而且,不仅机器本身没有自理能力人力管理和...
    文章 2020-09-28 110浏览量
  • 阿里大数据运维新成员——24小时待命!...

    初期发展可能还能够采用统一的存储,但是随着业务的发展,我们将越来越难通过统一的存储完成完整的知识图谱的构建,而且由于历史原因,我们本来就有大量结构化的数据存储在不同的产品上,我们应该借助于这些产品已有...
    文章 2019-03-27 1739浏览量
  • Jstorm到Flink 在今日头条的迁移实践

    第三个问题就是集群过多,运维平台做得不太好,都是靠来运维的。这个时候集群多了基本上是管不过来的。第四个问题就是说我们用python写的代码,有些性能比较差。但是我们在Storm的基础上面去推广这个Java也比较...
    文章 2018-10-15 2906浏览量
  • Jstorm到Flink在今日头条的迁移实践

    第三个问题就是集群过多,运维平台做得不太好,都是靠来运维的。这个时候集群多了基本上是管不过来的。第四个问题就是说我们用python写的代码,有些性能比较差。但是我们在Storm的基础上面去推广这个Java也比较...
    文章 2018-11-14 1998浏览量
  • 论程序的健壮性——就看Redis

    多年的IT生涯,一直希望自己写的程序能够有很强的健壮性,也一直希望能找到一个高可用的标杆程序去借鉴学习,不畏惧内存溢出、磁盘满了、断网、断电、机器重启等等情况。但意想不到的是,这个标杆程序竟然就是从一...
    文章 2020-09-16 853浏览量
  • 存储-盘古,阿里云飞天分布式存储系统设计深度解析

    结构如上图所示,有一个集中管理的配置管理库,盘古管控中心会把配置管理库推送到盘古的各个组件,自动执行配置变更,发现配置不对时能够实现自动对齐,运行环境标准检查对于大规模的分布式系统是非常重要的。...
    文章 2017-07-19 6375浏览量
  • 盘古:阿里云飞天分布式存储系统设计深度解析

    结构如上图所示,有一个集中管理的配置管理库,盘古管控中心会把配置管理库推送到盘古的各个组件,自动执行配置变更,发现配置不对时能够实现自动对齐,运行环境标准检查对于大规模的分布式系统是非常重要的。...
    文章 2016-11-17 38126浏览量
  • 【双11背后的技术】万亿交易量级下的秒级监控

    但现状如此,这些实现逻辑保障了SunFire的高一致性,不用担心数据不全、报警不准,随便怎么重启计算组件,随便怎么重启Agent。但这些优势的背后,是值得深思的代码复杂度。2.3.1.2.4 路径扫描 为了让用户配置简单...
    文章 2017-01-12 5487浏览量
  • Redis 面试总结

    2).Master AOF持久,如果不重写AOF文件,这个持久方式对性能的影响是最小的,但是AOF文件会不断增大,AOF文件过大会影响Master重启的恢复速度。Master最好不要做任何持久工作,包括内存快照和AOF日志文件,...
    文章 2018-10-23 1955浏览量
  • 创业公司如何做数据分析(四)ELK日志系统

    grok,是Logstash最重要的一个插件,用于将非结构化的文本数据转化为结构化的数据。grok内部使用正则语法对文本数据进行匹配,为了降低使用复杂度,其提供了一组pattern,我们可以直接调用pattern而不需要自己写正则...
    文章 2017-04-14 6590浏览量
  • 我在系统设计上犯过的14个错

    说到协议,就顺带说下,当时在设计通信协议和选择序列/反序列上没充分考虑到将来多语言的问题,导致了后来在多语言场景非常的被动,这也是由于设计时前瞻性的缺失,所谓的前瞻性不是说一定要一开始就把未来可能...
    文章 2019-07-30 618浏览量
  • 我在系统设计上犯过的14个错

    说到协议,就顺带说下,当时在设计通信协议和选择序列/反序列上没充分考虑到将来多语言的问题,导致了后来在多语言场景非常的被动,这也是由于设计时前瞻性的缺失,所谓的前瞻性不是说一定要一开始就把未来可能...
    文章 2016-07-13 14840浏览量
  • [QCon讲稿实录]谈高质量架构产品输出

    大家还记不记得去年有几次极端的IDC故障,比如有个云服务商机房被雷劈,导致大规模机器重启,但机器启动不起来。为啥起不来,太多机器一起重启电压不够。还比如光缆被挖掘机挖断,本来是城市环网,带热备的,结果两...
    文章 2016-04-25 5151浏览量
  • 阿里毕玄:我在系统设计上犯过的14个错

    说到协议,就顺带说下,当时在设计通信协议和选择序列/反序列上没充分考虑到将来多语言的问题,导致了后来在多语言场景非常的被动,这也是由于设计时前瞻性的缺失,所谓的前瞻性不是说一定要一开始就把未来可能...
    文章 2016-04-22 20660浏览量
  • 蚂蚁变大象:浅谈常规网站是如何从小变大的

    (到那时才解开了我的一个疑惑:C语言除了用来写HelloWorld,还能干嘛?总而言之,网站根据不同的需求,不同的请求压力,不同的业务模型,需要不同的架构来给予支持。我从我的一些经历和感受出发,大体上总结了一下...
    文章 2017-11-07 1322浏览量
  • 深入探索Redis的五种基础数据类型

    Redis提供了RDB和AOF两种持久策略,能最大限度地保证Redis服务器宕机重启后数据不会丢失。支持高可用。可以使用主从复制,并且提供哨兵机制,保证服务器的高可用。客户端语言多。因为Redis受到社区和各大公司的...
    文章 2021-01-17 261浏览量
  • 日均百亿级日志处理:微博基于 Flink 的实时计算平台...

    将 operators 链接成 task 是非常有效的优化:它能减少线程之间的切换,减少消息的序列/反序列,减少数据在缓冲区的交换,减少了延迟的同时提高整体的吞吐量。Flink 会在生成 JobGraph 阶段,将代码中可以优化的...
    文章 2019-10-30 6566浏览量
  • 分布式主动感知在智能运维中的实践

    为解决上述问题,Gartner适时提出了“AIOps”的概念,这里的“AI”代表的是人工智能,通过机器人的参与将人工智能技术体系带入到运维的各个环节,帮助解决运维问题,运维发展也由此进入智能阶段。二、什么是智能运...
    文章 2019-07-09 2293浏览量
  • 阿里如何实现100%容器镜像?八年技术演进之路回顾

    八年时间,阿里集团实现了 100%内部容器镜像,经历了几代演进。本文将从最初的架构开始,向大家介绍下阿里内部的容器演化过程。PouchContainer 现在服务于阿里巴巴集团和蚂蚁金服集团的绝大部分 BU,包括交易&...
    文章 2018-09-26 2075浏览量
  • Redis经典面试题总结

    结构化的数据,比如一个对象 ZSet 有序集合 添加、获取、删除元素 根据分值范围或者成员来获取元素 计算一个键的排名 去重但可以排序,如获取排名前几名的用户 Redis的应用场景 计数器 可以对 String 进行自增自减...
    文章 2020-09-26 4322浏览量
  • 一个小型数据库的核心组件

    别看现代计算机运算速度这么快,他终归也只是个“图灵机”实现,或者更具象一点,就是一台打字机,一次只能打一个字母,那么可能会有问了,如果我要用几个字母来表示同一个意思,应该怎么做呢?在英语中,最简单...
    文章 2017-05-02 1066浏览量
  • 架构师画像

    又例如我2008年在做服务框架设计的时候,集群和集群之间通过硬件负载均衡设备来访问的,连接的方式是单个长连接,这个设计导致了运行过程中如果要发布被调用的服务方,很容易出现压力都集中在前面重启机器上,这也...
    文章 2016-03-04 7415浏览量
  • 一个小型数据库的核心组件

    别看现代计算机运算速度这么快,他终归也只是个“图灵机”实现,或者更具象一点,就是一台打字机,一次只能打一个字母,那么可能会有问了,如果我要用几个字母来表示同一个意思,应该怎么做呢?在英语中,最简单...
    文章 2016-04-08 1490浏览量
  • 《Hadoop与大数据挖掘》——第2章 大数据存储与运算...

    HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。(2)Hive Hive是建立在Hadoop上的数据仓库基础构架。它提供了一...
    文章 2017-07-03 2175浏览量
  • Redis常见知识点汇总 也许你能用到

    2).Master AOF持久,如果不重写AOF文件,这个持久方式对性能的影响是最小的,但是AOF文件会不断增大,AOF文件过大会影响Master重启的恢复速度。Master最好不要做任何持久工作,包括内存快照和AOF日志文件,...
    文章 2019-11-20 1519浏览量
  • Redis常见知识点汇总 也许你能用到

    2).Master AOF持久,如果不重写AOF文件,这个持久方式对性能的影响是最小的,但是AOF文件会不断增大,AOF文件过大会影响Master重启的恢复速度。Master最好不要做任何持久工作,包括内存快照和AOF日志文件,...
    文章 2020-02-23 1119浏览量
  • 什么是整洁代码?大咖程序员们这样说

    我们可以创造帮助把需求解析和汇整为正式结构的各种工具。然而,我们永远无法抛弃必要的精确性——所以代码永存。​ 糟糕的代码 最近我在读Kent Beck著Implementation Patterns(中译版《实现模式》)[1]一书的序言...
    文章 2018-07-26 2938浏览量
  • 阿里集团搜索和推荐关于效率&稳定性的思考和实践

    开发复杂度取决于其生态能为业务的开发提供什么支持,包括语言层面和业务领域所在的第三方生态、集团层面的二方生态、以及业务所在平台。迭代流程一方面可以保证业务功能的正确性,同时也可以提升线上系统的稳定性,...
    文章 2018-02-11 5031浏览量
  • RPC框架Dubbo深入分析

    如果有机器正在重启,可能会出现调用失败 Failsafe 失败安全,出现异常时,直接忽略,通常用于写入审计日志等操作 调用信息丢失 Failback 失败自动恢复,后台记录失败请求,定时重发,通常用于消息通知操作 不可靠,...
    文章 1970-01-01 2156浏览量
  • 云原生体系下的技海浮沉与理论探索

    事件流即日志,业务记录即日志,动作变化即日志,结构化的日志是可观测的根本,即一切皆日志。无论是配置指令、还是依赖编排,亦或者是事件,都是围绕资源进行的,所有的 API 都是以资源这个主体进行调用,即一切皆...
    文章 2020-12-14 1032浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化