• 分布式存储系统基础

    哈希取模的方法很常见,其方法是根据数据的某一种特征计算哈希值,并将哈希值与集群中的服务器建立映射关系,从而将不同哈希值得数据分布到不同的服务器上。如果哈希函数的散列特性很好,哈希方式可以将数据比较均匀...
    文章 2017-08-09 1636浏览量
  • Flink状态管理和容错机制介绍

    比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到count上去,那么count就是一个state。1.2.传统的流计算系统缺少对于程序状态的有效支持# ...
    文章 2018-11-14 2047浏览量
  • 这可能是史上最全 Redis 高可用解决方案总结

    高性能受限于单核 CPU 的处理能力(Redis 是单线程机制),CPU 为主要瓶颈,所以适合操作命令简单,排序、计算较少的场景。也可以考虑用 Memcached 替代。2、Redis 多副本(主从) Redis 多副本,采用主从...
    文章 2018-09-30 1531浏览量
  • Flink状态管理和容错机制介绍

    比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到count上去,那么count就是一个state。1.2.传统的流计算系统缺少对于程序状态的有效支持 ...
    文章 2019-04-25 1027浏览量
  • 这可能是史上最全 Redis 高可用解决方案总结

    高性能受限于单核 CPU 的处理能力(Redis 是单线程机制),CPU 为主要瓶颈,所以适合操作命令简单,排序、计算较少的场景。也可以考虑用 Memcached 替代。2、Redis 多副本(主从) Redis 多副本,采用主从...
    文章 2018-09-29 2910浏览量
  • 揭秘双11丝滑般剁手之路背后的网络监控技术

    其机制采用列式存储,数据压缩,支持片,支持索引,并且会将一个计算任务拆分分布在不同片上并行执行,计算完成后会将结果汇总,支持SQL和联表查询但是支持不够好,支持实时更新,自动多副本同步。总体来说,...
    文章 2020-11-23 6212浏览量
  • 10 人,2 个月|虾米音乐的监控体系升级之路

    中间件故障常见的如 Cache、DB抖 动导致一段时间内 RT 增长、超时增多。不过这里需要注意的是,单机 Load 高同样会引发单机读写 Cache、DB 出现问题。监控优化 分析了报警原因,下一步就是优化监控。监控的报警...
    文章 2019-08-22 2265浏览量
  • 分布式系统架构技术分析(一)

    同时,通过这层中间件,也能实现所有数据库参数的动态调整、路由规则动态调整、数据库片权重的调整,从而在应用层实现数据库访问的高可用,且不依赖于数据库高可用机制,甚至提供更灵活强大的故障容忍能力。...
    文章 2019-08-03 1191浏览量
  • 水平库分表的关键步骤和技术难点

    常见片策略有随机片和连续片这两种,如下图所示: 当需要使用片字段进行范围查找时,连续片可以快速定位片进行高效查询,大多数情况下可以有效避免跨片查询的问题。后期如果想对整个片集群扩容时...
    文章 2016-11-17 1590浏览量
  • Flink状态管理和容错机制介绍

    比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到count上去,那么count就是一个state。1.2.传统的流计算系统缺少对于程序状态的有效支持 ...
    文章 2018-10-15 2989浏览量
  • 阿里云高性能时序数据库 TSDB 启动公测,为物联网而生...

    TSDB 在的空间聚合 Aggregator 支持也非常全面,支持 ADhoc 查询,TSDB 通过引入倒排索引和数据片提升检索时间序列的效率,通过并行计算架构,整体计算性能提升非常明显。TSDB 兼容 OpenTSDB 协议,写入性能提升20...
    文章 2017-08-08 2734浏览量
  • 主流大数据系统在后台的层次角色及数据流向

    在线计算平台常见计算类型有在线服务、流式计算、实时回馈等,分别服务于数据抓取、实时统计、实时监控、在线分析、实时推荐等应用。在线存储平台中的数据一般分为临时缓存数据和持久化数据,这些数据通常来自在线...
    文章 2017-08-01 1070浏览量
  • 实战、运维和调优》——1.1 什么是实时流计算

    阿里的JStormJStorm是一个Alibaba开源的分布式实时计算引擎,可以认为是Twitter Storm的Java版本,用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,JStorm会启动后台服务进程7×24小时运行,一旦...
    文章 2017-07-03 2255浏览量
  • 这可能是目前最全的Redis高可用技术解决方案总结

    高性能受限于单核CPU的处理能力(Redis是单线程机制),CPU为主要瓶颈,所以适合操作命令简单,排序、计算较少的场景。也可以考虑用Memcached替代。2、Redis多副本(主从) Redis多副本,采用主从(replication)...
    文章 2018-08-21 19362浏览量
  • 车联网上云最佳实践(二)

    痛点5:基础设施可靠性故障频发 传统IDC底层基础设施通常都是企业自己搭建的,这里会有很多原因导致底座基础设施不稳定的因素。例如企业一开始对硬件投入不重视,使用廉价的设备;再例如工程师技术能力有限,...
    文章 2018-08-22 2564浏览量
  • Aliware打造史上最强时序数据库,HiTSDB每秒写入时序...

    HiTSDB 在的空间聚合 Aggregator 支持也非常全面,支持 ADhoc 查询,HiTSDB 通过引入倒排索引和数据片提升检索时间序列的效率,通过并行计算架构,整体计算性能提升非常明显。HiTSDB 兼容 OpenTSDB 协议,写入性能...
    文章 2017-08-08 7758浏览量
  • 快手基于 Apache Flink 的优化实践

    2、实时指标计算常见的实时指标计算包括 uv、pv 和 sum。这其中 uv 的计算最为复杂也最为经典。下面我将重点介绍 uv。uv 指的是不同用户的个数&xff0c;我们这边计算的就是不同 deviceld 的个数&xff0c;主要的挑战来自...
    文章 2020-11-19 5754浏览量
  • 【讨论】创业公司要自建机房?还是自建机房不靠谱?

    但如果仅从价格上对比的话,或许看不出优势有多明显,但在隐形的地方一比,云计算和自建机房那是了一个天一个地了。云服务商的SLA基本都有99.99%,以及看不见的安全保障服务,光是一个弹性扩容的优势就足以让创业...
    文章 2016-11-17 10791浏览量
  • 车联网上云最佳实践(一)

    但是自建NFS分布式文件系统由于公司投入硬件设备有限,导致本身的扩展性是相当的,而且需要停机相当影响业务。访问速度因客户端增加而变慢。这是个很影响用户体验的痛点,必须改造。运维管控集群:在复杂的系统...
    文章 2018-08-31 2919浏览量
  • 五分钟学后端技术:一篇文章告诉你什么是云计算

    计算的整个过程,用一个词来讲就是“久必合,合久必”。云计算其实主要解决了四个方面的内容:计算,网络,存储,应用。前三者是资源层面的,最后是应用层面的。计算是CPU和内存,为啥?1+1这个最简单的算法是...
    文章 2020-04-02 2500浏览量
  • 带你读《计算思维导论》之一:绪论

    计算思维的数据类型也比较复杂,比如,堆栈是计算学科中一种常见的抽象数据类型,这种数据类型的基本操作是入栈、出栈等,而不是简单的加减法。算法也是一种抽象,所以不能将两种算法简单地放在一起去实现并行算法。...
    文章 2019-10-30 1547浏览量
  • 带你读《增强型分析:AI驱动的数据分析、业务决策与...

    (9)四分位距(Interquartile Range,IQR)四分位距通过第三四位数和第一四位数的差值来计算,即IQR=Q3-Q1。针对上表,其IQR=61-34=27。四分位距是进行离群值判别的一个重要统计指标。一般情况下,极端值都在Q1...
    文章 2019-11-05 1261浏览量
  • 大规模订单系统解读-架构篇

    避免处理CPU 打满、坏盘、网络故障等各种问题&xff0c;同时按量付费&xff0c;随时弹性扩容缩容&xff0c;可以节省大量运维开销&xff0c;这样就可以将资源全部投入研发。硬件成本&xff1a;如果使用了云服务&xff0c;则为云服务的...
    文章 2020-09-17 2297浏览量
  • 稳定性保障6步走:高可用系统大促作战指南!

    作者|雍雍来源|阿里技术公众号一 前言...脚本常见故障排查方式、核心告警止血方式(强弱依赖不可用等),业务相关日志捞取脚本等。3)告警&大盘应包含业务、系统集群及中间件告警监控梳理结果,核心业务以及系统...
    文章 2021-03-08 1741浏览量
  • 到底什么是集群&分布式

    (请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。2.负载均衡集群(Load Balance Cluster) 负载均衡系统:集群中...
    文章 2016-05-26 2483浏览量
  • 带你读《Prometheus监控实战》之一:监控简介

    监控系统很或者没能正确实施的常见原因是它很难实现。如果你让应用程序开发人员觉得监测应用程序、收集数据或可视化很难完成,那么他们可能就不会去做这些事。如果监控的基础设施是手动维护的,或者过于复杂,那么...
    文章 2019-11-11 3556浏览量
  • 全面对比,深度解析 Ignite 与 Spark

    它也可以进行交互式查询,因为不支持索引等等原因,所以性能较,响应时间可能较长。数据一致性(事务) Ignite Ignite 整体来说对事务的支持还不完善,具体来说,在键-值 API 层面,有完善的事务机制,主要原理...
    文章 2018-09-29 3179浏览量
  • 史上最全Redis高可用技术解决方案大全

    3、高性能受限于单核CPU的处理能力(Redis是单线程机制),CPU为主要瓶颈,所以适合操作命令简单,排序、计算较少的场景。也可以考虑用memcached替代。2Redis多副本(主从) Redis 多副本,采用主从(replication)...
    文章 2018-11-16 1715浏览量
  • 浅谈库分表那些事儿

    但是,如果我们让所有的库使用的ID段按照等数列进行分隔,每次ID段用完之后,再按照固定的步长比递增的话,那是不是就可以解决这个问题了。比如,像下面这样,假设每次分配的ID间隔为1000,也就是步长1000,那么...
    文章 2021-03-08 5651浏览量
  • 对Raid的认识

    但是,当硬盘出现故障,RAID5的长时间重建,由于磁盘本身不断的在读取数据计算校验码,因此,肯定会对正常的IO产生较大的影响,同时也会影响性能。RAID6 的原理和RAID5类型,而且会多出一块校验盘,性能开销会更大...
    文章 2017-11-14 989浏览量
1 2 3 4 ... 8 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化