• 内存泄漏和内存溢出

    的原因是,它申请的内存越来越多,没有释放内存。而操作系统对进程的内存占用有限制。操作系统会将大的进程置换到磁盘去。换到磁盘去就导致速度慢了。主要是磁盘的速度跟不上。这让我联想到以前自己的系统,变得...
    文章 2015-07-11 971浏览量
  • 如何在linux下检测内存泄漏(转)

    (例如 MFC 选择在所分配内存的头部存储对象实际数据,而后面的部分存储边界标志和内存大小信息。g+则采用在所分配内存的头 4 个自己存储相关信息,而后面的内存存储对象实际数据。当我们使用 delete operator 进行...
    文章 2017-11-08 931浏览量
  • 基于JindoFS+OSS构建高效数据湖

    JindoFS 的元数据服务基于 Raft 实现高可用,支持 2N+1 的部署方式,允许同时挂掉 N 台;元数据服务(NamespaceService)在元数据内部存储上进行了设计和优化,进程启动后即可提供服务,可以做到了快速响应。由于 ...
    文章 2020-09-14 14972浏览量
  • Google MapReduce架构设计

    (2)master挂掉的概率很小;(3)不做高可用,能让系统的复杂性降低非常多;worker的高可用是如何保证的?master会周期性的ping每个worker,如果超时未返回,master会把对应的worker置为无效,把这个worker的工作任务...
    文章 2019-08-08 465浏览量
  • Hbase问题汇总与解答

    当Region被Master重新分配,或者某个RegionSever挂掉的时候,客户端会重新的查询索引表hbase:meta 来决定新的region位置。当RegionServer挂掉的时候,Master节点是可以感知到的,Master做RegionServer的协调工作,会...
    文章 2019-01-31 193705浏览量
  • 分布式文件系统MFS(moosefs)实现存储共享(第二版)

    除了MFS本身具备高可用特性外,手动恢复服务也是非常快捷原因参照第1条。4、我在实验过程中得到作者的帮助,这让我很是感激。MFS特性(根据官方网站翻译) 高可靠性(数据能被分成几个副本存储在不同的计算机里...
    文章 2017-11-09 1083浏览量
  • MySQL内核月报 2015.01-MySQL·优化改进·复制性能...

    由于在主库的更新是由多个客户端执行的,所以当压力达到一定的程度时,备库单线程执行主库的binlog跟不上主库执行的速度,进而会产生延迟造成备库不可用,这也是分库的原因之一,其SQL线程的执行堆栈如下: ...
    文章 2016-05-23 1551浏览量
  • 2017QCon分享:从淘宝到云端的高可用架构演进

    比如在设计技术方案的时候,在最后一章单独有一个容灾设计,这个节点里任何服务挂掉的时候,你要保持什么样的方式保持这个服务是可用的。在容灾设计时有几点必须考虑,比如我引了一个新jar包或者调了一个新的RPC的...
    文章 2017-10-25 2947浏览量
  • 你真的了解Docker吗?——Docker插件机制详解

    Docker之所以这么火并且有很多人愿意使用它,其中涉及到很多方面的因素,例如功能性以及隔离性等各种各样的原因。其中Docker的开箱即用功能是一个非常具有特色的优点,Docker安装后即可使用,无需再做其他的配置;...
    文章 2016-08-25 10513浏览量
  • Redis原理详解

    如果是作为存储Storage的话,我们面临的最大的问题是无论是持久化还是复制都没有办法解决Redis单点问题,即一台Redis挂掉了,没有太好的办法能够快速的恢复,通常几十G的持久化数据,Redis重启加载需要几个小时的...
    文章 2017-11-12 2237浏览量
  • 纯干货|从淘宝到云端的高可用架构演进

    比如在设计技术方案的时候,在最后一章单独有一个容灾设计,这个节点里任何服务挂掉的时候,你要保持什么样的方式保持这个服务是可用的。在容灾设计时有几点必须考虑,比如我引了一个新jar包或者调了一个新的RPC的...
    文章 2017-06-19 2148浏览量
  • java 的""和null的区别

    null是用来判断引用类型是否分配存储空间 是针对字符串的;string类型实际上是字符串指针,也即是一个引用类型 所以如果没有给a赋过值,a=""会导致异常 所以if(a=null|a=""){}这种写法也是正确的 问题四: ...
    文章 2017-05-06 756浏览量
  • 【干货-K8S系列】Kubernetes调度核心解密:从Google ...

    原因在于其中会有一些任务因为各种各样的原因停止运行。下图可以看到3分钟后大概只有9993个任务在运行。Borg会自动进行错误处理并且部署新的任务。Borg调度核心 那么如何提升整个Borg系统的资源利用率呢?核心的解决...
    文章 2018-12-15 1367浏览量
  • Facebook TSDB论文翻译

    虽然基于HBase的TSDB比较低效,但是我们也不能立刻就全部换,因为ODS上的HBase存储占用了2PB的数据。Facebook的数据仓库解决方案Hive也存在问题,它比ODS的查询延时还要高几个数量级,而查询的延时和效率恰恰是...
    文章 2017-08-18 2171浏览量
  • Nginx如何实现负载均衡以及Session共享教程详解

    因此,这时候的负载均衡就会大显身手了,它会自动剔除挂掉的服务器. 下面简单的介绍下我使用Nginx做负载的体会 下载-安装Nginx这些不介绍了,前篇有介绍. windows和Linux下配置Nginx负载的写法一样,故不分开介绍. ...
    文章 2020-04-27 1273浏览量
  • Apache Spark3.0什么样?一文读懂Apache Spark最新...

    Spark获得大数据领域的认可的原因有三点。第一,它提供了易用的API,支持Java、Scala、Python,R、SQL等多种语言,这使得数据工程师和数据科学家都能够使用他们最熟悉的语言访问Spark。此外,Spark也提供了声明式的...
    文章 2019-08-02 4267浏览量
  • Apache Spark3.0什么样?一文读懂Apache Spark最新...

    Spark获得大数据领域的认可的原因有三点。第一,它提供了易用的API,支持Java、Scala、Python,R、SQL等多种语言,这使得数据工程师和数据科学家都能够使用他们最熟悉的语言访问Spark。此外,Spark也提供了声明式的...
    文章 2019-08-02 2748浏览量
  • Apache Spark3.0什么样?一文读懂Apache Spark最新...

    Spark获得大数据领域的认可的原因有三点。第一,它提供了易用的API,支持Java、Scala、Python,R、SQL等多种语言,这使得数据工程师和数据科学家都能够使用他们最熟悉的语言访问Spark。此外,Spark也提供了声明式的...
    文章 2019-08-01 2552浏览量
  • 在家办公这些天整理的Kafka知识点大全

    避免leader挂掉后,比如当前消费者消费8这条数据后,leader挂 了,此时比如f2成为leader,f2根本就没有9这条数据,那么消费者就会报错,所以设计了HW这个参数,只暴露最少的数据给消费者,避免上面的问题 ...
    文章 2020-02-19 960浏览量
  • 云原生必备知识:Kubernetes

    一旦一个Pod被创建,系统就会不停的监控Pod的健康情况以及Pod所在主机的健康情况,如果这个Pod因为软件原因挂掉了或者所在的机器挂掉了,replication controller 会自动在一个健康的机器上创建一个一摸一样的Pod,来...
    文章 2020-02-20 145浏览量
  • 项目优化经验—mdash;垃圾回收导致的性能问题

    这里可以看到,我们这个字符串占用差不多200K的字节,字符串是字符数组,CLR中字符采用Unicode双字节存储,因此10万长度的字符串占用200千字节,并且也可以看到这个页面执行时间30毫秒,差不多是一个正常aspx页面的...
    文章 2010-03-10 881浏览量
  • nosql和Redis

    灾难恢复-memcache挂掉后,数据不可恢复;redis数据丢失后可以通过aof恢复;7>虚拟内存-Redis当物理内存用完时,可以将一些很久没用到的value 交换到磁盘;8>Redis支持数据的备份,即master-slave模式的数据...
    文章 2017-11-24 1216浏览量
  • 五分钟学后端技术:一篇文章告诉你什么是云计算!

    所以一台服务器上的容器是共享操作系统内核的,容器在不同机器之间的迁移不带内核,这也是很多人声称容器是轻量级的虚拟机的原因。轻不白轻,自然隔离性就差了,一个集装箱把船压漏水了,所有的集装箱一起沉。另一个...
    文章 2020-04-02 2512浏览量
  • 降本增效利器!趣头条Spark Remote Shuffle Service...

    大家可以看到RSS的设计中Master是一个单点,虽然Master的负载很小,不会轻易地挂掉,但是这对于线上稳定性来说无疑是一个风险点。在项目的最初上线阶段,我们希望可以通过SubCluster的方式进行workaround,即通过...
    文章 2020-12-07 6567浏览量
  • HBase内部结构

    Master:负责启动的时候分配Region到具体的RegionServer,执行各种管理操作,比如Region的分割,在HBase中Master并不是像Hadoop的namenode那么重要,因为数据的读取和写入和Master没什么关系,如果Master挂掉了,集群是可以...
    文章 2018-12-06 1375浏览量
  • 回顾《网易数据基础平台建设》

    每个coordinator节点都能接收SQL,没有集中统一的SQL管理,如果挂掉所有历史信息都无法追踪。我们基于Impala问题做了相应整改: (1)首先是基于Zookeeper的Load Balance机制;(2)管理服务解决SQL无法持续化问题,...
    文章 2020-02-05 468浏览量
  • 回顾《网易数据基础平台建设》

    每个coordinator节点都能接收SQL,没有集中统一的SQL管理,如果挂掉所有历史信息都无法追踪。我们基于Impala问题做了相应整改: (1)首先是基于Zookeeper的Load Balance机制;(2)管理服务解决SQL无法持续化问题,...
    文章 2020-02-04 356浏览量
  • Apache Flink 零基础入门教程(六):状态管理及容错...

    可靠,Flink 提供了状态持久化,包括不丢不重的语义以及具备自动的容错能力,比如 HA,当节点挂掉后会自动拉起,不需要人工介入。二.Flink 状态的类型与使用示例 1.Managed State&Raw State Managed State 是 ...
    文章 2019-08-05 942浏览量
  • Apache Flink 零基础入门教程(六):状态管理及容错...

    可靠,Flink 提供了状态持久化,包括不丢不重的语义以及具备自动的容错能力,比如 HA,当节点挂掉后会自动拉起,不需要人工介入。二.Flink 状态的类型与使用示例 1.Managed State&Raw State Managed State 是 ...
    文章 2019-08-05 4990浏览量
  • celery配合rabbitmq任务队列实现任务的异步调度执行...

    推荐使用rabbitmq,他的速度和可用性都很高,redis这东西就怕意外,当然你运气很好,不怕他意外的挂掉,是可以用的。Celery和RabbitMQ是两个层面的东西。Celery是一个分布式的任务队列。它的基本工作就是管理分配...
    文章 2017-11-13 1939浏览量
1 2 3 4 ... 10 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化