• 关于

    文件传输挂掉的原因

    的搜索结果
  • 最近分布式系统开发小结: Slave模块Executors设计

    更新一段我在linkedin上对这个项目的描述,目前项目已经开发完在使用了。本文并不是最新的设计。 背景解决HDFS/Hive/RDBMS/FTP/MongoDB等数据源之间的批量数据同步问题特性跨机房场景下的链路优化;多路输入和输出的任务模型;数据容错和可持久化;任务失败恢复任务调度把任务配置解...

    文章 张包峰 2014-01-07 1405浏览量

  • nginx技术(3)反向代理和负载均衡

    反向代理和负载均衡 一,传统的代理(apache/squid)的同步传输和nginx的异步传输的差异。 二,同步传输和异步传输的比较 1 2 3 4 5 6 7 8 9 squid同步传输:浏览器发起请求,而后请求会立刻被转到后台,于是在浏览器和后台之间就建立了一个通道。在请求发...

    文章 科技小能手 2017-11-07 731浏览量

  • Redis主从复制

    大家可以先看这篇文章ASP.NET Redis 开发对Redis有个初步的了解 Redis的主从复制功能非常强大,一个master可以拥有多个slave,而一个slave又可以拥有多个slave,如此下去,形成了强大的多级服务器集群架构。 在master上执行写操作,在slave上面进行读操作,因...

    文章 技术mix呢 2017-10-04 868浏览量

  • 阿里云爆款特惠专场,精选爆款产品低至0.95折!

    爆款ECS云服务器8.1元/月起,云数据库低至1.5折,限时抢购!

    广告

  • 消息中间件面试题31道RabbitMQ+ActiveMQ+Kafka

    前言 文章开始前,我们先了解一下什么是消息中间件? 什么是中间件? 非底层操作系统软件,非业务应用软件,不是直接给最终用户使用的,不能直接给客户带来价值的软件统称为中间件。 什么是消息中间件? 是关注于数据的发送和接收,利用高效可靠的异步消息传递机制集成分布式系统 图示: 消息中间件RabbitM...

    文章 Java架构师追风 2019-07-26 2763浏览量

  • 转 Kafka设计理念浅析

    本文将从以下两个方面去尝试讲解Kafka的设计理念,主要参考文献在这里: Kafka设计背景及原因 Kafka的设计特色 Kafka设计背景及原因 Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数据(operaitonal ...

    文章 cloudcoder 2016-05-13 2285浏览量

  • 第一章 概述

    一 分层 TCP/IP网络协议栈分为应用层(Application)、传输层(Transport)、网络层(Network)和链路层(Link)四层。 1)链路层,有时也称作数据链路层或网络接口层,通常包括操作系统中的设备驱动程序和计算机中对应的网络接口卡。 2)网络层,有时也称作互联网层,处...

    文章 指尖的舞曲 2014-10-10 695浏览量

  • 【Linux系统编程】 Linux系统调用概述

    系统调用概述 系统调用,顾名思义,说的是操作系统提供给用户程序调用的一组“特殊”接口。用户程序可以通过这组“特殊”接口来获得操作系统内核提供的服务,比如用户可以通过文件系统相关的调用请求系统打开文件、关闭文件或读写文件,可以通过时钟相关的系统调用获得系统时间或设置定时器等。 从逻辑上来说,系...

    文章 沧海一笑dj 2015-08-21 1169浏览量

  • 【译】Linux概念架构的理解

    声明:本文翻译自Conceptual Architecture of the Linux Kernel 摘要 Linux kernel成功的两个原因:(1)灵活的架构设计使得大量的志愿开发者能够很容易加入到开发过程中;(2)每个子系统(尤其是那些需要改进的)都具备良好的可扩展性。正是这两个原因使...

    文章 杜琪 2016-06-07 1361浏览量

  • redis的主从配置 扩容

    由于redis的集群功能没有完全编写好,见:http://redis.io/topics/cluster-spec 集群只有测试版的第8个版本redis3.0.0 见 http://redis.io/download 但是redis可以做主从设置   Redis的主从复制策略是通过其持久化的rdb...

    文章 老先生二号 2017-06-25 1678浏览量

  • Freeline - Android平台上的秒级编译方案

    Freeline 技术揭秘 Freeline是什么? Freeline是蚂蚁金服旗下一站式理财平台蚂蚁聚宝团队15年10月在Android平台上的量身定做的一个基于动态替换的编译方案,5月阿里集团内部开源,稳定性方面:完善的基线对齐,进程级别异常隔离机制。性能方面:内部采用了类似Facebook的...

    文章 弦影 2016-08-15 88673浏览量

  • Linux 系统中使用 logwatch 监控日志文件

    Linux 系统中使用 logwatch 监控日志文件 Linux 操作系统和许多应用程序会创建特殊的文件来记录它们的运行事件,这些文件通常被称作“日志”。当要了解操作系统或第三方应用程序的行为或进行故障排查时,这些系统日志或特定的应用程序日志文件是必不可少的的工具。但是,日志文件并没有您们所谓...

    文章 玄学酱 2017-05-02 1979浏览量

  • 高并发Web服务的演变——节约系统内存和CPU

    高并发Web服务的演变——节约系统内存和CPU 一、越来越多的并发连接数 现在的Web系统面对的并发连接数在近几年呈现指数增长,高并发成为了一种常态,给Web系统带来不小的挑战。以最简单粗暴的方式解决,就是增加Web系统的机器和升级硬件配置。虽然现在的硬件越来越便宜,但是一味地通过增加机器来解决...

    文章 玄学酱 2017-05-02 1117浏览量

  • 独家 | 一文读懂Hadoop(二)HDFS(上)

    随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印...

    文章 行者武松 2017-08-01 1398浏览量

  • OSS 工具集

    作者:张医博 浅谈 本章节结合一些实际遇到的案例讲一下各种工具使用。 在遇到问题时先确保自己的工具一定是官方的最新迭代版本。 使用工具遇到问题时如果遇到 4xx 3xx 2xx 500 等问题,oss 都会返回一个 x-oss-requestID 的 http 头,value 是一串字符,类似 ...

    文章 技术课堂的搬运工~ 2020-04-02 211浏览量

  • OSS 工具集

    浅谈 本章节结合一些实际遇到的案例讲一下各种工具使用。 在遇到问题时先确保自己的工具一定是官方的最新迭代版本。 使用工具遇到问题时如果遇到 4xx 3xx 2xx 500 等问题,oss 都会返回一个 x-oss-requestID 的 http 头,value 是一串字符,类似 5BEE7AD...

    文章 张医博 2018-11-11 3964浏览量

  • 【双11背后的技术】万亿交易量级下的秒级监控

    选自《不一样的技术创新——阿里巴巴2016双11背后的技术》,全书目录:https://yq.aliyun.com/articles/68637 本文作者:郁松、章邯、程超、癫行 前言 2016财年,阿里巴巴电商交易额(GMV)突破3万亿元人民币,成为全球最大网上经济体,这背后是基础架构事业群构筑...

    文章 云木西 2017-01-12 5292浏览量

  • 《深入理解Hadoop(原书第2版)》——2.3Hadoop系统的组成

    本节书摘来自华章计算机《深入理解Hadoop(原书第2版)》一书中的第2章,第2.3节,作者 [美]萨米尔·瓦德卡(Sameer Wadkar),马杜·西德林埃(Madhu Siddalingaiah),杰森·文纳(Jason Venner),译 于博,冯傲风,更多章节内容可以访问云栖社区“华章计...

    文章 华章计算机 2017-05-02 1340浏览量

  • NIO究竟牛X在哪?

    在进入NIO之前,先回顾一下Java标准IO方式实现的网络server端: public class IOServerThreadPool { private static final Logger LOGGER = LoggerFactory.getLogger(IOServerThread...

    文章 消失er 2018-07-16 861浏览量

  • 带你读《物联网之魂:物联网协议与物联网操作系统》之一: 网络通信技术

    物联网工程实战丛书点击查看第二章物联网之魂:物联网协议与物联网操作系统   孙昊 王洋 赵帅 杜秀芳 曾凡太 编著第1章 网络通信技术 1.1 数字通信概述   数字通信是指用数字信号作为载体来传输信息,或者用数字信号对载波进行数字调制后再传输的通信方式。它的主要技术设备包括发射器...

    文章 温柔的养猫人 2019-11-12 687浏览量

  • InnoDB 个性化备份

    如果想知道如何使用xtrabackup,请翻阅之前的文章 xtrabackup核心文档 xtrabackup原理深入浅出 为什么要使用xtrabackup 常用的备份有哪些 性能对比 逻辑备份 vs 物理备份 逻辑备份优点: 占用空间小,安全 逻辑备份缺点: 恢复速度慢 物理备份优点: 备...

    文章 兰春 2016-08-19 4380浏览量

  • 双 11 猫晚直播:看阿里文娱如何“擒住”高并发、多视角、 低卡顿!

    作者| 阿里文娱技术专家 泫野 在全民互动、红包与优惠券齐飞的双 11 盛会之下,对于阿里内部而言,实则是「练兵千日 磨一剑,用兵一时见功夫」的实战训练场。对此,阿里巴巴集团董事局主席兼首席执行官张勇(逍遥子)也曾说过,「没有参加过双 11 的叫同事,参加过双 11 的叫战友」。而如今这场以技术...

    文章 千言万语乐此不疲 2020-05-27 424浏览量

  • 《Apache Zookeeper官方文档》2-综述

    原文地址 Zookeeper: 一个分布式应用的分布式协调服务 zookeeper 是一个分布式的,开源的协调服务框架,服务于分布式应用程序。 它暴露了一系列的基础的操作服务,因此分布式应用能够基于这些服务,构建出更高级别的服务,比如同步,配置管理,分组和命名服务。 zookeeper设计上易...

    文章 ali清英 2016-04-01 1299浏览量

  • 戴文的Linux内核专题:21 配置内核 (17)

    你好!这篇文章会覆盖不同的驱动。 首先"virtio console"是一种用于hypervisors的虚拟控制台驱动。 "IPMI top-level message handler"是用于IPMI系统的消息管理器。IPMI代表的是"Intelligent Platform Management...

    文章 知与谁同 2017-05-02 690浏览量

  • 如何健壮你的后端服务?

    对每一个程序员而言,故障都是悬在头上的达摩克利斯之剑,都唯恐避之不及,如何避免故障是每一个程序员都在苦苦追寻希望解决的问题。对于这一问题,大家都可以从需求分析、架构设计 、代码编写、测试、code review、上线、线上服务运维等各个视角给出自己的答案。本人结合自己两年有限的互联网后端工作经验,...

    文章 力君 2015-12-04 5352浏览量

  • 阿里内核月报2014年4月

    Ideas for supporting shingled magnetic recording (SMR) 在2014年LSF&MM峰会上,Dave Chinner和Ted Ts'o一起主持了一个跨越2天而占用2个时间段的会议。 这个会议的主题是,是文件系统还是块设备层才是支持SMR设备...

    文章 场景研读 2017-06-06 1535浏览量

  • HDFS源码分析之数据块及副本状态BlockUCState、ReplicaState

            关于数据块、副本的介绍,请参考文章《HDFS源码分析之数据块Block、副本Replica》。         一、数据块状态BlockUCState         数据块状态用枚举类BlockUCState来表示,代码如下: /** * States, which ...

    文章 柏辰爸爸 2016-04-13 837浏览量

  • AIX的topas命令详解(原创)

    topas概述  topas 命令报告选定的本地系统活动的统计信息。该命令使用 curses 库以合适的格式来显示其输出,该格式适合于在一个 80x25 基于字符的显示器上或至少同样大小的图形显示器的窗口中进行查看。topas 命令需要在系统中安装 perfagent.tools 文件集。 如果 ...

    文章 ghost丶桃子 2016-05-24 1548浏览量

  • 关于用strace工具定位vrrpd进程有时会挂死的bug

    只做工作总结备忘之用。 正在烧镜像,稍总结一下进来改bug遇到的问题。     一个项目里要用到L3 switch的nat,vrrp功能,但实地测试中偶然出现write file挂死的情况,但不是必现。交付在即,于是加调试信息,反复跑配置的脚本,定位bug。   一,期初怀疑是vtysh与v...

    文章 double2li 2016-06-30 1114浏览量

  • 一致性协议浅析:从逻辑时钟到Raft

    前言 春节在家闲着没事看了几篇论文,把一致性协议的几篇论文都过了一遍。在看这些论文之前,我一直有一些疑惑,比如同样是有Leader和两阶段提交,Zookeeper的ZAB协议和Raft有什么不同,Paxos协议到底要怎样才能用在实际工程中,这些问题我都在这些论文中找到了答案。接下来,我将尝试以自己...

    文章 正研 2019-02-18 2260浏览量

  • Flume NG 简介及配置实战

        Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不...

    文章 寒沙牧 2016-05-20 8501浏览量

1 2 3 4 5 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT