• 关于

    批处理文件挂掉的原因

    的搜索结果
  • 转 Kafka设计理念浅析

    本文将从以下两个方面去尝试讲解Kafka的设计理念,主要参考文献在这里: Kafka设计背景及原因 Kafka的设计特色 Kafka设计背景及原因 Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数据(operaitonal ...

    文章 cloudcoder 2016-05-13 2280浏览量

  • 最近分布式系统开发小结: Slave模块Executors设计

    更新一段我在linkedin上对这个项目的描述,目前项目已经开发完在使用了。本文并不是最新的设计。 背景解决HDFS/Hive/RDBMS/FTP/MongoDB等数据源之间的批量数据同步问题特性跨机房场景下的链路优化;多路输入和输出的任务模型;数据容错和可持久化;任务失败恢复任务调度把任务配置解...

    文章 张包峰 2014-01-07 1398浏览量

  • windows 批处理

    批处理文件是无格式的文本文件,它包含一条或多条命令。它的文件扩展名为 .bat 或 .cmd。在命令提示下键入批处理文件的名称,或者双击该批处理文件,系统就会调用Cmd.exe按照该文件中各个命令出现的顺序来逐个运行它们。使用批 处理文件(也被称为批处理程序或脚本),可以简化日常或重复性任务。当然...

    文章 大熊猫侯佩 2013-05-06 1060浏览量

  • 阿里云爆款特惠专场,精选爆款产品低至0.95折!

    爆款ECS云服务器8.1元/月起,云数据库低至1.5折,限时抢购!

    广告

  • Spark Streaming 的玫瑰与刺

    前言 说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark Streaming的优势点。 玫瑰之代码复用 这主要得益于Spark的设计,以及平台的全面性。你写的流处理的代码可以很方便的适用...

    文章 祝威廉 2016-09-08 1661浏览量

  • 消息中间件面试题31道RabbitMQ+ActiveMQ+Kafka

    前言 文章开始前,我们先了解一下什么是消息中间件? 什么是中间件? 非底层操作系统软件,非业务应用软件,不是直接给最终用户使用的,不能直接给客户带来价值的软件统称为中间件。 什么是消息中间件? 是关注于数据的发送和接收,利用高效可靠的异步消息传递机制集成分布式系统 图示: 消息中间件RabbitM...

    文章 Java架构师追风 2019-07-26 2754浏览量

  • Spark Streaming 的玫瑰与刺

    说人话:其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲,坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark Streaming的优势点。 玫瑰之代码复用 这主要得益于Spark的设计,以及平台的全面性。你写的流处理的代码可以很方便的适用于Sp...

    文章 知与谁同 2017-08-01 1064浏览量

  • Apache Flink 在快手的过去、现在和未来

    本文由快手大数据架构团队负责人赵健博分享,主要介绍 Apache Flink 在快手的过去、现在和未来。内容包括:为什么选 FlinkFlink 在快手的发展业务数据流技术创新未来计划一、为什么选 Flink大家好,我是赵健博,来自快手,目前负责快手大数据架构团队。今天很高兴可以和大家分享我们在 ...

    文章 阿里云实时计算Flink 2021-02-26 852浏览量

  • 独家 | 一文读懂Hadoop(二)HDFS(上)

    随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印...

    文章 行者武松 2017-08-01 1394浏览量

  • ApsaraDB-HBase双集群和稳定性

    摘要:在2018年1月25日的数据库直播上由阿里云HBase team的玄陵带来了以“ApsaraDB-HBase双集群和稳定性”为主题的分享,通过对云HBase双集群方案存在的必要性、常见跨集群数据复制方案、云HBase跨集群数据复制(增量/全量)、云HBase双集群方案选择以及云HBase服务...

    文章 smile小太阳 2018-01-30 8223浏览量

  • 快手基于 Apache Flink 的优化实践

    本次由快手刘建刚老师分享,内容主要分为三部分。首先介绍流式计算的基本概念, 然后介绍 Flink 的关键技术,最后讲讲 Flink 在快手生产实践中的一些应用,包括实时指标计算和快速 failover。一、流式计算的介绍流式计算主要针对 un...

    文章 阿里云实时计算Flink 2020-11-19 2788浏览量

  • 在家办公这些天整理的Kafka知识点大全

    一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1 传统的消息队列&新式的消息队列的模式 上面是传统的消息队列,比如一个用户要注册信息,当用户信息写入数据库后,...

    文章 开源大数据EMR 2020-02-19 815浏览量

  • RocketMQ 核心设计理念

    本文由阿里云钉群直播整理而来。 讲师介绍:丁威:中通科技技术平台部资深架构师。《RocketMQ技术内幕》作者,社区直播讲师。开源爱好者,关注分布式、云计算、大数据领域。目前主要负责消息中间件与全链路压测的实施与落地。 本次分享将主要围绕以下四个方面展开1、如何学习RocketMQ之我所见。 2、...

    文章 琛琛轴子 2020-05-11 1116浏览量

  • 有赞实时任务优化:Flink Checkpoint 异常解析与应用实践

    作者:沈磊(有赞大数据) 有赞实时任务主要以 Flink 为主,为了保证实时任务的容错恢复以及停止重启时的状态恢复,几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致,本文结合 F...

    文章 阿里云实时计算Flink 2020-03-11 949浏览量

  • 有赞实时任务优化:Flink Checkpoint 异常解析与应用实践

    作者:沈磊(有赞大数据) 有赞实时任务主要以 Flink 为主,为了保证实时任务的容错恢复以及停止重启时的状态恢复,几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致,本文结合 F...

    文章 阿里云实时计算Flink 2020-03-11 570浏览量

  • 我是如何处理大并发量订单处理的 KafKa部署总结

    今天要介绍的是消息中间件KafKa,应该说是一个很牛的中间件吧,背靠Apache 与很多有名的中间件搭配起来用效果更好哦 ,为什么不用RabbitMQ,因为公司需要它。    网上已经有很多怎么用和用到哪的内容,但结果很多人都倒在了入门第一步 环境都搭不起来,可谓是从了解到放弃,所以在此特记录如何...

    文章 最美的回忆 2017-11-22 1815浏览量

  • [Hadoop培训笔记]04-HDFS详细分析

    作者:陈晓炜   注:开源力量Hadoop Development网络培训个人笔记,培训链接:http://new.osforce.cn/course/52 Q&A: 1)搭建HDFS集群的时候,NameNode和DataNode这两个进程会挂掉? 查看Log,查看相关的异常信息。 a、如...

    文章 阿里云柳璃 2014-06-18 2027浏览量

  • Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

    2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

    文章 阿里云E-MapReduce团队 2019-08-02 2630浏览量

  • Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

    2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

    文章 开源大数据EMR 2019-08-02 4071浏览量

  • Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

    2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

    文章 社区助手 2019-08-01 2393浏览量

  • 某口罩项目架构演进记录&优化经验分享

    作者:牧原 项目背景: 疫情初期某地政府决定发放一批免费口罩面向该市市民,该市市民均可免费预约领取,预约时间为早上9点-12点,因此该场景为限时抢购类型场景,会面临非常大的定时超大流量超大并发问题,在该项目的落地过程中,涉及的架构演变,做了一些记录和思考1,原始架构图示&分析(2月2号晚上...

    文章 技术课堂的搬运工~ 2020-05-26 1039浏览量

  • 分布式系统架构,回顾2020年常见面试知识点梳理(每次面试都会问到其中某一块知识点)

    分布式分为分布式缓存(Redis)、分布式锁(Redis 或 Zookeeper)、分布式服务(Dubbo 或 SpringCloud)、分布式服务协调(Zookeeper)、分布式消息队列(Kafka 、RabbitMq)、分布式 Session 、分布式事务、分布式搜索(Elasticsear...

    文章 程序员白楠楠 2020-12-30 145浏览量

  • Greenplum在企业生产中的最佳实践(上)

    本文章转自Pivotal公众号,在此感谢任振中和Pivotal公司的分享,希望对更多的朋友有帮助~ 一、GP搭建过程当中硬件的选择和部署建议 GP是一个分布式X86架构,是把多台X86服务器组合成一起做一个大的集群。相比传统单机版的Oracle和MySQL,它的特点是使用比较多的服务器做海量数...

    文章 闻术苑 2017-07-29 4605浏览量

  • 阿里内核月报2014年4月

    Ideas for supporting shingled magnetic recording (SMR) 在2014年LSF&MM峰会上,Dave Chinner和Ted Ts'o一起主持了一个跨越2天而占用2个时间段的会议。 这个会议的主题是,是文件系统还是块设备层才是支持SMR设备...

    文章 场景研读 2017-06-06 1533浏览量

  • 【干货-K8S系列】Kubernetes调度核心解密:从Google Borg说起

    一个容器平台的主要功能就是为容器分配运行时所需要的计算,存储和网络资源。容器调度系统负责选择在最合适的主机上启动容器,并且将它们关联起来。它必须能够自动的处理容器故障并且能够在更多的主机上自动启动更多的容器来应对更多的应用访问。 目前三大主流的容器平台Swarm, Mesos和Kubernetes...

    文章 店家小二 2018-12-15 1214浏览量

  • 高并发Web服务的演变——节约系统内存和CPU

    高并发Web服务的演变——节约系统内存和CPU 一、越来越多的并发连接数 现在的Web系统面对的并发连接数在近几年呈现指数增长,高并发成为了一种常态,给Web系统带来不小的挑战。以最简单粗暴的方式解决,就是增加Web系统的机器和升级硬件配置。虽然现在的硬件越来越便宜,但是一味地通过增加机器来解决...

    文章 玄学酱 2017-05-02 1112浏览量

  • 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

    一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写...

    文章 cnbird 2014-10-08 1075浏览量

  • KVM 性能调优与限制

    kvm内存优化: 调高内存回收水位值echo 10 > /proc/sys/vm/swappinessecho 1024000 > /proc/sys/vm/min_free_kbytes 在文件/etc/sysctl.conf中加入 vm.dirty_ratio=10原理:lin...

    文章 wilson9527 2018-03-19 3306浏览量

  • 【双11背后的技术】万亿交易量级下的秒级监控

    选自《不一样的技术创新——阿里巴巴2016双11背后的技术》,全书目录:https://yq.aliyun.com/articles/68637 本文作者:郁松、章邯、程超、癫行 前言 2016财年,阿里巴巴电商交易额(GMV)突破3万亿元人民币,成为全球最大网上经济体,这背后是基础架构事业群构筑...

    文章 云木西 2017-01-12 5277浏览量

  • 【阿里飞天】阿里飞天平台总架构师唐洪:飞天开放平台

    中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向...

    文章 阿里云头条 2016-09-11 13368浏览量

  • Redis面试题汇总(附答案),面试突击专用

    本文的面试题如下: Redis 持久化机制 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 热点数据和冷数据是什么 Memcache与Redis的区别都有哪些? 单线程的redis为什么这么快 redis的数据类型,以及每种数据类型的使用场景,Redis 内部结构 redis的过期策略以...

    文章 程序员白楠楠 2020-12-08 513浏览量

1 2 3 4 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT