• 关于

    服务器本地内存很高

    的搜索结果

回答

在使用ECS Windows服务器时,发现默认没有启用虚拟内存;Linux默认未配置SWAP分区,担心会影响ECS服务器性能。Swap分区或虚拟内存文件,是在系统物理内存不够用的时候,由系统内存管理程序将那些很长时间没有操作内存数据,临时保存到Swap分区虚拟内存文件中,以提高可用内存额度的一种机制。当那些程序要再次重新运行时,会再从Swap分区或虚拟内存文件中恢复之前保存的数据到内存中。 相关操作会导致额外的IO开销,特别是,如果内存使用率已经非常高,而同时IO性能也不是很好的情况下,该机制其实会起到相反的效果:不仅系统性能提升较小(因为内存使用率已经非常高了),而且由于频繁的内存到SWAP的切换操作,会导致产生大量额外的IO操作,导致IO性能进一步降低,最终反而降低了系统总体性能。 同时,为了保证服务器数据安全性和可靠性,阿里云ECS云磁盘使用了分布式文件系统作为云服务器的存储,对每一份数据都进行了强一致的多份拷贝。但是,该机制在保证用户数据安全的同时,由于3倍增涨的IO操作,会导致本地磁盘的存储性能和IO性能要弱一些。 综上,为了避免当系统资源不足时进一步降低ECS云磁盘的IO性能,所以ECS Windows默认没有启用虚拟内存,Linux默认未配置SWAP分区。 具体来源https://help.aliyun.com/knowledge_detail/40645.html

大财主 2019-12-02 00:33:18 0 浏览量 回答数 0

问题

为什么ECS 默认没有启用虚拟内存或SWAP

boxti 2019-12-01 21:51:53 1360 浏览量 回答数 0

问题

java 程序内存占用的问题

小旋风柴进 2019-12-01 19:41:56 1051 浏览量 回答数 1

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

学生动手场景应用,快速了解并掌握云服务器的各种新奇玩法!

回答

回1楼kideny的帖子 已经开了,10分钟自动放一次. 这个有用么 ------------------------- 回6楼phpha的帖子 如果你流量到了每天1万,55的这个服务器能吃得了么? 带宽 cpu 内存 是不是都不够了? 我的意思是,wp,就算安了那个缓存插件,55元的这个服务器能最多能吃多少ip ------------------------- 回7楼kideny的帖子 是64位 centos的,mysql版本忘记了,是用wdcp装的. 如果实在是卡,就把wdcp删了,自己装环境,只是麻烦了. ------------------------- 回13楼sunfei的帖子 不是cpu占用高导致的,我在阿里云监控里看了,内存90%占用,cpu很低的.其中内存大部分被apache吃了. 怎么办啊,打开wordpress首页 很慢 ------------------------- 回18楼bendchen的帖子 你博客速度非常快啊,比我的快很多,我的太慢了. 我也是自己装的lamp环境,只放了一个wordpress. 为什么你的那么快? 你的cpu和内存占用是多少? ------------------------- 回22楼sunfei的帖子 谷歌字体我看到了.这算是其中一个原因,但不是最重要原因的. 我现在用的sandbox这个最简单的模板,加上html和所有图片 css 才80k,百度测速60秒,非常慢啊. 但我本地打开快了很多,3秒吧. ------------------------- 回21楼bendchen的帖子 看到你的内存也差不多占用完了,和我的一样啊. 我只装了apache lamp环境. php的那个Cache我没专门设置过.默认的.现在我换了个小模板,本地打开速度快了很多. 有帖子说他是512内存的wordpress每天可以跑到1万pv. 真能跑那么多? ------------------------- 回25楼bendchen的帖子 我测试了我的首页, 结果是 22.247s (首次探测) (?) 64分. 为什么你的才1.2秒啊. 我也是杭州512内存 只有一个wordpress啊,并且现在还是开发阶段根本没流量的.

xinai520 2019-12-02 03:23:31 0 浏览量 回答数 0

回答

我的ecs 服务器,能到达5k左右的静态不活跃tcp连接,之后就上不起了,阿里云让我很失望这次,难道只能做个上世纪的网页服务器?我们现在都在追求大并发和多连接,5k太大的限制了,正在咨询阿里云工单,如解决后或弄清楚问题根源后,我想发布出来供大家参考 我的ecs 服务器,能到达5k左右的静态不活跃tcp连接,之后就上不起了,阿里云这次让我很失望,难道只能做个上世纪的网页服务器?我们现在都在追求大并发和多连接,最高只能连接5k,这个是太大的限制了,目前正在咨询阿里云工单,如解决后或弄清楚问题根源后,我会发布出来供大家参考 可以明确肯定不是IO或资源问题,各项指标都非常健康,cpu1%,内存50%以下,宽带占用0.1%(还没有进行数据传输,只是建立连接),本地测试可以达到20万冷连接都没问题

1cae.com 2019-12-02 00:09:58 0 浏览量 回答数 0

问题

【推荐】Windows虚拟内存不足问题的处理方法是什么

boxti 2019-12-01 22:06:24 3441 浏览量 回答数 0

回答

Zookeeper是基于ZAB(类Paxos)协议实现的,我们可能常常有一个误解,就是ZK能够提供强一致,但其实默认情况下ZK并不能提供全局一致的数据视图,或者说线性一致性,比如说有两个客户端A和B,如果客户端将一个节点a的值从0改成1,并告诉客户端B去读取a,由于客户端连接的zk服务器不同,可能读取到0,也可能读到1。但如果你需要更强的一致性,期望让A和B读取到同样的值,可以通过执行Zookeeper#sync()方法,并在回调中读取a的值。 也就是说默认情况下,zk并不能保证线性一致性读,也就是由于网络延迟、gc等原因,不同的节点接受到日志的时间不一致、应用到本地内存数据库的时间也有差异,但对于读取请求来说,每一个zk服务器都会对外提供服务,即使是follower也是一样,也就是说follower有一层本地缓存,这也是zk读取性能很高的一个原因,如果需要更高的读取性能,我们可以增加更多的follower节点,均衡读取的压力,但要注意增加更多的节点,也意味着写请求需要同步到更多的节点,也就是写入的性能会下降,这个需要业务方自己去权衡。但如果业务方有线性一致性读的要求,可以通过sync调用,基本原理其实和read index差不多,来客户端连接的zk服务器本地的内存数据库追上最新的日志。 和读取不同,写入请求(set/delete)是满足线性一致性写的,也就是写入必须要走一次ZAB流程,但读取,由于每个客户端连接的zk服务节点不一致,而每个zk服务节点都会对外提供写服务,才会导致可能读到过期值。

kun坤 2020-04-24 11:50:10 0 浏览量 回答数 0

回答

更换服务器~100个是单服务器最大的负荷了你用的是镶嵌式的,要选择服务器机组的那种~刀片式服务器~然后oracl数据库支持分开安装。同步处理~ 你肯定买的是架式服务器~######装ORACLE服务器是刀片式的,6核至强 24G的内存 应该不是服务器瓶颈######oracl装在独立的一台服务器上的话,只支持小形企业和地、市级企业运行 你说的情况,可以理解你的数据量非常庞大,,有可能是省、国家级的数据量了~~ 让你单位给你单独开个服务器房间,更换服务器机柜然后购买刀片式服务器做服务器阵列机组~######数据量倒不会太大,一天1G不到,问题是很多存储过程的逻辑很复杂,一条线程调用存储过程,要等待很久才会返回,直接导致工作线程速度很慢,数据进入速度太快,工作异常状态频繁出现。######必须要实时的存入数据库吗?不能先缓存到服务器,然后让服务器慢慢去处理吗?或者直接将数据记入日志,然后sqlload?######回复 @xinzaibing : 我想到一个蛋疼的方式:数据写文件,文件内容定期入库,程序定期读取数据库计算的结果缓存到内存中。不知道你具体需求,瞎琢磨一个。######回复 @asdfsx : 公司领导一致认为内存不可靠,断电、程序异常什么的...存在内存的数据就没了...真是蛋疼啊######回复 @xinzaibing : 如果数据量不大的话,还有一个方案就是都保存在内存里,然后定时把内存里的结果同步到数据库里。数据库的逻辑挪到程序里..........这个方案比较累啊。另外就是缓存可以加个优先级高低的判断。######目前要求是必须要实时入库,采取写日志文件的方法也可以。 这些数据有一个特点,在某一个时刻会有一个突然出现的峰值,然后又慢慢变少,但是这个时间是不固定的,由于只实用了一条双缓冲队列,所有需要紧急处理的数据和非紧急处理的数据都在队列里,而如果遇到非紧急数据,处理了很长的时间,就直接导致后面的紧急数据失效了...或者导致嵌入式程序判断服务端未收到数据,进而采取重发,导致一条队列里有非常多重复的数据。######我可能会使用数据写入日志文件,然后定时将日志入库的办法操作######大概意思可能是多线程对数据库表的操作导致数据表锁定,性能损失在内耗上了。。那数据表采用行级锁呢?(这样会增大系统开销)我是菜鸟,求教  ######回复 @xinzaibing : 这个应该是属于最初的设计问题,hohoho######回复 @asdfsx : 目前我也在往这方面考虑,如果数据分类处理。那就得大改结构了...唉######回复 @xinzaibing : 建议根据上传的不同数据进行不同的处理,不要一股脑的都放在缓存中,如果是心跳的话,应该立即响应,如果是要处理的数据的话,才需要进行缓存等待处理######ORACLE默认就是行级锁的应该.. 主要是数据的写入速度远远小于数据上传的速度,导致了缓存溢出,紧急数据不能得到及时处理,大量数据出现超时失效,无法对嵌入式的采集器程序作出及时的心跳相应和其他回复(因为都在队列中,无法处理,无心跳的话嵌入式采集器会误认为服务器断线)。最终导致单台服务器接入数据的嵌入式设备的数量太少,不满足需求。######去年刚毕业,由于公司小,一个人搞后台,压力太大啊...大家指指招呗~ @中山野鬼######今天到图书馆看了一本书《让Orcale跑的更快点》,上面说可以从如下几个方面优化: 数据库方面:建适当的索引,固定长度;查询条件比较尽量简化;不同的表放在不同的磁盘里…… 服务层:增大缓存,(有没有数据库连接池不知道你能用上不) 软件层:对Java使用PaperStatement 囫囵吞枣就记得这么多了。。。哭~~######非常感谢...我去看看这本书 :)######我不清楚你的数据采集的内容是什么。不过看的出,对实时性要求高。换我,基本上就一个思路。 1、做个前段服务器,什么事情都不干,只进行数据的压缩。然后所有数据库和计算操作,放到后端。 至于并发,你这种 1W=100台服务器的方式治标不治本。######@中山野鬼 是说对数据进行预处理,提取有效内容?还是就是zip?######回复 @asdfsx : 不一样的。而是数据压缩。采样数据中间,信息密度不会太大的。######老鬼的思路有点像我说的那个数据写日志文件,或者内存缓存定时入库...........都被否定了啊######@xinzaibing 还有一个建议,上传的数据加一个验证,如果上传的数据已经插入缓存,就不要再次插入了。无脑插入插到崩也不是什么好主意啊######回复 @asdfsx : 要回复的,要处理成功后才回复,存库失败或者某些异常导致服务端崩溃重启,就不进行回复,客户端会持续地进行重发,重发到一定次数后,存本地,等恢复正常后发送存本地的数据

kun坤 2020-06-09 11:56:38 0 浏览量 回答数 0

问题

求一OSSCDN的方案分析

sonnyboy 2019-12-01 21:41:44 2478 浏览量 回答数 0

问题

围绕着内存数据库的4个流言

sunny夏筱 2019-12-01 21:46:19 7513 浏览量 回答数 3

问题

关于CDNOSS方案求助

sonnyboy 2019-12-01 21:41:42 2445 浏览量 回答数 0

问题

围绕着内存数据库的4个流言

doudou1 2019-12-01 21:17:05 9279 浏览量 回答数 0

回答

对日志文件的处理, 主要考虑你的应用场景和最终的需要. 然后再来安排处理"办法". NoSQL的高速, 很大原因在于它"简单",和 "内存". 个人认为, 它适合于分析日志的"过程", 而不适合用来"存放"日志. 我的日志只是要自己在用而已, 呵呵,我的处理方式比较粗暴. 我自己接触到的日志,基本上是Web的日志. 我对日志的处理, 最终只是把日志"可视化", 就是把它生成一个比较直观的图片. txt 有它自己的优势,通用性高, 几乎任何软件都支持. 方便你用不同的软件来处理它, 哪怕你随手写的脚本.可压缩, 当日志文件每天以几G,几十G的增加, 你就知道"压缩"是多么重要. 不过我并没有对比过原始 txt 与格式化之后的 json 的压缩比.如果你想"实时"分析日志, 可以考虑用"管道", 它可是个好东西. 不过需要注意,"读管道" 要尽量比"写管道"快. 我自己这边, 基本是在服务器打包日志, 传回本地分析, 再把分析结果写到服务器.

a123456678 2019-12-02 03:00:11 0 浏览量 回答数 0

回答

个人觉得,楼主你的带宽超额并不是很多,建议你提升带宽。 这样不需要改动现有配置。 OSS 好是好,不过遇到流量攻击,会比较头痛,另外启用OSS时候,需要考虑好以后不用 OSS后,是否可以很快脱离OSS,建议使用OSS的话,本地可以同步文件,且做好路径记录, 一旦你不想使用OSS,也可以马上切换。 ------------------------- 我目前阿里云的带宽只有1M,图片文件也像说你的类似 img.baidu.com 域名下。 图片文件则是在自己另外一台物理服务器上。 需要修改的时候后台更改下 图片服务器域名即可。 ------------------------- 回 4楼(伊呀嫣) 的帖子 国内的,浙江某个运行商,我已经托管很多年了,价格比较便宜,不过我打算不用了。 自己托管的服务器成本较高。 还不如多开个云主机。 ------------------------- 回 7楼(sonla) 的帖子 说的很对,楼主可以观察下自己的CPU和内存占用。 云主机的优势就是可以方便扩容,不够再加,不像物理服务器。 ------------------------- 用PHP的话,楼主还是用Linux比较好些。 我是windows 跑的 .net  并不费CPUPHP程序本身也比较吃CPU的。

banian 2019-12-02 03:20:50 0 浏览量 回答数 0

回答

最佳回答:如何要问学生机能干嘛?其实学生机就是学生云服务器,也就是说,它可以干云服务器能干的所有事情。 **云服务器的用途和作用 ** - 首先如果是境外的主机,可以用来搭建不存在的东西。教程网上很多很多,这里就不赘述了。 搭建个人静态或者动态网站:对于大部分境内的性能较弱的主机,比较多的一个最初目的是搭建个人博客。我主要是借助流行的建站系统 wordpress来搭建个人网站。学习Linux相关知识局域网内网穿透:配置ngrok或者frp,实现内网穿透,访问自己没有公网ip的机器。常用的服务有windows的远程桌面,本地搭建的Web服务调试,原本用于局域网的文件系统提供给公网访问(当然可以加密访问了)。着重提下内网穿透,如果家里有NAS或者树莓派的化,可以用这个内网穿透实现很多智能化、现代化的功能。程序爬虫。主要用Python来编写爬虫程序。服务端接口开发:写APP的服务端,给自用的APP提供网络服务。我用来同步课程表和课程任务。和上面差不多,为Chrome或火狐的插件或者油猴脚本提供服务,可以极大地提升电脑的使用体验。做个人网盘:如果云服务器的硬盘容量够大,可以做个人网盘。不过鉴于低配云服务器的硬盘容量,建议使用第4点提到的内网穿透连接家立的NAS或者不常关机的电脑。做备份。手机的云空间不够用?可以尝试下自己搭建。服务器里跑的任务比较多的时候,对外暴露的端口较多,可以试下捣鼓nginx。这是一个反向代理服务器,默认监听80端口。此后,可以将nginx收到的请求转发到其他主机或者本机的其他端口上。从而可以在安全策略上关闭其他端口,提高安全性。同样是nginx,为重要的服务器提供反向代理,从而保护被代理的服务器。比如自家搭建的404桥梁。想到再补充。详细的内容如果需要的人多再详细介绍。 如果你是大学生,就选阿里云学生服务器; 阿里云学生服务器,俗称:“学生机” 故名思意,就是阿里云针对学生群体施行的特殊优惠政策。如果不是学生身份购买同等配置的1核2g内存1m宽带40GB硬盘(不限制CPU性能的),官网需要五六百一年。然后阿里云针对学生群体的学生服务器,只需要114元1年,我见到很多像我一样的大学生,甚至高中生,都在业余时间搭建了自己的私人博客,有些流量还不错。我觉得,1年的学生云服务器使用时间让我对云服务器,建网站有了更深的了解。而且我还是计算机专业的,可以用来搭建web程序,用来编程,学生服务器真是我接触云知识的入门之选。性价比也很高,毕竟学生可没有什么钱。 1:域名+学生服务器+开源建站程序(例如WordPress)=自己拥有自己的个人博客或个人网站 2:域名+学生服务器+web程序(例如Java web系统)=自己的系统演示站 成长在于你去学习新知识,敢于接触你认为陌生的领域。下面是阿里云学生的官网地址 阿里云学生机1核2G1年114元【推荐选1年】----官网地址 阿里云最新优惠产品系列汇总----官网地址

夏梦枯荣 2020-05-18 17:54:35 0 浏览量 回答数 0

问题

阿里云服务器 如何处理网站高并发流量问题?(含教程)

元芳啊 2019-12-01 21:54:35 1511 浏览量 回答数 1

回答

Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量(Page View)、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件,然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据(CPU、IO 使用率、请求时间、服务日志等等数据),总的来说,运营数据的统计方法种类繁多。Kafka 专用术语Broker:Kafka 集群包含一个或多个服务器,这种服务器被称为 broker。Topic:每条发布到 Kafka 集群的消息都有一个类别,这个类别被称为 Topic。(物理上不同 Topic 的消息分开存储,逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上,但用户只需指定消息的 Topic 即可生产或消费数据而不必关心数据存于何处)。Partition:Partition 是物理上的概念,每个 Topic 包含一个或多个 Partition。Producer:负责发布消息到 Kafka broker。Consumer:消息消费者,向 Kafka broker 读取消息的客户端。Consumer Group:每个 Consumer 属于一个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group)。Kafka 交互流程Kafka 是一个基于分布式的消息发布-订阅系统,它被设计成快速、可扩展的、持久的。与其他消息发布-订阅系统类似,Kafka 在主题当中保存消息的信息。生产者向主题写入数据,消费者从主题读取数据。由于 Kafka 的特性是支持分布式,同时也是基于分布式的,所以主题也是可以在多个节点上被分区和覆盖的。信息是一个字节数组,程序员可以在这些字节数组中存储任何对象,支持的数据格式包括 String、JSON、Avro。Kafka 通过给每一个消息绑定一个键值的方式来保证生产者可以把所有的消息发送到指定位置。属于某一个消费者群组的消费者订阅了一个主题,通过该订阅消费者可以跨节点地接收所有与该主题相关的消息,每一个消息只会发送给群组中的一个消费者,所有拥有相同键值的消息都会被确保发给这一个消费者。Kafka 设计中将每一个主题分区当作一个具有顺序排列的日志。同处于一个分区中的消息都被设置了一个唯一的偏移量。Kafka 只会保持跟踪未读消息,一旦消息被置为已读状态,Kafka 就不会再去管理它了。Kafka 的生产者负责在消息队列中对生产出来的消息保证一定时间的占有,消费者负责追踪每一个主题 (可以理解为一个日志通道) 的消息并及时获取它们。基于这样的设计,Kafka 可以在消息队列中保存大量的开销很小的数据,并且支持大量的消费者订阅。利用 Apache Kafka 系统架构的设计思路示例:网络游戏假设我们正在开发一个在线网络游戏平台,这个平台需要支持大量的在线用户实时操作,玩家在一个虚拟的世界里通过互相协作的方式一起完成每一个任务。由于游戏当中允许玩家互相交易金币、道具,我们必须确保玩家之间的诚信关系,而为了确保玩家之间的诚信及账户安全,我们需要对玩家的 IP 地址进行追踪,当出现一个长期固定 IP 地址忽然之间出现异动情况,我们要能够预警,同时,如果出现玩家所持有的金币、道具出现重大变更的情况,也要能够及时预警。此外,为了让开发组的数据工程师能够测试新的算法,我们要允许这些玩家数据进入到 Hadoop 集群,即加载这些数据到 Hadoop 集群里面。对于一个实时游戏,我们必须要做到对存储在服务器内存中的数据进行快速处理,这样可以帮助实时地发出预警等各类动作。我们的系统架设拥有多台服务器,内存中的数据包括了每一个在线玩家近 30 次访问的各类记录,包括道具、交易信息等等,并且这些数据跨服务器存储。我们的服务器拥有两个角色:首先是接受用户发起的动作,例如交易请求,其次是实时地处理用户发起的交易并根据交易信息发起必要的预警动作。为了保证快速、实时地处理数据,我们需要在每一台机器的内存中保留历史交易信息,这意味着我们必须在服务器之间传递数据,即使接收用户请求的这台机器没有该用户的交易信息。为了保证角色的松耦合,我们使用 Kafka 在服务器之间传递信息 (数据)。Kafka 特性Kafka 的几个特性非常满足我们的需求:可扩展性、数据分区、低延迟、处理大量不同消费者的能力。这个案例我们可以配置在 Kafka 中为登陆和交易配置同一个主题。由于 Kafka 支持在单一主题内的排序,而不是跨主题的排序,所以我们为了保证用户在交易前使用实际的 IP 地址登陆系统,我们采用了同一个主题来存储登陆信息和交易信息。当用户登陆或者发起交易动作后,负责接收的服务器立即发事件给 Kafka。这里我们采用用户 id 作为消息的主键,具体事件作为值。这保证了同一个用户的所有的交易信息和登陆信息被发送到 Kafka 分区。每一个事件处理服务被当作一个 Kafka 消费者来运行,所有的消费者被配置到了同一个消费者群组,这样每一台服务器从一些 Kafka 分区读取数据,一个分区的所有数据被送到同一个事件处理服务器 (可以与接收服务器不同)。当事件处理服务器从 Kafka 读取了用户交易信息,它可以把该信息加入到保存在本地内存中的历史信息列表里面,这样可以保证事件处理服务器在本地内存中调用用户的历史信息并做出预警,而不需要额外的网络或磁盘开销。图 1. 游戏设计图图 1. 游戏设计图为了多线程处理,我们为每一个事件处理服务器或者每一个核创建了一个分区。Kafka 已经在拥有 1 万个分区的集群里测试过。切换回 Kafka上面的例子听起来有点绕口:首先从游戏服务器发送信息到 Kafka,然后另一台游戏服务器的消费者从主题中读取该信息并处理它。然而,这样的设计解耦了两个角色并且允许我们管理每一个角色的各种功能。此外,这种方式不会增加负载到 Kafka。测试结果显示,即使 3 个结点组成的集群也可以处理每秒接近百万级的任务,平均每个任务从注册到消费耗时 3 毫秒。上面例子当发现一个事件可疑后,发送一个预警标志到一个新的 Kafka 主题,同样的有一个消费者服务会读取它,并将数据存入 Hadoop 集群用于进一步的数据分析。因为 Kafka 不会追踪消息的处理过程及消费者队列,所以它在消耗极小的前提下可以同时处理数千个消费者。Kafka 甚至可以处理批量级别的消费者,例如每小时唤醒一次一批睡眠的消费者来处理所有的信息。Kafka 让数据存入 Hadoop 集群变得非常简单。当拥有多个数据来源和多个数据目的地时,为每一个来源和目的地配对地编写一个单独的数据通道会导致混乱发生。Kafka 帮助 LinkedIn 规范了数据通道格式,并且允许每一个系统获取数据和写入数据各一次,这样极大地减少数据通道的复杂性和操作耗时。LinkedIn 的架构师 Jay Kreps 说:“我最初是在 2008 年完成键值对数据存储方式后开始的,我的项目是尝试运行 Hadoop,将我们的一些处理过程移动到 Hadoop 里面去。我们在这个领域几乎没有经验,花了几个星期尝试把数据导入、导出,另外一些事件花在了尝试各种各样的预测性算法使用上面,然后,我们开始了漫漫长路”。与 Flume 的区别Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议:Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相反地,Flume 被设计成特定用途的工作,特定地向 HDFS 和 HBase 发送出去。Flume 为了更好地为 HDFS 服务而做了特定的优化,并且与 Hadoop 的安全体系整合在了一起。基于这样的结论,Hadoop 开发商 Cloudera 推荐如果数据需要被多个应用程序消费的话,推荐使用 Kafka,如果数据只是面向 Hadoop 的,可以使用 Flume。Flume 拥有许多配置的来源 (sources) 和存储池 (sinks)。然后,Kafka 拥有的是非常小的生产者和消费者环境体系,Kafka 社区并不是非常支持这样。如果你的数据来源已经确定,不需要额外的编码,那你可以使用 Flume 提供的 sources 和 sinks,反之,如果你需要准备自己的生产者和消费者,那你需要使用 Kafka。Flume 可以在拦截器里面实时处理数据。这个特性对于过滤数据非常有用。Kafka 需要一个外部系统帮助处理数据。无论是 Kafka 或是 Flume,两个系统都可以保证不丢失数据。然后,Flume 不会复制事件。相应地,即使我们正在使用一个可以信赖的文件通道,如果 Flume agent 所在的这个节点宕机了,你会失去所有的事件访问能力直到你修复这个受损的节点。使用 Kafka 的管道特性不会有这样的问题。Flume 和 Kafka 可以一起工作的。如果你需要把流式数据从 Kafka 转移到 Hadoop,可以使用 Flume 代理 (agent),将 kafka 当作一个来源 (source),这样可以从 Kafka 读取数据到 Hadoop。你不需要去开发自己的消费者,你可以使用 Flume 与 Hadoop、HBase 相结合的特性,使用 Cloudera Manager 平台监控消费者,并且通过增加过滤器的方式处理数据。结束语综上所述,Kafka 的设计可以帮助我们解决很多架构上的问题。但是想要用好 Kafka 的高性能、低耦合、高可靠性、数据不丢失等特性,我们需要非常了解 Kafka,以及我们自身的应用系统使用场景,并不是任何环境 Kafka 都是最佳选择。

hiekay 2019-12-02 01:42:10 0 浏览量 回答数 0

问题

PHP使用Windows下的Memcache做session_handler莫名其妙丢失 ,什么原因?

落地花开啦 2019-12-01 19:55:04 1061 浏览量 回答数 1

问题

如何快速排查无法打开 ECS 实例上运行的网站

boxti 2019-12-01 21:47:54 1651 浏览量 回答数 0

问题

快速排查无法打开 ECS 实例上运行的网站

李沃晟 2019-12-01 21:21:30 1217 浏览量 回答数 1

问题

【精品问答】不懂如何使用ECS?ECS功能百问看这里

问问小秘 2020-01-02 15:48:11 9261 浏览量 回答数 5

回答

回 楼主(qilu) 的帖子 问题:用户反馈linux下服务器站点打不开,控制台重启服务器后也无法打开。 解决:检查服务器是正常的,80端口测试是可以通的,进入后检查确认nginx进程正常,打开网站显示502 Bad Gateway错误,之后检查发现php进程丢失,找到php目录php/sbin/php-fpm start 启动php进程后网站恢复正常。 ------------------------- 问题:用户反馈debian机器无法远程,通过ECS管理链接终端进入看到如下界面 /etc/ssh/sshd_config: bad configuration option 解决:修改ssh配置文件导致,最直接有效方法是重装安装sshapt-get remove --purge openssh-serverapt-get installl  openssh-server/etc/init.d/ssh restart重装后正常远程 ------------------------- 问题:window2003服务器用户反馈可以远程,但是ip地址ping不通 ip地址ping不通只有可能是主机内部防火墙或者组策略限制。查看主机防火墙开启,但没有设置ICMP包回显。控制面板-防火墙-高级-ICMP设置。 ------------------------- 问题:用户反馈两台ECS Linux云服务器内网ip有丢包,提示ping: sendmsg: Operation not permittedping: sendmsg: Operation not permittedping: sendmsg: Operation not permitted使用同时dmesg发现很多nf_conntrack: table full, dropping packet. 解决:IP_conntrack表示连接跟踪数据库(conntrack database),代表NAT机器跟踪连接的数目,连接跟踪表能容纳多少记录是被一个变量控制的,它可由内核中的ip- sysctl函数设置,建议用户修改增大/etc/sysctl.conf中加net.ipv4.ip_conntract_max的值后解决,相关优化可以参考网上文章。 ------------------------- 问题:用户反馈修改php.ini配置文件不生效nginx+php环境下,需要重启php服务,php.Ini配置文件才会生效 ------------------------- 问题:用户使用自己的脚本安装了vpn,使用vpn账号,密码可以登陆但是无法上网。解决方法:开启linux转发功能命令:   #sed -i 's/net.ipv4.ip_forward = 0/net.ipv4.ip_forward = 1/' /etc/sysctl.conf#/sbin/sysctl -p ------------------------- 问题:突然发现访问网站很慢,服务器的cpu、内存和磁盘使用率都正常解决:该问题的主要解决方法参考:http://help.aliyun.com/manual?helpId=1724,但是根据该方法部分系统会报error: "net.ipv4.ip_conntrack_max" is an unknown key ,因此可尝试将方案中的语句修改成:net.ipv4.nf_conntrack_max = 1048576主要部分系统是nf_conntrack 而不是 ip_conntrack 模块。具体可以使用命令确认具体使用了什么模块:modprobe -l|grep conntrack ------------------------- 问题:用户反馈无法远程访问,无法ssh解决:1.ping云服务器ip地址可以ping通 2.使用ECS连接管理终端查看sshd服务是否正常运行,重启sshd服务提示有错误,并且在/var/empty/sshd 目录权限有错误,导致sshd服务无法正常运行 3. 使用命令chown –R root:root /var/empty/sshd 和chmod 744 /var/empty/sshd即可,测试恢复正常可以远程。 ------------------------- 问题:用户反馈客户反馈安装桌面环境失败,执行yum groupinstall "GNOME Desktop Environment"报如下错误:Warning: Group GNOME Desktop Environment does not exist. No packages in any requested group available to install or update。解决:从错误提示中可以看出,不存在GNOME Desktop Environment执行yum grouplist查询发现 GNOME Desktop Environment 已经是 Desktop整理了以下安装步骤:          1、yum groupinstall "X Window System"          2、yum groupinstall "Desktop"          3、安装VNC SERVER yum install tigervnc-server          4、修改配置文件 vi /etc/sysconfig/vncservers添加如下内容:          VNCSERVERS="1:root"             VNCSERVERARGS[1]="-geometry 1024x768"           5、给vnc加密  vncpasswd 输入两次密码           6、重新启动服务 service vpnserver restart完成以上步骤,我们就可以使用VNC客户端连接了 ------------------------- 问题:用户反馈ECS云服务器做域控制器,其他外部服务器无法加入该域中,反之可以解决:将客户ECS服务器开启RemoteRegistry服务,安装域控制器使用外部云服务器加入域中,发现能够解析成功,且能够弹出用户名密码授权界面,但是确定后报网络错误,经过多次尝试,发现最终问题在DNS上,由于ECS服务器有2块网卡公网和内网,因此安装后会有2条A记录分别指向公网和内网所以测试PING域名会解析到公网上,产生了DNS缓存因此很难看到内网地址出现,但是加入域请求时用解析到的是公网地址,验证身份时很可能请求到的就是内网地址,因此造成网络不通从而无法验证。将客户端HOSTS绑定域名到公网地址问题解决。 ------------------------- 问题:用户反馈windows server 2008无法远程,主机内部通信正常解决过程:1、  检查内部是否能够远程,发现服务器内部网络正常,远程localhost也正常2、  检查防火墙配置,发现防火墙无法打开3、  启动防火墙服务器,报错4、  检查防火墙注册表信息,发现丢失,将相同系统的注册表键值导入5、  再次启动防火墙,报错没有权限,错误代码70246、  选择注册表HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\SharedAccess将其权限修改添加NT SERVICE\mpssvc并赋予完全控制权限7、启动防火墙服务,远程恢复正常 ------------------------- 问题:用户反馈微软雅黑, sans-serif]服务器网络不通,无法远程,报错情况见下图。网上搜索方法无外乎都是安装glibc.i686,原因一般是64位系统下安装了32位程序,但是没有对应的版本的glibc库导致 这种情况下下虽然service无法启动网卡,但是ifup是可以激活网卡的处理方法如下:sed -i '/exclude/ s/^/#/g' /etc/yum.conf&&ifup eth1&&yum install glibc.i686 -y#修改 /etc/yum.conf 找到包含exclude的行在行首插入#注释(我们64位镜像默认排除了*i?86的包,所以这里要修改一下)#启动eth1网卡,安装32位glibc库,执行后一般即可搞定 ------------------------- 问题:服务器上的Cisco VPN客户端拨入远端VPN服务器网络无法通信,其他外地客户端拨入远端VPN服务器均正常解决:1)查看客户VPN连接成功,但是无数据通信,PING包无法到达远端内网地址2)检查VPN客户端拨号日志,发现添加远端路由失败3)关闭服务器安全狗,重新连接VPN依旧失败。4)检查系统路由表,发现客户VPN段内网地址与VM内网地址段冲突,造成路由表添加失败;询问客户无使用我方SLB\RDS等内网产品后将内网网卡禁用,重新拨号连接,依旧发现路由表添加失败。5)手动添加路由后,VPN网络正常 ------------------------- 问题:服务器上的Cisco VPN客户端拨入远端VPN服务器网络无法通信,其他外地客户端拨入远端VPN服务器均正常解决:1)查看客户VPN连接成功,但是无数据通信,PING包无法到达远端内网地址2)检查VPN客户端拨号日志,发现添加远端路由失败 3)关闭服务器安全狗,重新连接VPN依旧失败。4)检查系统路由表,发现客户VPN段内网地址与VM内网地址段冲突,造成路由表添加失败;询问客户无使用我方SLB\RDS等内网产品后将内网网卡禁用,重新拨号连接,依旧发现路由表添加失败。5)手动添加路由后,VPN网络正常 ------------------------- 问题:使用一件安装包安装环境php报错 php virtual memory exhausted: Cannot allocate memory解决:该问题一般出现在512M内存的系统上,内存不足导致,可以让用户升级内存,升级内存后解决。 ------------------------- 问题:用户反馈Windows服务器无法远程,连接的时候提示协议错误。解决:用户反馈远程连接端口是3188,注册表中查询远程连接端口确实被改成了3188,但是在主机上远程连接也提示协议错误,使用netstat -nao 分析发现 3188对应的进程pid为4,对应经查system,找测试测试机对比,发现远程连接端口对应进程是svchost,修改注册表远程连接端口为3389后,测试恢复正常。] ------------------------- 问题:用date命令修改Linux系统的时间为什么无效解决:需要手动修改一下系统的时区才能显示正确的时间,这里以上海时区为例1. 找到相应的时区文件 /usr/share/zoneinfo/Asia/Shanghai用这个文件替换当前的文件/etc/localtime#cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime2. 修改/etc/sysconfig/clock文件,修改为: ZONE="Asia/Shanghai" UTC=true ARC=false 3. 一般只需要这两步就可以了,或者再执行下句命令校正一下时间/usr/sbin/ntpdate –u 0.asia.pool.ntp.org4. 如果没有安装ntp程序包则先执行下面这条语句yum install -y ntp* ------------------------- 问题:linux服务器x64位安装32位软件包(如libstc++.i386等)安装不上的解决方法解决方法:如果有用户反馈在linux服务器x64位安装32位软件包(如libstc++.i386等)不安装不上,可以尝试让用户在/etc/yum.conf 文件中将exclude=*.i386 kernel kernel-xen kernel-debug 注释掉,在进行安装尝试,参考http://blog.csdn.net/lixiucheng005/article/details/8787856 ------------------------- 问题:云服务器的物理机宕机怎么办?云服务器是部署在物理机上的,底层物理机性能出现异常或者其他原因都会导致物理机宕机,当检测到云服务器所在的物理机机发生故障,系统会启动保护性迁移,将您的服务器迁移到性能正常的宿主机上 ,一旦发生宕机迁移,您的服务器就会被重启,如果您希望您的服务器重启以后应用服务器自动恢复,需要您把应用程序设置成开机自动启动,如果应用服务连接的数据库,需要在程序中设置成自动重连机制。 ------------------------- 问题:Linux 服务起出现500 OOPS: vsftpd: cannot locate user specified in 'ftp_username':ftp错误? vsftp无法使用,尝试查看/etc/passwd下的目录发现用户使用的账号没有问题,但是尝试telnet 127.0.0.1 21 的时候主机报错500 OOPS: vsftpd: cannot locate user specified in 'ftp_username':ftp 处理办法在/etc/vsftpd.conf 文件内加入ftp_username=nobody 保存,该问题即可解决 ------------------------- 问题:物理机宕机迁移怎么办?云服务器是部署在物理机上的,底层物理机性能出现异常或者其他原因都会导致物理机宕机,当检测到云服务器所在的物理机机发生故障,系统会启动保护性迁移,将您的服务器迁移到性能正常的宿主机上 ,一旦发生宕机迁移,您的服务器就会被重启,如果您希望您的服务器重启以后应用服务器自动恢复,需要您把应用程序设置成开机自动启动,如果应用服务连接的数据库,需要在程序中设置成自动重连机制。 ------------------------- 问题:FTP上传经常中断怎么办?在使用FTP软件进行数据传输时有时会出现断开连接的情况,这和网络环境、硬件环境和软件环境都可能有关系。如果您在FTP管理里出现经常中断的情况,您可以将您要上传的网站程序文件压缩成一个压缩文件,使用FLASHFXP等FTP软件进行断点续传,压缩文件上传之后再在服务器中进行解压缩操作即可。(也有小概率可能受到网络原因传输过程中压缩包损坏,需要再次上传,所以巨大文件建议分割压缩) ------------------------- 问题:无法ping通服务器地址怎么办?通过站长工具—超级ping来分析一下是否是全国范围内都无法ping通云服务器。超级ping地址:http://ping.chinaz.com/如果是全国范围内都突然无法ping通云服务器地址,但是服务器是在正常运行的则可以到www.aliyun.com上提交工单;如果只是本地无法ping通云服务器则在本地使用traceroute或者tracert命令来获取本地到云服务器的路由信息再到www.aliyun.com上提交工单,寻求aliyun的技术支持

qilu 2019-12-02 03:09:51 0 浏览量 回答数 0

问题

Windows服务器日常维护策略

我的中国 2019-12-01 21:57:39 2665 浏览量 回答数 1

回答

Lease 机制是最重要的分布式协议,广泛应用于各种实际的分布式系统中。 基于lease 的分布式cache 系统 基本的问题背景如下:在一个分布式系统中,有一个中心服务器节点,中心服务器存储、维护 着一些数据,这些数据是系统的元数据。系统中其他的节点通过访问中心服务器节点读取、修改其 上的元数据。由于系统中各种操作都依赖于元数据,如果每次读取元数据的操作都访问中心服务器 节点,那么中心服务器节点的性能成为系统的瓶颈。为此,设计一种元数据cache,在各个节点上 cache 元数据信息,从而减少对中心服务器节点的访问,提高性能。另一方面,系统的正确运行严 格依赖于元数据的正确,这就要求各个节点上cache 的数据始终与中心服务器上的数据一致,cache 中的数据不能是旧的脏数据。最后,设计的cache 系统要能最大可能的处理节点宕机、网络中断等 异常,最大程度的提高系统的可用性。 为此,利用lease 机制设计一套cache 系统,其基本原理为如下。中心服务器在向各节点发送数 据时同时向节点颁发一个lease。每个lease 具有一个有效期,和信用卡上的有效期类似,lease 上的 有效期通常是一个明确的时间点,例如12:00:10,一旦真实时间超过这个时间点,则lease 过期失效。 这样lease 的有效期与节点收到lease 的时间无关,节点可能收到lease 时该lease 就已经过期失效。 这里首先假设中心服务器与各节点的时钟是同步的,下节中讨论时钟不同步对lease 的影响。中心服 务器发出的lease 的含义为:在lease 的有效期内,中心服务器保证不会修改对应数据的值。因此, 节点收到数据和lease 后,将数据加入本地Cache,一旦对应的lease 超时,节点将对应的本地cache 数据删除。中心服务器在修改数据时,首先阻塞所有新的读请求,并等待之前为该数据发出的所有 lease 超时过期,然后修改数据的值。 基于lease 的cache,客户端节点读取元数据 判断元数据是否已经处于本地cache 且lease 处于有效期内 1.1 是:直接返回cache 中的元数据 1.2 否:向中心服务器节点请求读取元数据信息 1.2.1 服务器收到读取请求后,返回元数据及一个对应的lease 1.2.2 客户端是否成功收到服务器返回的数据 1.2.2.1 失败或超时:退出流程,读取失败,可重试 1.2.2.2 成功:将元数据与该元数据的lease 记录到内存中,返回元数据 基于lease 的cache,客户端节点修改元数据流程 2.1 节点向服务器发起修改元数据请求。 2.2 服务器收到修改请求后,阻塞所有新的读数据请求,即接收读请求,但不返回数据。 2.3 服务器等待所有与该元数据相关的lease 超时。 2.4 服务器修改元数据并向客户端节点返回修改成功。 上述机制可以保证各个节点上的cache 与中心服务器上的中心始终一致。这是因为中心服务器 节点在发送数据的同时授予了节点对应的lease,在lease 有效期内,服务器不会修改数据,从而客 户端节点可以放心的在lease 有效期内cache 数据。上述lease 机制可以容错的关键是:服务器一旦 发出数据及lease,无论客户端是否收到,也无论后续客户端是否宕机,也无论后续网络是否正常, 服务器只要等待lease 超时,就可以保证对应的客户端节点不会再继续cache 数据,从而可以放心的 修改数据而不会破坏cache 的一致性。 上述基础流程有一些性能和可用性上的问题,但可以很容易就优化改性。优化点一:服务器在 修改元数据时首先要阻塞所有新的读请求,造成没有读服务。这是为了防止发出新的lease 从而引起 不断有新客户端节点持有lease 并缓存着数据,形成“活锁”。优化的方法很简单,服务器在进入修 改数据流程后,一旦收到读请求则只返回数据但不颁发lease。从而造成在修改流程执行的过程中, 客户端可以读到元数据,只是不能缓存元数据。进一步的优化是,当进入修改流程,服务器颁发的 lease 有效期限选择为已发出的lease 的最大有效期限。这样做,客户端可以继续在服务器进入修改 流程后继续缓存元数据,但服务器的等待所有lease 过期的时间也不会因为颁发新的lease 而不断延 长。 最后,=cache 机制与多副本机制的区别。Cache 机制与多副本机制的相似之处都 是将一份数据保存在多个节点上。但Cache 机制却要简单许多,对于cache 的数据,可以随时删除 丢弃,并命中cache 的后果仅仅是需要访问数据源读取数据;然而副本机制却不一样,副本是不能 随意丢弃的,每失去一个副本,服务质量都在下降,一旦副本数下降到一定程度,则往往服务将不 再可用。 lease 机制的分析 lease 的定义:Lease 是由颁发者授予的在某一有效期内的承诺。颁发者一旦发 出lease,则无论接受方是否收到,也无论后续接收方处于何种状态,只要lease 不过期,颁发者一 定严守承诺;另一方面,接收方在lease 的有效期内可以使用颁发者的承诺,但一旦lease 过期,接 收方一定不能继续使用颁发者的承诺。 Lease 机制具有很高的容错能力。首先,通过引入有效期,Lease 机制能否非常好的容错网络异 常。Lease 颁发过程只依赖于网络可以单向通信,即使接收方无法向颁发者发送消息,也不影响lease 的颁发。由于lease 的有效期是一个确定的时间点,lease 的语义与发送lease 的具体时间无关,所以 同一个lease 可以被颁发者不断重复向接受方发送。即使颁发者偶尔发送lease 失败,颁发者也可以 简单的通过重发的办法解决。一旦lease 被接收方成功接受,后续lease 机制不再依赖于网络通信, 即使网络完全中断lease 机制也不受影响。再者,Lease 机制能较好的容错节点宕机。如果颁发者宕 机,则宕机的颁发者通常无法改变之前的承诺,不会影响lease 的正确性。在颁发者机恢复后,如果 颁发者恢复出了之前的lease 信息,颁发者可以继续遵守lease 的承诺。如果颁发者无法恢复lease 信息,则只需等待一个最大的lease 超时时间就可以使得所有的lease 都失效,从而不破坏lease 机制。 例如上节中的cache 系统的例子中,一旦服务器宕机,肯定不会修改元数据,重新恢复后,只需等 待一个最大的lease 超时时间,所有节点上的缓存信息都将被清空。对于接受方宕机的情况,颁发者 不需要做更多的容错处理,只需等待lease 过期失效,就可以收回承诺,实践中也就是收回之前赋予 的权限、身份等。最后,lease 机制不依赖于存储。颁发者可以持久化颁发过的lease 信息,从而在 宕机恢复后可以使得在有效期的lease 继续有效。但这对于lease 机制只是一个优化,如之前的分析, 即使颁发者没有持久化lease 信息,也可以通过等待一个最大的lease 时间的方式使得之前所有颁发 的lease 失效,从而保证机制继续有效。 Lease 机制依赖于有效期,这就要求颁发者和接收者的时钟是同步的。一方面,如果颁发者的 时钟比接收者的时钟慢,则当接收者认为lease 已经过期的时候,颁发者依旧认为lease 有效。接收 者可以用在lease 到期前申请新的lease 的方式解决这个问题。另一方面,如果颁发者的时钟比接收 者的时钟快,则当颁发者认为lease 已经过期的时候,接收者依旧认为lease 有效,颁发者可能将lease 颁发给其他节点,造成承诺失效,影响系统的正确性。对于这种时钟不同步,实践中的通常做法是 将颁发者的有效期设置得比接收者的略大,只需大过时钟误差就可以避免对lease 的有效性的影响。 基于lease 机制确定节点状态 分布式协议依赖于对节点状态认知的全局一致性,即一旦节点Q 认为某个节点 A 异常,则节点A 也必须认为自己异常,从而节点A 停止作为primary,避免“双主”问题的出现。 解决这种问题有两种思路,第一、设计的分布式协议可以容忍“双主”错误,即不依赖于对节点状 态的全局一致性认识,或者全局一致性状态是全体协商后的结果;第二、利用lease 机制。对于第一 种思路即放弃使用中心化的设计,而改用去中心化设计,超过本节的讨论范畴。下面着重讨论利用 lease 机制确定节点状态。 由中心节点向其他节点发送lease,若某个节点持有有效的lease,则认为该节点正常可以提供服 务。用于例2.3.1 中,节点A、B、C 依然周期性的发送heart beat 报告自身状态,节点Q 收到heart beat 后发送一个lease,表示节点Q 确认了节点A、B、C 的状态,并允许节点在lease 有效期内正常工 作。节点Q 可以给primary 节点一个特殊的lease,表示节点可以作为primary 工作。一旦节点Q 希 望切换新的primary,则只需等前一个primary 的lease 过期,则就可以安全的颁发新的lease 给新的 primary 节点,而不会出现“双主”问题。 在实际系统中,若用一个中心节点发送lease 也有很大的风险,一旦该中心节点宕机或网络异常, 则所有的节点没有lease,从而造成系统高度不可用。为此,实际系统总是使用多个中心节点互为副 本,成为一个小的集群,该小集群具有高可用性,对外提供颁发lease 的功能。chubby 和zookeeper 都是基于这样的设计。 lease 的有效期时间选择 工程中,常选择的lease 时长是10 秒级别,这是一个经 过验证的经验值,实践中可以作为参考并综合选择合适的时长。

kun坤 2020-04-24 15:31:41 0 浏览量 回答数 0

问题

该来的终于来了:“第一起”基于 IPv6 的 DDoS 攻击

驻云科技 2019-12-01 21:44:35 4186 浏览量 回答数 1

问题

500/502/504错误排查

行者武松 2019-12-01 21:43:48 4664 浏览量 回答数 0

问题

日志采集Agent对比是多少?

轩墨 2019-12-01 22:04:13 1143 浏览量 回答数 0

回答

下文将RDS和自建数据库从多个方面进行对比,介绍RDS具有的优势。 特性对比 对比项 云数据库RDS 自购服务器搭建数据库服务 服务可用性 高可用架构提供高可用性。 需自行保障,自行搭建主备复制,自建RAID等。 数据可靠性 自动主备复制、数据备份、日志备份等。 需自行保障,自行搭建主备复制,自建RAID等。 系统安全性 防DDoS攻击,流量清洗;及时修复各种数据库安全漏洞。 自行部署,价格高昂;自行修复数据库安全漏洞。 数据库备份 自动备份。 自行实现,但需要寻找备份存放空间以及定期验证备份是否可恢复。 软硬件投入 无软硬件投入,按需付费。 数据库服务器成本相对较高,对于SQL Server还需支付许可证费用。 系统托管 无托管费用。 每台2U服务器每年超过5000元(如果需要主备,两台服务器需超过10000元/年)。 维护成本 无需运维。 需招聘专职DBA来维护,花费大量人力成本。 部署扩容 即时开通,快速部署,弹性扩容。 需硬件采购、机房托管、机器部署等工作,周期较长。 资源利用率 按实际结算,100%利用率。 由于业务有高峰期和低峰期,资源利用率很低。 价格对比 费用 云数据库RDS 自购服务器搭建数据库服务 硬件费用和备品配件费用 RDS实例的费用。例如,内存1200 MB、存储空间50 GB(IOPS能力可达到600)的实例费用是2040元/年。 至少需要2台数据库服务器。每台IOPS能力达到600的服务器费用大约是6000元。 1台用于连接前端Web服务器的内网交换机(便宜的1U非网管交换机为1000元左右)。 后期硬件损坏和更换至少还要消耗30%费用。 硬件花费:(6000 × 2 + 1000)× 130% = 16900元。 每年费用:16900元/3 = 5633元(硬件按照3年折旧计算)。 机房托管费用 服务商负责,无需付费。 1U机柜空间托管费用为3000元/年,共有2台1U服务器和1台1U内网交换机需要计费,机房托管费用:3000 × 3 = 9000元。 带宽费用 同一地域内,ECS和RDS可以通过内网互通,且不收取费用。 若在不同地域,ECS和RDS可以通过外网互通,需收取外网流量费用,详细收费标准请参见云数据库RDS详细价格信息。 只用于内网,不产生公网费用。 数据库运维工程师费用 数据库维护由服务商负责,无人员成本。 1个初级DBA工程师月薪至少5000/月,假设当前项目占用该工程师30%的工作量,则人员成本为5000 × 12× 30% = 18000元。 每年总费用 2040元/年。 32633元/年。 RDS MySQL与自建数据库对比优势 对比项 RDS MySQL ECS自建 IDC自建 性价比 弹性资源; ALISQL提供各种特性功能,提升用户使用感受; 备份有一半实例空间免费; 公网流量免费; 免费使用自带的域名; 更新速度快,紧跟MySQL最新版本。 弹性资源; 开源版无性能优化; 备份空间独立收费; 公网流量收费。 一次投入的沉没成本大; 开源版无性能优化; 需要独立准备备份资源,成本极高; 公网流量收费,域名费用高。 可用性 基础版约15分钟即可完成故障转移; 高可用版和集群版提供自研高可用系统,实现30秒内故障恢复; 只读实例自动实现负载均衡; 读写分离使用方便; 未来会推出分析节点,满足分析型场景需求。 基础版约30分钟完成故障转移; 需要单独购买高可用系统; 需要单独实现或者购买负载均衡; 分析型场景需要与分析型数据库结合,搭建难度大、成本高。 单机实例,少则两小时,多则等待配货数周; 需要单独购买高可用系统; 需要单独实现或者购买负载均衡设备; 分析型场景需要与分析型数据库结合,搭建难度大、成本高。 可靠性 数据可靠性高,自动主备复制、数据备份、日志备份等; MySQL 5.6三节点企业版,实现RPO(Recovery Point Object)=0; MySQL 5.7三节点企业版(MGR),实现RPO=0、RTO(Recovery Time Objective) < 1分钟。 在好的架构下才能实现高可靠性; 实现RPO=0的成本极高,需要单独购买研发服务。 数据可靠性一般,取决于单块磁盘的损害概率; 实现RPO=0的成本极高,需要单独购买研发服务。 易用性 自动化备份恢复系统,支持按时间点恢复、单库备份恢复等,流式备份对实例性能影响小; 自动化监控告警系统,支持秒级监控,覆盖实例和数据库所有性能指标,支持短信、邮箱、旺旺、钉钉等通道,且根据消费有大额度的免费短信数量; 支持异地容灾; 支持一键版本升级。 无自动备份系统,流式备份能力需要单独实现,实现按时间点恢复功能成本高; 需要单独购买监控系统,在云监控中配置告警系统; 技术实现难度极大; 版本升级成本高。 无自动备份系统,流式备份能力需要单独实现,实现按时间点恢复功能成本高; 需要单独购买或配置监控系统,通道较少,成本较高; 异地数据中心成本极高,技术实现难度也大,很难实现异地容灾; 版本升级成本高。 性能 MySQL的本地SSD盘实例性能极佳; MySQL的ESSD性能较SSD提升显著; 增加只读实例之后性能强劲且负载均衡; CloudDBA提供高级优化能力; SQL洞察满足大部分监控及性能优化数据库场景。 ECS本地盘意味着降低数据可靠性,采用云盘的话需要规划架构,成本支出较大; 基于ESSD的ECS自建MySQL性能低于基于ESSD的RDS MySQL性能; 实现集群版的难度较高,咨询成本较高,维护成本极高; 依赖资深DBA,支出大,受制于人。 比云计算硬件更新速度慢,性能一般都会低于云数据库; 难以实现计算和存储分离,若使用高端存储实现计算和存储分离,动辄需要数千万支出; 实现集群版的难度较高,咨询成本较高,维护成本极高; 依赖资深DBA,支出大,受制于人。 安全 事前防护:白名单、安全组、专有网络隔离; 事中保护:连接链路加密、数据落盘加密(BYOK覆盖多种存储介质); 事后审计:SQL洞察、历史事件。 事前防护:白名单、安全组、专有网络隔离; 事中保护:需要单独实现连接链路加密和数据落盘加密,BYOK密钥轮转难度大,咨询成本较高; 事后审计:审计困难,需要单独保存SQL日志。 事前防护:白名单和专有网络隔离的咨询成本较高; 事中保护:需要单独实现连接链路加密和数据落盘加密,BYOK密钥轮转难度大,咨询成本较高; 事后审计:审计困难,需要单独保存SQL日志。 RDS SQL Server与自建数据库对比优势 对比项 RDS SQL Server ECS自建 IDC自建 性价比 弹性资源; WEB版性价比极高; 备份有一半实例空间免费; 公网流量免费。 弹性资源; 不可使用WEB版; 备份空间独立收费; 公网流量收费。 一次投入的沉没成本大; 不可使用WEB版; 需要独立准备备份资源,成本极高; 公网流量收费,域名费用高。 可用性 基础版约15分钟即可完成故障转移; 高可用版和集群版提供自研高可用系统,实现30秒内故障恢复; 集群版的只读实例自动实现负载均衡; 集群版的读写分离使用方便。 基础版约30分钟完成故障转移; 需要单独购买高可用系统; 需要单独实现或者购买负载均衡。 单机实例,少则两小时,多则等待配货数周; 需要单独购买高可用系统; 需要单独实现或者购买负载均衡设备。 可靠性 数据可靠性高,自动主备复制、数据备份、日志备份等; 集群版可实现RPO(Recovery Point Object)=0。 在好的架构下才能实现高可靠性; 实现RPO=0的成本极高,需要单独购买研发服务。 数据可靠性一般,取决于单块磁盘的损害概率; 实现RPO=0的成本极高,需要单独购买研发服务。 易用性 自动化备份恢复系统,支持按时间点恢复、单库备份恢复等,流式备份对实例性能影响小; 自动化监控告警系统,支持秒级监控,覆盖实例和数据库所有性能指标,支持短信、邮箱、旺旺、钉钉等通道,且根据消费有大额度的免费短信数量; 即将支持异地容灾。 无自动备份系统,流式备份能力需要单独实现,实现按时间点恢复功能成本高; 需要单独购买监控系统,在云监控中配置告警系统; 技术实现难度极大。 无自动备份系统,流式备份能力需要单独实现,实现按时间点恢复功能成本高; 需要单独购买或配置监控系统,通道较少,成本较高; 异地数据中心成本极高,技术实现难度也大,很难实现异地容灾。 性能 SQL Server 2008 R2的本地SSD盘实例性能极佳,SQL Server 201x版本新计算存储分离架构可享受硬件红利 ; SQL Server的ESSD性能较SSD提升显著; 增加只读实例之后性能强劲且负载均衡; CloudDBA提供高级优化能力。 ECS本地盘意味着降低数据可靠性,采用云盘的话需要规划架构,成本支出较大; 基于ESSD的ECS自建SQL Server性能低于基于ESSD的RDS SQL Server性能; 实现集群版的难度较高,咨询成本较高,维护成本极高; 依赖资深DBA,支出大,受制于人。 比云计算硬件更新速度慢,性能一般都会低于云数据库; 难以实现计算和存储分离,若使用高端存储实现计算和存储分离,动辄需要数千万支出; 实现集群版的难度较高,咨询成本较高,维护成本极高; 依赖资深DBA,支出大,受制于人。 安全 事前防护:白名单、专有网络隔离; 事中保护:连接链路加密、数据落盘加密; 事后审计:SQL审计(数据库审计)、历史事件; 微软安全更新,阿里技术兜底。 事前防护:白名单、安全组、专有网络隔离; 事中保护:需要单独实现连接链路加密和数据落盘加密,咨询成本较高; 事后审计:审计困难,需要单独保存SQL日志。 事前防护:白名单和专有网络隔离的咨询成本较高; 事中保护:需要单独实现连接链路加密和数据落盘加密,咨询成本较高; 事后审计:审计困难,需要单独保存SQL日志。 法律 附带License,无法律风险; 即将支持自带License,降低整体成本支出。 只有单独购买License。 只有单独购买License,否则法律风险极大。

游客yl2rjx5yxwcam 2020-03-09 10:46:50 0 浏览量 回答数 0

回答

回 1楼dongshan8的帖子 我的ECS是 win2008_64_stand_r2 我应该是下载同版本的sqlserver么,还是通过别的途径下载? 看了一下其他人的帖子,说是必须开辟虚拟内存,这个怎么开启设置啊 这是我现在的设置 ------------------------- ReEDS怎样部署Sqlserver 谢谢您,那我安装一下试试, 远程桌面访问本机硬盘安装好像行不通,那采取哪种下载安装文件的方式比较好呢 还是直接把安装文件复制到ECS服务器中,再进行解压安装呢 ------------------------- 回 4楼chg0901的帖子 访问自己的硬盘安装出现这个问题,CPU占用很高 现在将把安装包复制到ecs服务器中再进行安装 ------------------------- ReEDS怎样部署Sqlserver 刚才好像是触碰了连接的移动硬盘,现在好像开始安装了 ------------------------- 回 6楼dongshan8的帖子 我是使用访问本地驱动器硬盘中的文件安装,下载进行到这一步了 ------------------------- ReEDS怎样部署Sqlserver 安装还是比较慢的,感觉不出意外会安装成功,但是他显示我的安装介质是X86的,我的本机系统,还有ECS都是64位的,这个有点不清楚为什么会是这个样子 ------------------------- ReEDS怎样部署Sqlserver 现在安装卡着了,大约十分钟了, 点击开始安装后,跑完一个进度条后就不反应了 停在这个位置 ------------------------- ReEDS怎样部署Sqlserver 还是没有反应,下定决心再点一次安装试试 ------------------------- ReEDS怎样部署Sqlserver 现在这样

chg0901 2019-12-02 02:13:40 0 浏览量 回答数 0

回答

可以考虑 ecs.c5.xlarge(4核 8GB,计算型 c5) 云主机的 好处就是 随时升级硬件 只需要重启服务器即可 图片 不是自己的 会好很多 ------------------------- 回 3楼(eczzxec) 的帖子 不支持 临时改变配置,你观察不下时间久 可以升级,时间不长 撑一撑 就过去了 ------------------------- 回 6楼(eczzxec) 的帖子 带宽也是重要因数,如果本地 没什么 图片 你可以选择 带宽按流量计费(峰值100M),这样就可以在硬件上加高一点,可以买4核8G主机 一年(申请预算 4核16G的钱,剩余的钱放在余额里面 用于升级和流量费,如果有图片 和其他下载的东西 可以把图片和下载的东西放在OSS+cdn上),预算这个东西书初步计算,人多公司赚钱了 再申请加预算就好了 ------------------------- 一般更耗内存,代码优化好点 会省

火蓝云 2019-12-01 23:57:01 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板