问点前沿技术问题。 网络传输速度和硬盘传输速度比较。:报错 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

问点前沿技术问题。 网络传输速度和硬盘传输速度比较。:报错

2020-06-07 22:18:36 530 1

现在 很多地方都讨论大数据处理,数据分析等等着方面的问题。

心中有一个疑问。 假如多个设备在物理环境比较近,可以理解成服务器在一个机房。

那么当前技术水平,服务器硬盘顺序读取速度与通过网络读取数据速度有无优势。

可以假象成,网络数据直接光线传输。 硬盘传输有阵列。  谁更有优势。

如果是常见千兆网络,性能不错网卡。 与服务器硬盘比较结果会如何。

顺序读取。 前提是顺序读取。不是随机存取。也不是内存,也不是ssd

取消 提交回答
全部回答(1)
  • kun坤
    2020-06-07 22:18:40

    硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G)

    不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。

    读的话,采取分布式的读,可以达到很高的吞吐量。

    网络传输的话,问题在于怎么保证传输稳定和不出错

    ######这对内存的要求很高啊,而且还不能耽误其他程序对内存的使用,这个内存我觉得应该很大吧######

    引用来自“十一文”的答案

    硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G)

    不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。

    读的话,采取分布式的读,可以达到很高的吞吐量。

    网络传输的话,问题在于怎么保证传输稳定和不出错

    这么说来, 在顺序存取方面 , 网络传输速度相对与硬盘 io 速度还是有优势的,不知道这么理解是否成立。

    因为机放内部设备间千兆网卡很常见,传输速度相当快,并且成本相对硬盘少许多。

    ######看贴不跟帖,帖子要沉了。需要顶。 无论对错。发表点个人观点也好。不能让它沉。
    ###### "千兆网卡很常见", 這裡 “ 千兆” 是指1000M bits, 大概也就100M Bytes。 Intel SSD 520 Sequential Read 已经可高达550M Bytes per second, 顺序写可高达275M Bytes per second.######回复 @十一文 : 现在的HBA卡4G的已经很通用了,好像12G的都出来了,一般服务器都有好几个接口的,再来个负载均很啥的,网络传输不是问题######汗 查了哈 还真是这样。擦我out了!######网络允许帮定双网卡。所以,网络传输可以更快点,相对来说,速度提升技术性难度小点。 磁盘阵列是否回更好? 光线通讯用的网卡是否会更快点。
    ######

    顺便提点应用。 是这样的, 排序在信息处理方面很常见。 无论用什么算法。都是在一个相对平等的环境中。 现实中应用,比如1g内容的排序和1T内容排序难点还是数据交换上。 1g可以全部加载进内存玩。1T就要涉及到信息交换了。如果一个系统界面,把存储信息部分扩展到近乎无限空间大小。 就好比内存数据交换比磁盘数据交换要快许多。

    比如1T大小数据做排序。 只要一个设备顺序读取数据,按照开头部分把数据通过网络分发给N 台机器,处理除了开头部分数据,后面的数据排序。这样就可以N多设备协同工作。效率达到 1+1 > 2 的目的。 否则如果是1台设备需要 加载数据,排序, 临时存储, 加载另外数据,处理,临时存储,加载.... 汇总分结果,获得总结果。 1台设备这么处理,做了很多重复劳动。如果网络够快 多台设备 避免了重复加载。 达到 1+1>2

    ######回复 @十一文 : 差不多的意思。######hadoop是把数据分成分成多个部分,每部分各自处理结果,然后汇总处理。即把你的1t的数据分成n份,然后每份分发给不同机器处理。然后汇总结果。不知道适用你的场景不?######貌似这中数据分析,现在流行用hadoop。楼主可以调研哈######这么说不好理解。形象一点说一下:假设有1000个数据样本,每个样本里有1T条数据内容。 一知每个样本内数据条目重复率为0.001%.目的,找出这1000个样本内,每个样本中重复的样本。并统计所有样本中重复的次数。 这个如果算复杂运算,不如说是大数据处理。 假设 每个设备 一次能加载1G条数据。######硬盘技术感觉好多年都在原地踏步没有质的飞跃啊###### @johnzhang68 毕竟转速有影响######磁性硬盘在容量方面还是有明显的飞跃。速度方面提高得慢一些。######或许未来,存储虚拟化是条路子。  数据处理和数据交互关系密切。 以数据处理为目的,建立多系统群集方式在处理上或许会比高计算系统群集更有优势。
    ######又没落了。顶起
    ######没有试过,关注一下######再看了哈貌似你真的很需要hadoop
    0 0
相关问答

1

回答

硬盘如何升级

2018-12-30 09:04:02 513浏览量 回答数 1

1

回答

数据硬盘问题

2018-11-30 20:45:01 478浏览量 回答数 1

1

回答

硬盘满了

2018-09-20 17:06:27 348浏览量 回答数 1

2

回答

硬盘很卡

2018-09-01 15:39:25 919浏览量 回答数 2

1

回答

挂载硬盘

2017-12-24 14:28:23 494浏览量 回答数 1

1

回答

ecs挂载的硬盘能删除吗?

2017-04-02 03:09:15 1813浏览量 回答数 1

2

回答

除了ssd硬盘、机械硬盘,还有其他的吗?

2015-04-17 09:22:21 4289浏览量 回答数 2

8

回答

美国硅谷服务器我哭了硬盘传输速度812K/秒

2015-03-15 00:15:11 8150浏览量 回答数 8

3

回答

硬盘挂载了,但是用不了

2015-03-05 13:04:19 5259浏览量 回答数 3

7

回答

弹性硬盘应该是首要任务吧?

2014-05-29 10:51:48 5957浏览量 回答数 7
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
从百度文件系统看大型分布式系统设计
立即下载
商业流量的精准在线分配
立即下载
企业如何低成本、高效率,打破信息孤岛
立即下载