• 关于

    读写系统啥意思

    的搜索结果

回答

放ssd 上 ######这样不能说什么优化吧,要么就根据行为进行优化,比如一段时间内 某几个文件的访问量最大,数据读写最频繁,那就在一段时间内不重复的打开这个文件,文件打开后缓存起来。可以参考操作系统里面的内存置换算法LRU,,我也没头绪了。###### TB级很多么? 我们光文件就有10亿多个,每个文件大小在300M到2G之间 做存储升级的时候,通过光纤拷贝到新的存储系统,花了大约三个月时间 ######请问您的系统是如何实现快速存取历史数据的?谢谢###### ssd是啥?对不起我是新手, 多谢明月兄的回答:可能我上面描述地有点儿乱,我重新说: 其实就是有大量csv文件,每个文件的文件名都不同,而且还是按照日期分别存放到不同的目录,而且是不断有新目录和新csv文件进来, 问题如何快速访问已经存在的csv文件中的内容,不需要更新只要取到数据就行,自己写程序倒是可以访问,如果有比较成熟的解决方案或开源框架就比较好了,   opal 兄:你们是如何快速访问历史数据的? ######放到HDFS中,读取用MAP/REDUCE做,非常适合。######回复 @PaulWong : 非常感谢######官方那个WORDCOUNT那个例子就是最简单的了。 主要过程: 搭建HADOOP在本机的伪分布式环境,需要LINUX系统 跑通WORDCOUNT例子 搭建本机的开发环境,主要是WINDOWS,写一个MAP/REDUCE JOB,通过ECLIPSE分派到远程HADOOP中运行######感谢PaulWong,我查了查资料,大概看懂意思,不过还是搞不出东西来, 请问您有更详细的资料或java语言的demo吗?非常感谢

kun坤 2020-06-06 16:16:15 0 浏览量 回答数 0

回答

硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G) 不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。 读的话,采取分布式的读,可以达到很高的吞吐量。 网络传输的话,问题在于怎么保证传输稳定和不出错######这对内存的要求很高啊,而且还不能耽误其他程序对内存的使用,这个内存我觉得应该很大吧###### 引用来自“十一文”的答案 硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G) 不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。 读的话,采取分布式的读,可以达到很高的吞吐量。 网络传输的话,问题在于怎么保证传输稳定和不出错 这么说来, 在顺序存取方面 , 网络传输速度相对与硬盘 io 速度还是有优势的,不知道这么理解是否成立。 因为机放内部设备间千兆网卡很常见,传输速度相当快,并且成本相对硬盘少许多。 ######看贴不跟帖,帖子要沉了。需要顶。 无论对错。发表点个人观点也好。不能让它沉。 ###### "千兆网卡很常见", 這裡 “ 千兆” 是指1000M bits, 大概也就100M Bytes。 Intel SSD 520 Sequential Read 已经可高达550M Bytes per second, 顺序写可高达275M Bytes per second.######回复 @十一文 : 现在的HBA卡4G的已经很通用了,好像12G的都出来了,一般服务器都有好几个接口的,再来个负载均很啥的,网络传输不是问题######汗 查了哈 还真是这样。擦我out了!######网络允许帮定双网卡。所以,网络传输可以更快点,相对来说,速度提升技术性难度小点。 磁盘阵列是否回更好? 光线通讯用的网卡是否会更快点。 ###### 顺便提点应用。 是这样的, 排序在信息处理方面很常见。 无论用什么算法。都是在一个相对平等的环境中。 现实中应用,比如1g内容的排序和1T内容排序难点还是数据交换上。 1g可以全部加载进内存玩。1T就要涉及到信息交换了。如果一个系统界面,把存储信息部分扩展到近乎无限空间大小。 就好比内存数据交换比磁盘数据交换要快许多。 比如1T大小数据做排序。 只要一个设备顺序读取数据,按照开头部分把数据通过网络分发给N 台机器,处理除了开头部分数据,后面的数据排序。这样就可以N多设备协同工作。效率达到 1+1 > 2 的目的。 否则如果是1台设备需要 加载数据,排序, 临时存储, 加载另外数据,处理,临时存储,加载.... 汇总分结果,获得总结果。 1台设备这么处理,做了很多重复劳动。如果网络够快 多台设备 避免了重复加载。 达到 1+1>2######回复 @十一文 : 差不多的意思。######hadoop是把数据分成分成多个部分,每部分各自处理结果,然后汇总处理。即把你的1t的数据分成n份,然后每份分发给不同机器处理。然后汇总结果。不知道适用你的场景不?######貌似这中数据分析,现在流行用hadoop。楼主可以调研哈######这么说不好理解。形象一点说一下:假设有1000个数据样本,每个样本里有1T条数据内容。 一知每个样本内数据条目重复率为0.001%.目的,找出这1000个样本内,每个样本中重复的样本。并统计所有样本中重复的次数。 这个如果算复杂运算,不如说是大数据处理。 假设 每个设备 一次能加载1G条数据。######硬盘技术感觉好多年都在原地踏步没有质的飞跃啊###### @johnzhang68 毕竟转速有影响######磁性硬盘在容量方面还是有明显的飞跃。速度方面提高得慢一些。######或许未来,存储虚拟化是条路子。  数据处理和数据交互关系密切。 以数据处理为目的,建立多系统群集方式在处理上或许会比高计算系统群集更有优势。 ######又没落了。顶起 ######没有试过,关注一下######再看了哈貌似你真的很需要hadoop

kun坤 2020-06-07 22:18:40 0 浏览量 回答数 0

问题

你们有没有做 MySQL 读写分离?如何实现 MySQL 的读写分离?【Java问答】44期

剑曼红尘 2020-06-24 08:34:06 8 浏览量 回答数 1

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

问题

分布式服务接口的幂等性如何设计(比如不能重复扣款)?【Java问答学堂】52期

剑曼红尘 2020-07-08 09:15:27 3 浏览量 回答数 1

问题

为什么要进行系统拆分?如何进行系统拆分?拆分后不用 dubbo 可以吗?【Java问答学堂】46期

剑曼红尘 2020-06-29 16:39:00 6 浏览量 回答数 1

问题

分布式事务了解吗?你们是如何解决分布式事务问题的?【Java问答学堂】58期

剑曼红尘 2020-07-16 15:11:28 5 浏览量 回答数 1

问题

为什么要分库分表(设计高并发系统的时候,数据库层面该如何设计)?【Java问答】41期

剑曼红尘 2020-06-19 13:47:21 0 浏览量 回答数 0

回答

这个结构有点怪~~~~用tomcat和nio功能好象有点重复######同意楼上的,tomcat和netty肯定是重复的。你做的是BS还是CS,or两者兼之?######不太清楚tomcat 和 NIO有啥 不过不用tomcat 那JAVA页面用什么呢? weblogic服务?   那个收费哦~ Java和.NET  是通过Socket进行交互数据。 Servlet接受到网页请求,分业务逻辑协议层,Socket通讯层传给.NET服务,.NET服务返回业务协议数据给Java,Java通过Socket接受.NET Socket传过来的业务协议数据,通过方法,传回数据给servlet,返回至请求。。 大概是这样的逻辑。   不知道有哪些不合理,因为现在.NET服务也感觉很不稳,压力测试也容易宕机。所以很困扰,不知道如何解决这一系列的问题。请大家帮忙出出主意,因为我刚进公司,就开始这方面的工作,对于刚离开学校的我,感觉压力确实有点大~不过到底还是做出来了,但就是压力测试完全不行,因看到Netty NIO框架 压测的一些结果,感觉Netty NIO框架可能会在压力测试中有很大帮助,不过一系列原因,对Netty不熟,压力测试也就一直拖延至今! 希望大家能踊跃讨论下,给我提提建议。谢谢评论回帖的人~######-tomcat+javaNIO+Servlet+.NET TCP服务 网页请求,通过Java socket按协议传输数据到.NET服务 感觉这个有点怪异。。######按照你的说法,你这个系统基本是合理的。建议你先找找瓶颈在哪,至于java与.net通讯不一定非要用NIO,NIO只要在高并发下才有效果,有人测试过几百个连接的情况下NIO反而没有BIO有优势。######是啊,确实在高并发啊~ 起码保证25W人在线啊~######我说的不是tomcat接收来自页面的请求有多少,而是java和.net之间是不是高并发,也就是说ava和.net之间有几个socket连接。 另外,高并发主要是指server端的,如果我没理解错,你说的意思应该是用java调用.net端的服务,所以.net才是server端,而java端只是客户端,所以没必要用netty。######心跳包和绑定包出错原因是什么,你要分析清楚啊,是协议没有定义好还是怎么,是不是java这头封包的时候没有封对,导致.net那头服务端解析出错,原因得先分析清楚,我觉得你这样的结构并没有什么不合理的地方###### 引用来自#7楼“Mr.LovelyCbb”的帖子 是啊,确实在高并发啊~ 起码保证25W人在线啊~ 网络不精通,但觉得这么高并发,用JAVA实现通讯 可以考虑 EPOLL这些吗######Java和.net之间可以通过配置来设定多个socket连接~ Java如果是客户端,就不必用NIO是这个意思吗? 会对大流量的业务数据造成影响吗? 心跳保持,绑定包,都是在NIO里面出现的问题~ 开始启动服务,初始化时,发按设置数量的绑定包,其实就是读写循环,等待业务数据请求,收.NET服务业务数据~ 对IO懵懵懂懂的,当时是看中的NIO的异步传输。

kun坤 2020-05-29 23:13:49 0 浏览量 回答数 0

问题

dubbo 的 spi 思想是什么?【Java问答学堂】50期

剑曼红尘 2020-07-07 09:48:29 25 浏览量 回答数 1

问题

初识Hadoop:报错

kun坤 2020-06-07 00:57:43 0 浏览量 回答数 1

问题

荆门开诊断证明-scc

游客5k2abgdj3m2ti 2019-12-01 22:09:00 1 浏览量 回答数 0

问题

【精品问答】Java技术1000问(1)

问问小秘 2019-12-01 21:57:43 37578 浏览量 回答数 11
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站