• 关于

    处理速度可以做什么

    的搜索结果

问题

MongoDB 和Redis的任务队列性能瓶颈

蛮大人123 2019-12-01 19:53:59 1195 浏览量 回答数 1

问题

如果jdbc批处理出现问题数据,可以产生问题数据的错误行及错误原因吗??报错

爱吃鱼的程序员 2020-06-12 14:14:57 0 浏览量 回答数 1

问题

ios上socket通信问题(已解决,并附上解决方式)

a123456678 2019-12-01 20:27:44 1101 浏览量 回答数 1

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

回答

硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G) 不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。 读的话,采取分布式的读,可以达到很高的吞吐量。 网络传输的话,问题在于怎么保证传输稳定和不出错######这对内存的要求很高啊,而且还不能耽误其他程序对内存的使用,这个内存我觉得应该很大吧###### 引用来自“十一文”的答案 硬盘读写速度现在怎么都达不到千兆, ssd读也达不到。(特殊设备除外,貌似看到新闻说有实验室的产品读写速度可以过G) 不过可以采取,写入缓冲的方式,数据先保存在内存,再写入到硬盘,不过缺点怕掉电。 读的话,采取分布式的读,可以达到很高的吞吐量。 网络传输的话,问题在于怎么保证传输稳定和不出错 这么说来, 在顺序存取方面 , 网络传输速度相对与硬盘 io 速度还是有优势的,不知道这么理解是否成立。 因为机放内部设备间千兆网卡很常见,传输速度相当快,并且成本相对硬盘少许多。 ######看贴不跟帖,帖子要沉了。需要顶。 无论对错。发表点个人观点也好。不能让它沉。 ###### "千兆网卡很常见", 這裡 “ 千兆” 是指1000M bits, 大概也就100M Bytes。 Intel SSD 520 Sequential Read 已经可高达550M Bytes per second, 顺序写可高达275M Bytes per second.######回复 @十一文 : 现在的HBA卡4G的已经很通用了,好像12G的都出来了,一般服务器都有好几个接口的,再来个负载均很啥的,网络传输不是问题######汗 查了哈 还真是这样。擦我out了!######网络允许帮定双网卡。所以,网络传输可以更快点,相对来说,速度提升技术性难度小点。 磁盘阵列是否回更好? 光线通讯用的网卡是否会更快点。 ###### 顺便提点应用。 是这样的, 排序在信息处理方面很常见。 无论用什么算法。都是在一个相对平等的环境中。 现实中应用,比如1g内容的排序和1T内容排序难点还是数据交换上。 1g可以全部加载进内存玩。1T就要涉及到信息交换了。如果一个系统界面,把存储信息部分扩展到近乎无限空间大小。 就好比内存数据交换比磁盘数据交换要快许多。 比如1T大小数据做排序。 只要一个设备顺序读取数据,按照开头部分把数据通过网络分发给N 台机器,处理除了开头部分数据,后面的数据排序。这样就可以N多设备协同工作。效率达到 1+1 > 2 的目的。 否则如果是1台设备需要 加载数据,排序, 临时存储, 加载另外数据,处理,临时存储,加载.... 汇总分结果,获得总结果。 1台设备这么处理,做了很多重复劳动。如果网络够快 多台设备 避免了重复加载。 达到 1+1>2######回复 @十一文 : 差不多的意思。######hadoop是把数据分成分成多个部分,每部分各自处理结果,然后汇总处理。即把你的1t的数据分成n份,然后每份分发给不同机器处理。然后汇总结果。不知道适用你的场景不?######貌似这中数据分析,现在流行用hadoop。楼主可以调研哈######这么说不好理解。形象一点说一下:假设有1000个数据样本,每个样本里有1T条数据内容。 一知每个样本内数据条目重复率为0.001%.目的,找出这1000个样本内,每个样本中重复的样本。并统计所有样本中重复的次数。 这个如果算复杂运算,不如说是大数据处理。 假设 每个设备 一次能加载1G条数据。######硬盘技术感觉好多年都在原地踏步没有质的飞跃啊###### @johnzhang68 毕竟转速有影响######磁性硬盘在容量方面还是有明显的飞跃。速度方面提高得慢一些。######或许未来,存储虚拟化是条路子。  数据处理和数据交互关系密切。 以数据处理为目的,建立多系统群集方式在处理上或许会比高计算系统群集更有优势。 ######又没落了。顶起 ######没有试过,关注一下######再看了哈貌似你真的很需要hadoop

kun坤 2020-06-07 22:18:40 0 浏览量 回答数 0

回答

Re阿里云oss云储存投票贴您网站的附件及图片等资源如何处理进来发钱 这个视频做的非常好。 ------------------------- Re阿里云oss云储存投票贴您网站的附件及图片等资源如何处理进来发钱 我第一次使用阿里云,图片资源按照网站架构来讲,确实放在OSS里面比较好。 但是OSS有时会掉线,不知道为什么。www.useit.com.cn  可以测试速度

useit_知识库 2019-12-02 01:36:52 0 浏览量 回答数 0

回答

Netty的worker线程只负责nio,在收到完整数据后将数据按要求封装并放入到业务数据队列;业务处理类负责从该队列中取出数据并处理。 这里的业务处理类现在是如何实现的?按你的说法,单线程和多线程 在这个类中都试验过,并且都没能解决问题,由此来看 可以得出2个结论:(1)需要再努力优化业务处理过程以节省处理时间;(2)提升服务器硬件性能。######回复 @阿森lin1991 : 我也是碰到这个问题,单位时间内大量客户端同时连接上来,服务端线程来不及处理。就大量堆积在队列里,请问有办法解决吗?######回复 @阿森lin1991 : 你netty什么版本?netty3和4的线程模型有不小区别,推荐infoq上李林峰写的《netty升级血泪史》######如果netty没有相应api接口的话,那就无解了。看看新版本中是否有,或者可以参考下######回复 @阿森lin1991 : 回复 @阿森lin1991 : 关键是netty接收消息队列消息时造成的阻塞;netty3.0中有ExecutionHandler可以使用(其实也是一个线程池,work执行到ExecutionHandler时直接返回执行下一个channel);我现在也遇到这样的问题,希望可以找到一起其他的解决办法,比如非阻塞接收消息队列消息。######2:接第1条...所以想把消息输出也放在nioEventLoopGroup(worker)线程中执行,即业务处理完后把输出消息压入输出队列,但是怎样才能调用nioEventLoopGroup(worker)线程去处理这个输出队列了?好像没有相关接口###### 1  netty本身的 worker线程的个数是根据CPU来的,直接在 worker线程里做业务逻辑处理不好么? 2 如果不想并发,修改源码,让worker线程个数为1,就没有并发了,这一点跟redis一样的,redis单线程的处理能力貌似也够用了,redis的作者是这么说的。 3 为啥要自定义多个业务逻辑线程?netty本身的worker线程拿到消息后就可以处理了啊 ######回复 @阿森lin1991 : 没必要为每个消息加业务逻辑处理线程,并发量多,线程自然多,这样跟IO模型就没区别了。收到数据后消息处理直接用worker线程,当你预估的业务逻辑实在是太费资源才开一个线程,这个线程中尽量不要有类变量已减少并发错误或人为加锁。实在不能满足需求,可以考虑用RMI把复杂逻辑放到另外的机器上做分布式处理######1.worker线程更多的负责读写网络数据,对于复杂或耗时的业务处理都交由自定义的逻辑线程处理,不然很可能阻塞nio线程,大大减少并发量。 2.我现在的情况不是worker线程并发有问题,而是自定义了逻辑线程并发有问题(阻塞情况比较严重) 3.同1 不过谢谢你...###### 你现在的问题跟Netty没有关系,主要是你的业务处理速度跟不上你所要求的请求速度,单线程也好,多线程也好,都没有关系。 处理不过来, 1,要不把超时的改掉或做优化处理 2,增强处理速度:找到瓶颈优化或者做请求分发到不同服务器处理 ######同意这种说法,最好是将业务线程能够优化######(2)提升服务器硬件以提高业务处理性能。######楼主你好,请问这个问题解决了吗?我先在也是遇到了这问题。######单机环境调优讲一种方法吧。 1. 明确你的优化目标(优化是永无止境的,但必须适可而止) 2. 分析你的硬件瓶颈(归根到底,还是你的硬件在执行软件代码), 比如你的核,内存,带宽(本例中注意下你的带宽拥挤是否延迟你的消息返回) 3. 根据你的目标调整Netty的BoosEventLoop, WorkEvnetLoop,Buffer大小。 4. 优化你的消息包,尽量在一个MTU大小,优化你的编解码工具类,比如使用Protobuffer(传输小,解码快)代替Json.  另外,特别注意Bytebuf转Message后,是否有被ReferenceCountUtil.release() 5. 消息的返回注意 chanel的write跟writeAndFlush的区别。一个是等缓冲区满了才返回,一个是立刻返回。 上面做完了,就跟netty没啥关系了。 针对你的 编解码Loop线程组 与 工作线程组 的优化 Netty WorkEvnetGroup = M,   BusinessWorkerGroup = N  ( M, N >1) 这种情况就是一个生产消费模型,M, N之间有一个ArrayBlockingQueue(必需限制上限)做消息缓存。 1. 为了减少锁竞争,可以使用 无锁队列 Disruptor代替 java的 ArrayBlockingQueue, 据说效率是后者的10倍 2.工作任务代码优化,可以全内存操作以及算法优化。######业务服务是否可以分析出单独微服务啊

kun坤 2020-06-08 19:18:03 0 浏览量 回答数 0

回答

Re:阿里云的服务器,用七牛或者又拍云做图片静态文件缓存,提速明显吗 .. 又没有人用过七牛和又拍云配合阿里云ECS的 出来说说 ------------------------- Re:阿里云的服务器,用七牛或者又拍云做图片静态文件缓存,提速明显吗 .. 图片加速效果明显吗 ------------------------- Re:回 楼主(wdlm.cn) 的帖子 引用第5楼mahaidong于2014-11-20 10:08发表的 回 楼主(wdlm.cn) 的帖子 : 可以负责任的告诉你效果不咋地,我们网站用的七牛加速图片到晚上10-11点基本上就报废了,实在没有办法用阿里云做了七牛的代理,客户端直接用七牛速度非常慢,七牛处理图片还不错 七牛处理图片还不错  又说效果不咋地 真的不知道您表达的是什么意思 亲

wdlm.cn 2019-12-02 01:01:55 0 浏览量 回答数 0

回答

oracle 就能搞定,你关系型数据库转到hadoop你做好了面对各种BUG的准备吗? 你这需求无非就是数据库量大存储查询慢而已,上数据库集群就行了oracle完全可以搞定. 没必要上hadoop ######这个要分布的吧,不然数据量大肯定慢的######storm 或者 spark###### 引用来自“huan”的评论storm 或者 spark 为什么 现在都说spark,storm  这个事比hadoop快。但是公司就要用hadoop。 ######用Hadoop存储。读取速度快!。用Spark计算!计算速度快!######+1 我们目前使用spark可以单机处理亿级计算###### 引用来自“huan”的评论storm 或者 spark 引用来自“OSC-小小侦探”的评论为什么 现在都说spark,storm  这个事比hadoop快。但是公司就要用hadoop。 先弄清楚hadoop是什么再说, spark很早就能运行在hadoop上了,storm 也有 on hadoop 版本。######hadoop做存储啊。。上面跑别的。######分裤分表做了么? ssd上了么? ######高大上的感觉!###### 第一次听要hadoop快速的读取存储的。。。。。难道我们用得不是一个东西? ######Hadoop 上的HDFS是分布式文件。读写很快的###### 引用来自“呼啦_小呆”的评论 第一次听要hadoop快速的读取存储的。。。。。难道我们用得不是一个东西? 继续喷。。继续。 我也不是做大数据的,刚学一个星期。你继续喷!继续!

kun坤 2020-06-08 11:15:58 0 浏览量 回答数 0

回答

Re又爱又恨的CDN我该拿什么来爱你 说说我用CDN的经历,以及用来解决什么问题吧 起先,我之前的东家在三四线城市,没有主干线路,更别提主干机房或者双线机房了,服务器是托管在电信机房,因为是电信,你懂的,在非电信网络,打开一张HTML页面慢到你想跳楼,就这样,我们开始摸索使用CDN 可以说,我们主要解决以下问题 一、首先我们用CDN主要解决线路加速问题,也就是说可以让非电信线路的用户访问我们的网站也可以得到在电信线路差不多的速度和体验,当然像阿里云的BGP机房就不用担心这个问题了 二、静态资源可以缓存在各个地区的CDN服务器,减少源服务器的流量压力,让用户的浏览器加载速度更快,源服务器只处理动态内容,同时也可以降低源服务器的带宽使用,源服务器集中优势只专门处理动态的业务流量 三、除了解决CDN在线路上的问题,还有解决一个地区差异的问题,比如说跨地区,即使同一线路的用户也有可能访问速度会慢,毕竟经过的节点多,但CDN网络加载动态内容时,节点网络相对来说会快,而静态资源已经在各个CDN服务器,直接返回给用户,访问速度直线提升 四、如果源节点与CDN的IP进行绑定,也就是说,源服务器只接受来自CDN IP流量的时候,或多或少可以减少DDOS攻击流量,如果CDN服务器有做检测的话,那肯定是可以的 再说说,CDN服务器不好的体验或者用不好的时候,是有多惨 一、CDN缓存策略有好几种,要根据自己的程序特性来选择策略,如果没用好,有可能你更新了新的文件或者静态资源时,CDN节点不为所动,还是老文件 二、曾经碰到过CDN服务器在PC访问,速度很正常,但在手机访问时,就慢得要死,当初排查这个排了很久才知道是CDN的问题,但不知道为什么会有这个问题 三、CDN节点,如果在某些地区节点没有备份节点时,一旦挂掉就会导致当地的用户无法访问,严重影响业务 四、严重依赖CDN服务商的技术力量和服务质量,曾经碰到CDN自己内部节点的DNS解析出问题,让我们当时的业务直接瘫痪 五、最重要的一点,CDN的节点要多,节点不多跨地区访问有时候也是有问题 六、有些CDN不支持SDK或者API来控制或清除缓存,这个也是极其难以忍受的,因为某些原因,需要清除所有CDN节点缓存,从源服务器获取新文件 先说这么多了,有想到再补充

天才书生 2019-12-02 01:45:21 0 浏览量 回答数 0

问题

电子商务网址的图片目录该如何绑定

喜喜喜喜 2019-12-01 21:56:33 5343 浏览量 回答数 2

问题

LogGroup对银行的应用是怎样的?

轩墨 2019-12-01 21:58:50 1492 浏览量 回答数 0

问题

性能优化总结:CPU和Load、NIO以及多线程:报错

kun坤 2020-06-07 21:31:24 0 浏览量 回答数 1

回答

redis服务器,集群设置,主从,从的没有数据,原因未知。用虚拟的一台,作数据漂移到主redis服务器,set进去的key在主服务器不可见,虚拟的一台也看不打,但是能取到,从的redis服务没有数据。关键是能通过method获取到expiretime为零,但是能取到key对应的值。现在乜有其他redis服务器了,数据存去哪了,为什么expire为零,还是能获取key对应的值???最后关掉了从的redis,重启主服务器,把IP指向主redis服务器之后,问题解决。原因不明。数据飘去哪了?补充:如果你设置了一个有过期时间的key-value的不稳定key,那么请注意!如果用了setexpiretime为0的方法去删除key的方式,有可能redis不会立即删除。用spring data redis 的hasKey的方法来判断是否存在键,然后你就掉坑里了,因为即使expiretime为0,这个key,很可能还没有被删除掉,redis对过期键采用了lazy expiration:在访问key的时候判定key是否过期,如果过期,则进行过期处理。其次,每秒对volatile keys 进行抽样测试,如果有过期键,那么对所有过期key进行处理。这个巡视速度,跟什么设置有关,效率怎么样,我们一无所知。所以,当你设置了不稳定的key,而且又要用hasKey,做判断时,请注意,要获取key的过期时间expiretime,自己再做判断。《Redis 设计与实现》第一版,里面有原理解释,感兴趣的可以搜索看下

爵霸 2019-12-02 02:00:48 0 浏览量 回答数 0

问题

爱上阿里云

南开阿当 2019-12-01 21:58:23 8271 浏览量 回答数 0

问题

OpenSearch有什么特性?

轩墨 2019-12-01 20:55:21 981 浏览量 回答数 0

回答

回楼主子林的帖子 这个体量,我给个建议,需要用SLB + ECS + RDS + OSS + CDN一起来做。前提是你的应用可以做些修改,千万不要指望一台ECS搞定,这种玩法不好扩展。我的建议方案: 1. ECS,高峰PV 400万,一天8万秒,峰值一般按照400万/1万秒 = 400个请求/秒来算。 看你的程序是否够优化,如果处理能力还行,可以上4台2核8G的ECS,一台一秒处理峰值100个请求问题不大,磁盘少买点,只放应用日志。带宽不要买了,用SLB承担负载。但其中一台要买个公网1M带宽,方便登陆管理。 2. 用一个SLB来做负载均衡,带宽看你的应用消耗情况。 3. RDS,因为你有3000个IOPS,阿里云的RDS要6G内存的,才能配3000个IOPS。但你的数据不多,只有3个G,可以考虑先买个2.4G内存的实例。数据量就按需选购吧。 4. 建议把100多G的image,放到OSS上,然后走CDN,速度会很快。但如果没有能力改代码放到OSS上的话,就买SLB的大带宽+CDN。 5. CDN,这个没什么好说的,买吧,按量付费。

东风破 2019-12-01 23:55:24 0 浏览量 回答数 0

回答

Java读XML有两种 方式SAX和DOM,用SAX做流式处理读一条就输出一条,不要一次性全部load到内存再处理,不会有问题的。你用着两个当关键字搜索便知 ###### 引用来自“逝水fox”的答案 Java读XML有两种 方式SAX和DOM,用SAX做流式处理读一条就输出一条,不要一次性全部load到内存再处理,不会有问题的。你用着两个当关键字搜索便知 非常感谢你的回答,我想再问一下,如果用SAX来读的话,因为有100多万条记录,一条一条读速度会不会很慢?另外,如果是DOM的话,能不能一条一条的读啊?谢谢 ###### 才处理1G 的文件,没多大。这种情况用 SAX 没问题,用 DOM 就要看机器内存够不够大了。 ######建议用sax,java读取xml的库很多,直接用就行。第二个方案是直接解析xml文件,根据文件本身的特点进行字符串分析和处理。csv本身也是一种本地数据库格式,支持sql操作,你可以用第三方库进行操作,比如ado或支持csv的odbc驱动。######请问数据格式该怎么组织呢?对于DBLP数据集,我只要每条记录的作者,别的信息都不需要。但是很多记录有是多个作者合著,把它该写成什么格式才能让weka识别这是一条记录里的多个项啊?也就是说,怎么在csv文件里组织合著作者信息呢?###### 引用来自“jorneyr”的答案 才处理1G 的文件,没多大。这种情况用 SAX 没问题,用 DOM 就要看机器内存够不够大了。 麻烦问下,如果是用SAX的话,直接写个java的解析小程序是不是就可以了?这样的小程序是否能处理这个数据集呢? ###### 引用来自“gwgyk”的答案 引用来自“jorneyr”的答案 才处理1G 的文件,没多大。这种情况用 SAX 没问题,用 DOM 就要看机器内存够不够大了。 麻烦问下,如果是用SAX的话,直接写个java的解析小程序是不是就可以了?这样的小程序是否能处理这个数据集呢? 没问题 ######你好,请问你重新编译过weka吗?###### 引用来自“diemeng1119”的答案 你好,请问你重新编译过weka吗? 没有,才开始学着使用weka ###### spring batch###### 引用来自“Jeff_Lau_NUAA”的答案 spring batch 直接写个java小程序可以么?

kun坤 2020-06-07 22:31:35 0 浏览量 回答数 0

回答

while没有问题吧,只是在b队列满的时候,能否挂起?? 这个是典型的生产者消费者问题吧。。 ######回复 @ItBoyWEI : 那你这样迟早会溢出的。。 要不就增加A的能力,比如增加一个处理A的进程或者实例。######是典型的生产者消费者问题,但是生产者过剩,消费者太慢!程序还不能挂起!######可以反过来做吧,不要A主动去放入b。由b去取######不要while循环 那样即使单线程 cpu也挂###### @ItBoyWEI 难道不用线程池?######回复 @iehyou : 就是是B队列到A队列中去取,也需要while循环实现呀!不然我们怎么源源不断从A中取数据呢!每次向服务器发送请求都会往A中添加数据!######回复 @iehyou : 这样呀!好我们测试下!看看内存能否下来!######回复 @ItBoyWEI : 。。 b到A取 ,根本不需要死循环######我们会让线程执行sleep方法######A放慢一点 B读快一点 不就ok了 ######A的速度没法放慢!###### 现在不停的往A中放对象 -- 谁不停放进去? 目前就是20个线程仍然不能处理过来 -- 你怎么知道处理不过来? cpu消耗在哪?队列有多长?20个线程平均每s能处理多少,减少线程或增加线程吞吐量会有变化么?多少个cpu,多少核,多少内存? -- 你什么统计数据都没有? 只是简单描述了现象而已,没有任何指导意义,都是白搭。 ######回复 @ItBoyWEI : 测试一下吞吐量是多少。如果吞吐量较大,尝试加大阻塞队列长度试试。 你用个无限队列,通常都是塞得比处理的快,内存岂不是越来越多,这不是很合理哦。######回复 @优雅先生 : 基本每次往服务器上发送请求都会进行添加操作!######回复 @ItBoyWEI : 确实。另外不停地往A中放对象,放的频率是多少呢?######因为目前我们做压力测试,就是由于不停的往A队列中添加数据。然后通过while循环再将A队列中的数据放到B队列中,20个线程去处理B队列。由于处理不过来,导致内存偏大。A用的是ConcurrentLinkedQueue,B用的是BlockingQueue,B限制的是50.######不知道是哪种语言,不过如果是golang,原生的channel就可以轻松解决######Java实现的######在多线程的问题处理上,可根据需要挂起程序,当承载量过大的时候也可通过延时处理的方式减缓cpu的压力######应为系统是实时的。所以无法挂起程序###### 处理对象是计算密集型吗,如果是的话,创建过多的线程并不会带来性能的提示,反而会下降。 b队列应该是一个blockingQueue吧 ######是的!######处理不过来是什么意思,处理不过来会造成什么影响?######回复 @ItBoyWEI : 那问题就出在那个无限制的队列,向里面投递过快才会导致内存过大,因为来不及处理。你要控制外部投递。 当然如果是因为你20个线程同时处理导致内存过大,那就要考虑设计问题。(比如不开20个线程就会处理过慢,而开了20个线程则内存占用过大)######导致内存过大!但是这些数据还是必须要处理的!######可否 直接 处理 A 队列 中 的 对象 么?  为什么 要把 对象从 A 队列 移入 B 队列 ?

kun坤 2020-06-07 13:46:51 0 浏览量 回答数 0

回答

用上 FreeMarker 后,再也不需要 JSP了,JSP相对来说弱爆了,连 layout 功能都没有,layout 现在是基本配置了###### 引用来自“爪哇老妖”的答案 这个真可以有,JSP、Velocity、Freemarker这些都属于动态模版技术,HTML呢,直接就是静态模版技术,也许你会反问我可以用ajax来实现后台调用数据啊,可是我很担心你那页面的加载速度和用户体验,情况更严重的是,有些页面的效果是根据后台数据或参数来展示的,对于你的这个想法,持保留意见。。。 从加载速度方面来说,并没有想像中那么慢,在Chrome和Firefox上速度飞快,加载HTML的时候根本感觉不到它做了些什么,只是在IE上不太理想,页面巨大的话有时候确实会卡一下,不过随着IE版本的更新这个情况可能会慢慢解决掉。 用户体验方面感觉比原来刷页面的方式好的多,Ajax与后台交互,所以根本看不到讨厌的500错误页面了,用JS处理好后台返回的错误,提示信息更加易懂。 至于页面显示内容与数据库有关的问题,这都是交给后台组织好数据用JSON返回的,例如:{userid:1,operation: {'查询'}}和{userid:2,operation: {'查询','删除'}}之类,这样JS拿到JSON数据之后就知道该怎么构建页面了,当然,这些页面元素级的控制,完全可以放到数据库中去,动态的实时控制用户权限。 ######楼主说的情况跟extjs一样,抛弃动态页面,所有数据用js控制,展现,IE处理js虽然慢一点,但这是可控的,在加载的时候给个loading图片用户看起来比浏览器加载动态页面效果好些。要是js功底好,还可以写一些特效,用户体验就更好了。######+freemarker###### 看情况啊,可以有。 不过你说的情况,也有很多,尤其是网站很大,甚至页面的不同部分都是不同的小组做的话。 这时候不用落伍的iframe,就用ajax,jsonp了。 ###### 引用来自“闫晓沛”的答案 +freemarker 是直接访问freemarker的模板吗?这样也确实可以代替JSP,不过还是得走一下Java容器,感觉不如直接让Apache处理HTML的好 ###### 这个真可以有,JSP、Velocity、Freemarker这些都属于动态模版技术,HTML呢,直接就是静态模版技术,也许你会反问我可以用ajax来实现后台调用数据啊,可是我很担心你那页面的加载速度和用户体验,情况更严重的是,有些页面的效果是根据后台数据或参数来展示的,对于你的这个想法,持保留意见。。。 ######回复 @lovinglily : ”世界上不会有一个页面是预先设计好的,因为它有数据“乔布斯说的######意思是,静态页面预先设计好布局的话,并不是根本意义上根据后台数据动态改变,这对页面数据显示有影响是吧..######你能保证所有用户的浏览器都能处理你的这些数据?######跨浏览器确实是一个大问题,可以借助jQuery这样的JS库来解决,虽然有些时候也不是很完美,但是够用了######对于jsp freemarker 等之类的都是属于动态模板,要知道它们最终都是翻译成html代码给浏览器,所以没有替代这种说法。只能说哪种情况更适合你的应用了。如果动态交互更多 且动态判断多的情况下 你用ajax动态请求的方式显得很蹩脚,这中间有个取舍和平衡点######同意你的观点###### 引用来自“爪哇老妖”的答案 这个真可以有,JSP、Velocity、Freemarker这些都属于动态模版技术,HTML呢,直接就是静态模版技术,也许你会反问我可以用ajax来实现后台调用数据啊,可是我很担心你那页面的加载速度和用户体验,情况更严重的是,有些页面的效果是根据后台数据或参数来展示的,对于你的这个想法,持保留意见。。。 我能保证所有用户浏览器都能处理服务器发给它的HTML,很难保证用户浏览器能处理我页面里的所有Ajax数据请求。 ######回复 @xmut : js不可能运行的很慢,就算被我们喷的无地自容的IE6,其实也是大量的js在运行。一个页面的js不可能很多,多到不能处理的地步,否则是本身就设计有问题的######啥年代了,还在纠结浏览器能不能运行js。######没错,这样的项目架构确实存在禁用JS之后玩不转的情况,但是现在有几个项目不用JS的呢,我们可以把“开启JS”作为项目运行必需的环境提出来######确实!楼主把页面控制逻辑全部交给javascript,万一客户端javascript被禁用,或者javascript运行速度很慢,这反而影响了客户体验!######有还是没有 ,看项目的需要,没有不能替代的技术方案。

爱吃鱼的程序员 2020-06-04 16:49:07 0 浏览量 回答数 0

回答

更换服务器~100个是单服务器最大的负荷了你用的是镶嵌式的,要选择服务器机组的那种~刀片式服务器~然后oracl数据库支持分开安装。同步处理~ 你肯定买的是架式服务器~######装ORACLE服务器是刀片式的,6核至强 24G的内存 应该不是服务器瓶颈######oracl装在独立的一台服务器上的话,只支持小形企业和地、市级企业运行 你说的情况,可以理解你的数据量非常庞大,,有可能是省、国家级的数据量了~~ 让你单位给你单独开个服务器房间,更换服务器机柜然后购买刀片式服务器做服务器阵列机组~######数据量倒不会太大,一天1G不到,问题是很多存储过程的逻辑很复杂,一条线程调用存储过程,要等待很久才会返回,直接导致工作线程速度很慢,数据进入速度太快,工作异常状态频繁出现。######必须要实时的存入数据库吗?不能先缓存到服务器,然后让服务器慢慢去处理吗?或者直接将数据记入日志,然后sqlload?######回复 @xinzaibing : 我想到一个蛋疼的方式:数据写文件,文件内容定期入库,程序定期读取数据库计算的结果缓存到内存中。不知道你具体需求,瞎琢磨一个。######回复 @asdfsx : 公司领导一致认为内存不可靠,断电、程序异常什么的...存在内存的数据就没了...真是蛋疼啊######回复 @xinzaibing : 如果数据量不大的话,还有一个方案就是都保存在内存里,然后定时把内存里的结果同步到数据库里。数据库的逻辑挪到程序里..........这个方案比较累啊。另外就是缓存可以加个优先级高低的判断。######目前要求是必须要实时入库,采取写日志文件的方法也可以。 这些数据有一个特点,在某一个时刻会有一个突然出现的峰值,然后又慢慢变少,但是这个时间是不固定的,由于只实用了一条双缓冲队列,所有需要紧急处理的数据和非紧急处理的数据都在队列里,而如果遇到非紧急数据,处理了很长的时间,就直接导致后面的紧急数据失效了...或者导致嵌入式程序判断服务端未收到数据,进而采取重发,导致一条队列里有非常多重复的数据。######我可能会使用数据写入日志文件,然后定时将日志入库的办法操作######大概意思可能是多线程对数据库表的操作导致数据表锁定,性能损失在内耗上了。。那数据表采用行级锁呢?(这样会增大系统开销)我是菜鸟,求教  ######回复 @xinzaibing : 这个应该是属于最初的设计问题,hohoho######回复 @asdfsx : 目前我也在往这方面考虑,如果数据分类处理。那就得大改结构了...唉######回复 @xinzaibing : 建议根据上传的不同数据进行不同的处理,不要一股脑的都放在缓存中,如果是心跳的话,应该立即响应,如果是要处理的数据的话,才需要进行缓存等待处理######ORACLE默认就是行级锁的应该.. 主要是数据的写入速度远远小于数据上传的速度,导致了缓存溢出,紧急数据不能得到及时处理,大量数据出现超时失效,无法对嵌入式的采集器程序作出及时的心跳相应和其他回复(因为都在队列中,无法处理,无心跳的话嵌入式采集器会误认为服务器断线)。最终导致单台服务器接入数据的嵌入式设备的数量太少,不满足需求。######去年刚毕业,由于公司小,一个人搞后台,压力太大啊...大家指指招呗~ @中山野鬼######今天到图书馆看了一本书《让Orcale跑的更快点》,上面说可以从如下几个方面优化: 数据库方面:建适当的索引,固定长度;查询条件比较尽量简化;不同的表放在不同的磁盘里…… 服务层:增大缓存,(有没有数据库连接池不知道你能用上不) 软件层:对Java使用PaperStatement 囫囵吞枣就记得这么多了。。。哭~~######非常感谢...我去看看这本书 :)######我不清楚你的数据采集的内容是什么。不过看的出,对实时性要求高。换我,基本上就一个思路。 1、做个前段服务器,什么事情都不干,只进行数据的压缩。然后所有数据库和计算操作,放到后端。 至于并发,你这种 1W=100台服务器的方式治标不治本。######@中山野鬼 是说对数据进行预处理,提取有效内容?还是就是zip?######回复 @asdfsx : 不一样的。而是数据压缩。采样数据中间,信息密度不会太大的。######老鬼的思路有点像我说的那个数据写日志文件,或者内存缓存定时入库...........都被否定了啊######@xinzaibing 还有一个建议,上传的数据加一个验证,如果上传的数据已经插入缓存,就不要再次插入了。无脑插入插到崩也不是什么好主意啊######回复 @asdfsx : 要回复的,要处理成功后才回复,存库失败或者某些异常导致服务端崩溃重启,就不进行回复,客户端会持续地进行重发,重发到一定次数后,存本地,等恢复正常后发送存本地的数据

kun坤 2020-06-09 11:56:38 0 浏览量 回答数 0

回答

1、nginx是web服务器的一种,除了可以缓存静态文件(html,js,css...)之外,还有别的功能吗?nginx这个缓存功能不要,直接从tomcat服务器上返回不是一样可以吗?用nginx和不用nginx区别在哪里?2、网上都说nginx性能好,内存占用少而且处理的并发连接数可以上万,我想问,就是性能再好,并发数再高,最后不还得转发给应用服务器(如tomcat服务)吗?如果用nginx做负载均衡,那么一万的并发请求可以负载到不同的应用服务器上,但是我观察通常情况下都不用nginx做负载均衡,而是使用硬件负载均衡器做负载更快,那这样的话,nginx收到的一万个并发请求全部转发给应用服务器,那么这个请求的响应速度最终不是还得取决于应用服务器吗?而且能不能接受一万的并发也得取决于应用服务器,跟nginx有毛关系啊,它只不过中间转了一下,不用也罢,他们说的nginx的高性能在哪里呢???网上把nginx都夸到天上去了,究竟是什么原因,非要用nginx??? “答案来源于网络,供您参考” 希望以上信息可以帮到您!

牧明 2019-12-02 02:16:30 0 浏览量 回答数 0

问题

云服务器 ECS Linux 磁盘进入自检模式的解决方法是什么

boxti 2019-12-01 21:59:22 1110 浏览量 回答数 0

回答

区别: 一、概念不同 1、数据是信息的表现形式和载体,可以是符号、文字、数字、语音、图像、视频等。 2、知识是符合文明方向的,人类对物质世界以及精神世界探索的结果总和。 二、特点不同 1、数据 数据可以是连续的值,比如声音、图像,称为模拟数据。也可以是离散的,如符号、文字,称为数字数据。 2、知识 1)隐性特征 说明:知识具备较强的隐蔽性,需要进行归纳、总结、提炼。 2)行动导向特征 说明:知识能够直接推动人的决策和行为,加速行动过程。 三、分类不同 1、数据 按性质分为 ①定位的,如各种坐标数据。 ②定性的,如表示事物属性的数据(居民地、河流、道路等)。 ③定量的,反映事物数量特征的数据,如长度、面积、体积等几何量或重量、速度等物理量。 ④定时的,反映事物时间特性的数据,如年、月、日、时、分、秒等。 2、知识 ①知道是什么的知识( Know - what) ,主要是叙述事实方面的知识。 ②知道为什么的知识(Know - why) ,主要是自然原理和规律方面的知识。 ③知道怎么做的知识(Know - how) ,主要是指对某些事物的技能和能力。 ④知道是谁的知识(Know - who) ,涉及谁知道和谁知道如何做某些事的知识。 联系: (1)数据是对客观事物记录下来的、可以鉴别的符号,这些符号不仅指数字,而且包括字符、文字、图形等等;数据经过处理仍然是数据。处理数据是为了便于更好地解释,只有经过解释,数据才有意义,才成为信息;可以说信息是经过加工以后、并对客观世界产生影响的数据。 (2)在管理过程中,同一数据,每个人的解释可能不同,其对决策的影响可能不同。结果,决策者利用经过处理的数据做出决策,可能取得成功,也可能失败,这里的关键在于对数据的解释是否正确,即:是否正确地运用知识对数据做出解释,以得到准确的信息。

保持可爱mmm 2019-12-02 03:09:41 0 浏览量 回答数 0

回答

当然要批量导入啊。 excel转换成特定SQL文件然后导入数据库。 这里去重,可以考虑一张临时表。 然后插入数据可以使用如mysql的ignore : insert ignore into table_main(id,phone,other)  select id,phone,other from table_temp_uuid; ###### 引用来自“vvtf”的评论 当然要批量导入啊。 excel转换成特定SQL文件然后导入数据库。 这里去重,可以考虑一张临时表。 然后插入数据可以使用如mysql的 ignore : insert ignore into table_main(id,phone,other)  select id,phone,other from table_temp_uuid; 临时表方案靠谱。###### 首先,判断重复用数据库的uniq来做(程序里处理uniq的报错),而不是自己写代码另外去判断。 大数据量的导入建议用csv,读一行导一行,内存占用小。如果非要用excel,记得服务器内存要设置大点。 ######你说的那两个字段加入唯一约束 . 然后开启事务,循环插入,如果插入失败,则改为更新(或你自己的逻辑). 这样快,但肯定很消耗CPU. ######为什么不在list里面去重,再一次导入######这样数据库只需要批量插入的时候维护一次索引,如果修改的其他字段没建索引,那么update是不需要维护索引的######看能不能插入之前拆出2个list,一个是重复的,一个是不重复的(这样拆之前需要select……for update,防止其他事务修改数据)###### 引用来自“death_rider”的评论 为什么不在list里面去重,再一次导入 赞同。具体设计问题不明确不好给意见。不过系统和算法设计中有点是可以肯定的:逻辑处理和数据载入尽量分开。 在单纯的算法设计中,往往不会去考虑数据迁移的成本,这是比较理科的分析方式,而在系统开发过程中,数据迁移的成本是必须要考虑的,这是工程化的必然。 数据迁移,这里是广义上的,包括,数据的转移,从磁盘到外部存储(主板上所谓的内存),从外部存储到片内存储(soc,cpu的内部cache,差异在于无需外部总线);也包括,通过网络在不同处理设备之间的转移;同时还包括数据的结构调整,如数据清洗在逻辑层面的工作。 楼主应该考虑数据的预清洗或后处理。当然具体用哪种更合适,还要自己根据数据的来源,数据之间的关联性,数据处理的实时性等要求来判断。 哈,反正是个系统设计层面的工作。不是工具选择层面的事务。 ######回复 @首席打酱油 : 把需要比对的,做md5等散列数据,可把大概率数据测出来。只有命中时才进行比对。这些工作,需要额外的数据组织,同时需要额外的编程。这些数据过滤的算法,如果用c我看不出有啥太大计算量。######目测楼主说的不能重复不仅是指Excle中的数据不能重复,而且还要Excel中的数据和现有数据库中的数据不能重复,所以不能单纯的把Excle中的数据加载到List中内存去重###### 引用来自“vvtf”的评论 当然要批量导入啊。 excel转换成特定SQL文件然后导入数据库。 这里去重,可以考虑一张临时表。 然后插入数据可以使用如mysql的 ignore : insert ignore into table_main(id,phone,other)  select id,phone,other from table_temp_uuid; 一般怎么把EXCEL转换成SQL文件呢?######如果你的excel本来就是符合load data infile的文件格式, 都不需要解析的。######就是解析excel啊。所以这个方案的耗时也就是解析excel这里。当然这可能也浪费不了多少时间的。 我这里是对MySQL的方案。 解析成对应的MySQL能解析的。比如load data infile。 或者批量insert也行。 然后source。6W条瞬间插入的。######数据直接用com接口导出(服务器处理),分布式处理也行,但是不做任何处理,极限速度,10w体积很小的,1m?连1个高清png的大小都没有,数据也是可以压缩的,重复的数据会压缩很多,上传和带宽不是瓶颈,主要是数据逻辑处理和数据库瓶颈,你处理的时候解析到内存,一个瓶颈,倒入数据库又temp table,还是内存,数据库的内存,又一个瓶颈######你要懂服务器编程才行啊,很多处理单机导出数据还可以,服务器就不这么处理了,还有就是数据库,知道temp table,stor procedure,导入导出,那是数据库初级而已######主要问题在“ Excel文档转List花费4m”,只能异步了。

kun坤 2020-06-08 19:23:25 0 浏览量 回答数 0

问题

网站优化之提升访问速度的影响因素

chenchuan 2019-12-01 21:01:05 7177 浏览量 回答数 0

问题

网站优化之提升访问速度的影响因素

chenchuan 2019-12-01 21:37:28 3707 浏览量 回答数 0

问题

荆门开诊断证明-scc

游客5k2abgdj3m2ti 2019-12-01 22:09:00 1 浏览量 回答数 0

问题

聊聊JStorm的最佳实践

爵霸 2019-12-01 21:54:49 3569 浏览量 回答数 0

问题

程序为什么会超时? 7月4日 【今日算法】

游客ih62co2qqq5ww 2020-07-06 23:15:34 113 浏览量 回答数 1

回答

你缓存的目的是干什么?我感觉你是好几个场景。######回复 @foodon : 上面那只是一个简单的举例而已 主要问题就是在查询列表!######回复 @SandKing : 缓存是为了加快常用功能的速度,但你这几个加到缓存的内容我没弄清作用。我猜想:1、以uid为key缓存用户是为了经需要用户的信息;2、以username为key缓存password是为了登陆;3、这就弄不懂是什么场景了。######缓存的目的 但然是让查询更快啊######没有人么  这么快 就要沉了。。。###### 是这个样子的 缓存的确是要让查询更快,但是缓存主要是为了多次查询的某一条记录做的 比如说99%的用户需要查询第99条记录,那么把这条记录写入缓存是比较好的方案 但是缓存是有局限性的,像你要统计全表有多少的2类用户,这不可以用缓存来做的,因为这里涉及到的记录是全表中的记录,所以你的问题2是不合适的,因为如果要实现这个功能就不要用缓存做 再一个一般缓存应该不是用时间触发超时的,一般是在每次你向缓存中插入一条记录的时候统计当前缓存中的记录条数,如果达到了缓存大小的极限,那么会用一种选择算法把其中的一条记录去掉。记住这里是向缓存中插入记录,不是所有插入记录的情况。对数据库写操作的时候要直接操作数据库的,只有读操作才经过缓存,而且如果是update的话要判断是不是某条记录与缓存中记录不一样了,那样要修改缓存中的记录。其实对于哪些记录要进缓存也是要用算法判断的,选择大多数用户会查询而且一般不修改的是比较好的可以进缓存的记录。 加缓存的问题很多的,建议查oracle数据库缓存的原理。数据库也是有缓存的,一般不用我们来在程序内设置缓存,如果你想要这方面的知识那么看看oracle缓存一些基本的原理吧。 ######如果一个玩家上线 要保证他的所有请求都比较快,所有的请求都不能超过20毫秒 20毫秒中要包括你的业务逻辑+数据查询等等######你说的这种是对要求不是特别高的情况,我们在做游戏的时候你更具用户要查询一个用户的列表什么的。对查询速度要求比较高! 我要做的是查询 全查询缓存 ,插入 更新 同时修改缓存和数据库###### 不建议用缓存,根本就是根据索引查对象。。 没有达到缓存的基本要求。。 ######这样做 比你查询库 快太多太多了######你是做的缓存吗?怎么这么复杂?缓存一个对象不可以吗?不太理解你的需求。###### 你这等于就是把缓存做数据库来用,所以那个超时移除可以去掉了. 至于那些不常用的数据,可以想办法做到要用到时加载,不用时剔除,这块才是你需要设计的地方,比如说针对这种数据启用超时. ######基本上就是这个意思! 用的时候加载OK没问题,不用时剔除这个就会出现我上面说的这个情况了!###### 引用来自“李三乎”的答案 是这个样子的 缓存的确是要让查询更快,但是缓存主要是为了多次查询的某一条记录做的 比如说99%的用户需要查询第99条记录,那么把这条记录写入缓存是比较好的方案 但是缓存是有局限性的,像你要统计全表有多少的2类用户,这不可以用缓存来做的,因为这里涉及到的记录是全表中的记录,所以你的问题2是不合适的,因为如果要实现这个功能就不要用缓存做 再一个一般缓存应该不是用时间触发超时的,一般是在每次你向缓存中插入一条记录的时候统计当前缓存中的记录条数,如果达到了缓存大小的极限,那么会用一种选择算法把其中的一条记录去掉。记住这里是向缓存中插入记录,不是所有插入记录的情况。对数据库写操作的时候要直接操作数据库的,只有读操作才经过缓存,而且如果是update的话要判断是不是某条记录与缓存中记录不一样了,那样要修改缓存中的记录。其实对于哪些记录要进缓存也是要用算法判断的,选择大多数用户会查询而且一般不修改的是比较好的可以进缓存的记录。 加缓存的问题很多的,建议查oracle数据库缓存的原理。数据库也是有缓存的,一般不用我们来在程序内设置缓存,如果你想要这方面的知识那么看看oracle缓存一些基本的原理吧。 呃,你现在做的都是数据库要做的功能啊。数据库本身是有缓存功能的。你们没有数据库工程师么,这些不应该是代码里要考虑的内容啊。你的总的要求就是要快速的进行数据查询,这应该是数据库里存储过程的功能啊。 平时用代码写的话做个小的缓存自己用还可以,要这样大型的用数据库自己来处理是最好的。 如果非要自己做的话,可以借鉴memDB的思路,我们可以在内存中虚拟一个数据库,按照jdbc driver的接口实现存储在内存中的数据库,你可以让一个专门的服务器用来定期把修改写入本地数据库。 这种情况真心不建议自己做缓存

kun坤 2020-06-11 14:01:26 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 阿里云双十一主会场 阿里云双十一新人会场 1024程序员加油包 阿里云双十一拼团会场 场景化解决方案 阿里云双十一直播大厅