高并发架构系列:Redis为什么是单线程、及高并发快的3大原因详解
Redis的高并发和快速原因
1.redis是基于内存的,内存的读写速度非常快;2.redis是单线程的,省去了很多上下文切换线程的时间;3.redis使用多路复用技术,可以处理并发的连接。非阻塞IO 内部实现采用epoll,采用了epoll+自己实现的简单的事件框架。
拉格朗日插值多项式的原理介绍及其应用
插值,不论在数学中的数值分析中,还是在我们实际生产生活中,都不难发现它的身影,比如造船业和飞机制造业中的三次样条曲线。那么,什么是插值呢?我们可以先看一下插值的定义,如下:
(定义)如果对于每个1≤i≤n,P(xi...
大数据实时流处理零数据丢失
大数据实时流处理零数据丢失
1.整体流程:
a)kafka:作为流处理程序的生产者
b)sparkStreaming:作为消费者,设置合理batch
c)DB:输出到redis/ES
2.存在问题:
雪崩效应: kill 出现,导致的数据丢失
sparkStreaming程序挂掉了,到知道的数据丢失
解决:
1.使用checkpoint。