redis性能优化
Redis性能优化
/proc/sys/net/core/somaxconn
sysctl vm.overcommit_memory=1
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 512 > /proc/sys/net/core/somaxconn
overcommit_memory参数说明:
设置内存分配策略(可选,根据服务器的实际情况进行设置)
/proc/sys/vm/overcommit_memory
可选值:0、1、2。
分布式爬虫scrapy+redis入门
利用分布式爬虫scrapy+redis爬取伯乐在线网站,网站网址:http://blog.jobbole.com/all-posts/
后文中详情写了整个工程的流程,即时是新手按照指导走也能使程序成功运行。
Scrapy结合Redis实现增量爬取
Scrapy适合做全量爬取,但是,我们不是一次抓取完就完事了。很多情况,我们需要持续的跟进抓取的站点,增量抓取是最需要的。
Scrapy与Redis配合,在写入数据库之前,做唯一性过滤,实现增量爬取。
如何查看yum 安装的软件路径(不要再忘了)
如何查看yum 安装的软件路径
今天使用yum 安装了一个软件,后来没有找到路径
1、首先安装一个redis
[root@iZbp1eem925ojwyx17ao9kZ ~]# yum install redis
2...
php redis 扩展安装
redis 手册
风来了.fox http://www.cnblogs.com/ikodota/archive/2012/03/05/php_redis_cn.html
WINDOWS 下扩展安装
下载
http://windows.php.net/downloads/pecl/snaps/redis/2.2.5/
例如:
我的本地环境是64位的,那么下载