【nginx+lua高性能web应用开发(二):开发评论模块(ssi+mysql)】

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 开发这个模块,是为了解决项目中的实际问题,思考设计的 。本文原文连接: http://blog.csdn.net/freewebsys/article/details/16944917 转载请注明出处!前言:参考了下ngx_lua,Node.js,PHP三个进行的压测对比。http://bluehua.org/demo/php.node.lua.htmlngx_lua   Time p

开发这个模块,是为了解决项目中的实际问题,思考设计的 。


本文原文连接: http://blog.csdn.net/freewebsys/article/details/16944917 转载请注明出处!

前言:


参考了下ngx_lua,Node.js,PHP三个进行的压测对比。
http://bluehua.org/demo/php.node.lua.html

ngx_lua   Time per request: 3.065 [ms]
Node.js   Time per request: 3.205 [ms]
PHP      Time per request: 5.747 [ms]



从各种性能测试来说ngx_lua似乎在CPU和内存上更胜一筹,同时
ngx_lua出奇的资源消耗比较稳定,不像php那样波动比较大。
ngx_lua和Node.js几乎比php快接近1倍。
同时ngx_lua模型也是单线程的异步的事件驱动的,工作原理和nodejs相同,
代码甚至比nodejs的异步回调更好写一些。
对于ngx的运维和配置相对比nodejs来说更加熟悉和有经验。


1,总体设计思路



完全基于nginx层实现,nginx要开启ssi。
(Server Side Includes: http://wiki.nginx.org/HttpSsiModule
以最快的速度展示页面,使用ssi直接读取数据,不是ajax返回。
服务端使用lua读取数据库内容并显示。




对应用的评论,使用mysql分区,按照itme_id进行hash。
设置成1024个分区,以后方便进行拆库。保证每一个表的数据都不是很大。
(1024)是mysql能设置的最大分区数量。


流程:

ningx 请求 /blog/201311/127.html(博客内容已经静态化了。)




使用ssi将url里面的参数获得调用lua评论模块



lua评论模块,读取数据库。(如果压力大,可以进行拆库,做cache)


2,主要代码

local mysql= require("resty.mysql")
--评论查询.
local function query_mysql(sql)
	local db = mysql:new()
	db:connect{
		host = "127.0.0.1",
		port = 3306,
		database = "test",
		user = "root",
		password = "root"
	}
	local res, err, errno, sqlstate = db:query(sql)
	--使用数据库连接池。保持连接.
	db:set_keepalive(0, 100)
	return res
end

local comment_li = [[

<li id="cmt_" class="row_1">
	<table width=""><tr>
		<td class="portrait">
			<a href="" name="rpl_277051035" class="ShowUserOutline"><img src="http://www.oschina.net/img/portrait.gif"></a>
		</td>
		<td class="body">
			<div class="r_title">
				%s楼:<b>%s</b>  发表于%s
			</div>
			<div class="r_content TextContent">%s</div>
		</td></tr>
	</table>
</li>

]]

--设置顶部内容.
local comment_html = [[

<div class="Comments" id="userComments">
<h2>
	<a name="comments" href="#" class="more">回到顶部</a>
	<a href="#CommentForm" class="more" style="margin-right:10px;color:#ff3;">发表评论</a>
	网友评论,共 %s条
</h2>
<ul>
%s
</ul>
	<ul class="pager">
		%s
    </ul>
</div>

]]

--设置循环li
local page_li = [[
<li class="page %s"><a href="?start=%s#comments">%s</a></li>
]]
--输入参数 count start limit ,总数,开始,分页限制
local function page(count,start,limit)
	--print(count,start,limit)
	local page = math.ceil(count/limit)
	local current_page = math.floor(start/limit) + 1
	--判断当前页面不超出分页范围.
	current_page = math.min(current_page,page)
	current_page = math.max(current_page,1)
	local is_first = ( current_page == 1 )
	local is_last = ( current_page == page )
	--打印页数,开始,结束.
	local page_offset = 3
	local start_page = math.max(current_page - page_offset ,1)
	local end_page = math.min(current_page + page_offset ,page)
	local page_html = ""
	if not is_first then
		page_html = page_html..[[<li class="page prev"><a href="?start=]]
		page_html = page_html..(current_page-2)*limit
		page_html = page_html..[[#comments"><</a></li>
		]]
	end
	for i = start_page , end_page  do
		local tmp_current = ""
		if current_page == i then
			tmp_current = "current"
		end
		local tmp_div = string.format(page_li,tmp_current,(i-1)*limit,i)
		page_html = page_html..tmp_div
	end
	if not is_last then
		page_html = page_html..[[<li class="page next"><a href="?start=]]
		page_html = page_html..current_page*limit
		page_html = page_html..[[#comments">></a></li>
		]]
	end
	return page_html
end

--接收参数。
local uri = ngx.var.arg_uri
--使用正则过滤url中的参数。
local year,item_id = string.match(uri,"/blog/(%d+)/(%d+).html")
local start = string.match(uri,"start=(%d+)") or "0"

start = tonumber(start)--将字符串转换成数字。
local limit = 10
--拼接sql。

local count_sql = " select count(*) as count from comment where item_id = "..item_id
local count = query_mysql(count_sql)

if count and #count > 0 then
	--对数据进行赋值.
	count  = count[1].count
else
	count = "0"
end
count = tonumber(count)--将字符串转换成数字。

local sql = " select id,uid,content,create_time from comment where item_id = "..item_id.." limit "..start..","..limit
local res = query_mysql(sql)

local comment_lis = ""
for key,val in pairs(res) do
	local id = val["id"]
	local uid = val["uid"]
	local content = val["content"]
	local create_time = val["create_time"]
	--拼接字符串.
	comment_lis = comment_lis..string.format(comment_li,key,uid,create_time,content)
end

local page_lis = page(count,start,limit)
local html = string.format(comment_html,count,comment_lis,page_lis)
ngx.say(html)

代码将功能实现了。后续可以拆分成多个模块。其中生成分页部分比较复杂。

运行效果:使用了oschina的页面样式。

其中/blog/201311/127.html是静态html页面。

速度超级快。



3,nginx配置

参考:
http://wiki.nginx.org/HttpSsiModule
http://wiki.nginx.org/HttpCoreModule


    gzip  on;
    ssi on;
    root /data/comment;
location /blog/list_comment {
default_type 'text/html';
content_by_lua_file '/data/comment/list_comment.lua';
    }
location /blog/save_comment {
default_type 'text/html';
content_by_lua_file '/data/comment/save_comment.lua';
    }




在静态页面中增加ssi代码,这样就可以把uri当做参数传递了。
<!--# include virtual="/blog/list_comment?uri=$request_uri" -->

4,mysql修改打开文件数

因为开启了分区,所以读取文件数量肯定会多。
用ulimit -n查看打开文件数量。如果是1024,修改配置:


/etc/security/limits.conf 然后重启系统
* soft    noproc  65536
* hard    noproc  65536
* soft    nofile  65536
* hard    nofile  65536

然后修改my.conf配置文件:
vi /etc/my.cnf 

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
symbolic-links=0
open_files_limit=65536


重启mysql生效,查看参数:
mysql> show variables like 'open%';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| open_files_limit | 65536 |
+------------------+-------+
1 row in set (0.00 sec)

数据库表,按照设计成分区表。将数据分散。


CREATE TABLE `comment` (
  `id` int(11) NOT NULL auto_increment COMMENT '主键',
  `item_id` int(11) NOT NULL COMMENT '评论项id',
  `uid` int(11) NOT NULL default '0' COMMENT '评论用户',
  `content` text NOT NULL COMMENT '内容',
  `create_time` datetime NOT NULL  COMMENT '创建时间',
  PRIMARY KEY  (`item_id`,`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8
PARTITION BY HASH (`item_id`)
PARTITIONS 1024;



插入测试数据:
insert into comment(`item_id`,content,create_time) values(127,CONCAT("conent test ",RAND()*1000),now());

源代码放到github上了。


https://github.com/luapkg/comment/

继续完善评论模块。


本文原文连接: http://blog.csdn.net/freewebsys/article/details/16944917 转载请注明出处!

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
设计模式 前端开发 数据库
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第27天】本文介绍了Django框架在Python Web开发中的应用,涵盖了Django与Flask等框架的比较、项目结构、模型、视图、模板和URL配置等内容,并展示了实际代码示例,帮助读者快速掌握Django全栈开发的核心技术。
155 45
|
8天前
|
前端开发 安全 JavaScript
2025年,Web3开发学习路线全指南
本文提供了一条针对Dapp应用开发的学习路线,涵盖了Web3领域的重要技术栈,如区块链基础、以太坊技术、Solidity编程、智能合约开发及安全、web3.js和ethers.js库的使用、Truffle框架等。文章首先分析了国内区块链企业的技术需求,随后详细介绍了每个技术点的学习资源和方法,旨在帮助初学者系统地掌握Dapp开发所需的知识和技能。
2025年,Web3开发学习路线全指南
|
14天前
|
存储 前端开发 JavaScript
如何在项目中高效地进行 Web 组件化开发
高效地进行 Web 组件化开发需要从多个方面入手,通过明确目标、合理规划、规范开发、加强测试等一系列措施,实现组件的高效管理和利用,从而提高项目的整体开发效率和质量,为用户提供更好的体验。
25 7
|
19天前
|
开发框架 搜索推荐 数据可视化
Django框架适合开发哪种类型的Web应用程序?
Django 框架凭借其强大的功能、稳定性和可扩展性,几乎可以适应各种类型的 Web 应用程序开发需求。无论是简单的网站还是复杂的企业级系统,Django 都能提供可靠的支持,帮助开发者快速构建高质量的应用。同时,其活跃的社区和丰富的资源也为开发者在项目实施过程中提供了有力的保障。
|
18天前
|
开发框架 JavaScript 前端开发
TypeScript 是一种静态类型的编程语言,它扩展了 JavaScript,为 Web 开发带来了强大的类型系统、组件化开发支持、与主流框架的无缝集成、大型项目管理能力和提升开发体验等多方面优势
TypeScript 是一种静态类型的编程语言,它扩展了 JavaScript,为 Web 开发带来了强大的类型系统、组件化开发支持、与主流框架的无缝集成、大型项目管理能力和提升开发体验等多方面优势。通过明确的类型定义,TypeScript 能够在编码阶段发现潜在错误,提高代码质量;支持组件的清晰定义与复用,增强代码的可维护性;与 React、Vue 等框架结合,提供更佳的开发体验;适用于大型项目,优化代码结构和性能。随着 Web 技术的发展,TypeScript 的应用前景广阔,将继续引领 Web 开发的新趋势。
33 2
|
1月前
|
缓存 前端开发 JavaScript
构建高性能与用户体验并重的现代Web应用
构建高性能与用户体验并重的现代Web应用
40 5
|
1月前
|
前端开发 API 开发者
Python Web开发者必看!AJAX、Fetch API实战技巧,让前后端交互如丝般顺滑!
在Web开发中,前后端的高效交互是提升用户体验的关键。本文通过一个基于Flask框架的博客系统实战案例,详细介绍了如何使用AJAX和Fetch API实现不刷新页面查看评论的功能。从后端路由设置到前端请求处理,全面展示了这两种技术的应用技巧,帮助Python Web开发者提升项目质量和开发效率。
44 1
|
1月前
|
XML 安全 PHP
PHP与SOAP Web服务开发:基础与进阶教程
本文介绍了PHP与SOAP Web服务的基础和进阶知识,涵盖SOAP的基本概念、PHP中的SoapServer和SoapClient类的使用方法,以及服务端和客户端的开发示例。此外,还探讨了安全性、性能优化等高级主题,帮助开发者掌握更高效的Web服务开发技巧。
|
1月前
|
安全 数据库 开发者
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第26天】本文详细介绍了如何在Django框架下进行全栈开发,包括环境安装与配置、创建项目和应用、定义模型类、运行数据库迁移、创建视图和URL映射、编写模板以及启动开发服务器等步骤,并通过示例代码展示了具体实现过程。
51 2
WK
|
1月前
|
安全 Java 编译器
C++和Java哪个更适合开发web网站
在Web开发领域,C++和Java各具优势。C++以其高性能、低级控制和跨平台性著称,适用于需要高吞吐量和低延迟的场景,如实时交易系统和在线游戏服务器。Java则凭借其跨平台性、丰富的生态系统和强大的安全性,广泛应用于企业级Web开发,如企业管理系统和电子商务平台。选择时需根据项目需求和技术储备综合考虑。
WK
67 0