开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第一阶段):网站流量日志埋点收集—系统部署环境搭建】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/693/detail/12180
网站流量日志埋点收集—系统部署环境搭建
内容简介
一、nginx 的安装步骤
二、系统环境部署
本节内容我们学习埋点收集数据的系统环境部署。整个环境部署的难点和重点就在于后端 nginx 服务器上。
一、nginx 的安装步骤
1.服务器中安装依赖(复制到 node-3中,需要确保机器联网)
yum -y install gcc perl pcre-devel openssl openssl-devel
然后回车,安装后会提示 already installed
2.上传 LuaJIT-2. 0. 4. tar. gz并安装LuaJIT
tar -zxvf LuaJlT-2.0.4.tar.gz -C /usr/ocal/src/
cd /usr/local/src/LuaJIT-2.0.4/
make && make install PREFIX=/usr/local/luajit
所有的安装包都在我们的 export/software 中,可以上传至此。
首先第一点需要解压 LuaJIT-2. 0. 4. tar. Gz 到 usr/ocal/src/,-C 表示把安装包解压到指定目录,如果不加-C 表示解压到当前目录。复制命令 tar -zxvf LuaJlT-2.0.4.tar.gz -C /usr/ocal/src/后在此页面解压
回车后
解压完成后可以发现这里的文件都是.c,.h 的 C 语言软件,然后把 cd /usr/local/src/LuaJIT-2.0.4/复制到里面,回车。
接下来进行 C 语言的安装,用 make 和 make install 进行编译安装,PREFIX=是用于指定编译安装的路径,复制make && make install PREFIX=/usr/local/luajit 到页面上回车
这时就可以开始 lua.jit 的编译,安装。
安装成功屏幕会显示 successfully installed,这时候还需要配置 luajit 的环境变量。
3.设置 LuaJIT 环境变量
vi /etc/profile
export LUAJIT_LIB=/usr/local/luajit/lib
export LUAJIT_INC=/usr/local/luajit/include/luajit-2.0
source /etc/profile
首先打开 vi /etc/profile 路径下的文件
然后开始编辑,复制 export LUAJIT_LIB=/usr/local/luajit/lib
export LUAJIT_INC=/usr/local/luajit/include/luajit-2.0
确认无误后保存,保存时需注意环境变量发生修改需要重新 source 命令加载,所以复制 source /etc/profile 重新加载。
4.创建 modules 文件夹,保存 nginx 依赖的模块
mkdir -P /usr/local/nginx/modules
将命令mkdir -P /usr/local/nginx/modules复制到页面中
5.上传 nginx 依赖的模块
set-misc-nginx-module-0.29.tar.gz
lua-nginx-module-0.10.0.tar.gz
ngx_ devel kit-0.2.19.tar.gz
echo-nginx-module-0.58.tar.gz
将依赖的模块直接解压到 modules 目录
tar-zxvf
lua-nginx-module-0.10.0.tar.gz-C /usr/local/nginx/modules/
tar-zxvf
set-misc-nginx-module-0.29.tar.gz-C /usr/local/nginx/modules/
tar-zxvf
ngx_devel
kit-0.2.19.tar.gz-C /usr/local/nginx/modules/
tar-zxvf
echo-nginx-module-0.58.tar.gz-C /usr/local/nginx/modules/
复制以上4个解压命令后执行
查看是否操作成功可以 cd/usr/local/nginx/modules/ 进行查看
6.安装 openresty
tar -zxvf openresty-1.9.7.3.tar.gz -C /usr/local/src/
cd /usr/local/src/openresty-1.9.7.3/
./configure--prefix=/usr/local/openresty --with-luajit && make && make install
首先用我们的 tar 命令解压,解压到指定目录下,所以复制 tar -zxvf openresty-1.9.7.3.tar.gz -C /usr/local/src/ 到下面页面中
解压之后cd /usr/local/src/openresty-1.9.7.3/
上面就是我们的 C 语言环境,需要编译,安装和检查我们的配置文件。
接下来复制.
/configure--prefix=/usr/local/openresty --with-luajit && make && make install 回车
这样就开始 openresty 编译安装工作
上图表示编译完成
7.安装 nginx.
tar zxvf nginx-1.8.1.targz -C /usr/local/src/
编译 nginx 并支持其他模块
cd /usr/local/src/nginx-1.8.1/
./configure --prefix=/usr/local/nginx \
--with-ld-opt-="-Wl,-rpath/usr/local/luajit/lib" \
--add-module=/usr/local/nginx/modules/ngx_devel_kit-0.2.19 \
--add-module=/usr/local/nginx/modules/lua-nginx-module-0.10.0\
--add-module=/usr/local/nginx/modules/set-misc-nginx-module-0.29\
--add-module=/usr/local/nginx/modules/echo-nginx-module-0.58
make -j2
make install
首先 cd/export/software 中,复制 tar zxvf nginx-1.8.1.targz -C /usr/local/src/ 进行解压,解压完成后 cd 进入刚才解压 nginx 目录下 cd /usr/local/src/nginx-1.8.1/ ,接下来进行编译安装,这里通过4个--add-module 命令把刚才解压的4个模块给它编译进来。
复制:
cd /usr/local/src/nginx-1.8.1/
./configure --prefix=/usr/local/nginx \
--with-ld-opt-="-Wl,-rpath/usr/local/luajit/lib" \
--add-module=/usr/local/nginx/modules/ngx_devel_kit-0.2.19 \
--add-module=/usr/local/nginx/modules/lua-nginx-module-0.10.0\
--add-module=/usr/local/nginx/modules/set-misc-nginx-module-0.29\
--add-module=/usr/local/nginx/modules/echo-nginx-module-0.58
为了保证不出错,重新打开一个新的文本文档,将命令复制在里面,因为从 word 或 pdf 复制下的命令可能会有特殊的符号进而影响编译。
经过文本文档过滤排除不必要符号后再复制进行编译
接下来是编译和编译安装:
make -j2中j理解为如果项目C语言比较大,可以开启多个编译命令同时执行。
将 make && make install 写入就可以开始编译安装
这时的 nginx 就不再是普通的 nginx,而是被 openresty 平台作为一个插件融合了一些模块的 nginx。
以上所有完成后就表示 node-3环境编译完成,之后启动 nginx 等就可以进行接受解析工作。
二、系统环境部署
首先第一点要明确 nginx 是一款用 c 语言开发的程序,所以就需要进行编译和安装。第二点,这个 nginx 不是普通的 nginx,而是基于 lua 特殊的 nginx,所以要针对它的模块,整个平台 openresty 进行编译安装。
接下来结合原理图学习系统如何安装部署:
在这里我们选取两台服务器,一个 node-1,一个 node-3,一个用来模拟网站正常的页面,对外提供服务,另一个用于模拟后台进行数据的收集。
首先看 node-3,是后端进行收集数据的服务器,主要部署的就是特殊版的基于 lua 的 nginx。
其次是前端 node-1,使用 apache server (httpd) ,因为它是轻量级的 web 服务器,简单易用,用yum install httpd 进行在线安装。
用 service httpd start|stop 进行启动和关闭。
这里大量涉及在服务器上的运维操作,安装软件,尤其涉及c语言的软件,课程学习中理清架构图的同时认真理解当前所做的步骤在哪一步,哪一台机器上安装什么。