1 GeoAnalyticsServer分布式部署架构图
此次使用三台机器进行矢量大数据服务器分布式部署,与单机部署不同,此次部署剥离比较消耗硬件资源的大数据计算节点、存储节点,这两节点均可在后续进行横向扩展。
2 准备工作
2.1 配发虚拟机说明
此次分布式安装部署的三台机器已拷贝至\\192.168.0.111\nas3\ant\Archive目录。三台机器已预先安装好了操作系统、拷贝了软件安装包及许可文件。文件存放于/home/esrixa/arcgis1051。
在架构图中机器与虚拟机对应如下:
1、esrixa.portal.com对应虚拟机名为ArcGIS Enterprise
2、ga1.portal.com对应的虚拟机名为ga1
3、es1.portal.com对应的虚拟机名为es1
2.2 软件准备
一、 Linux操作系统
CentOS-7,安装包CentOS-7-x86_64-DVD-1511.iso
二、 JDK
JDK8,安装包jdk-8u151-linux-x64.tar.gz
三、 Web容器
Tomcat 8.5.23,安装包apache-tomcat-8.5.23.zip
四、 ArcGIS软件
a) Portal for ArcGIS 10.5.1(Linux),安装包:
Portal_for_ArcGIS_Linux_1051_156440.tar.gz
b) ArcGIS Server 10.5.1(Linux) ,安装包:
ArcGIS_Server_Linux_1051_156429.tar.gz
c) WebAdaptor 10.5.1(Linux) ,安装包:
Web_Adaptor_Java_Linux_1051_156442.tar.gz
d) ArcGIS DataStore 10.5.1(Linux) ,安装包:
ArcGIS_DataStore_Linux_1051_156441.tar.gz
3 部署步骤
3.1 安装操作系统
三台机器安装CentOS7,步骤略。
3.2 用户组创建
[root@esrixa home]#groupadd arcgis
[root@esrixa home]#useradd -g arcgis -m arcgis
[root@esrixa home]#passwd arcgis
3.3 拷贝软件安装包
将各安装包移动至/home/arcgis/arcgis1051。
[root@esrixa home]# mv/home/esrixa/arcgis1051 /home/arcgis/
3.4 解压缩软件安装包
解压缩.tar.gz结尾的各安装包待用。
[root@esrixa home]# tar-zxvf包名
解压缩.zip结尾的安装包待用。
[root@esrixa home]# unzip
3.5 机器名配置
ArcGISEnterprise的安装要求计算机名是完全限定域名的形式。这一修改可通过编辑/etc/hostname和/etc/hosts两个文件实现。
3.5.1 编辑/etc/hostname
[root@esrixa home]# vim/etc/hostname
在文件写入机器名,此处以esrixa机器为例,写入esrixa.portal.com
3.5.2 编辑/etc/hosts
[root@esrixa home]# vim/etc/hosts
文件内容如下:
127.0.0.1 localhost
192.168.0.128esrixa.portal.com
192.168.0.129ga1.portal.com
192.168.0.130es1.portal.com
3.6 网络配置
3.6.1 修改IP
[root@esrixa home]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736
修改以下内容
BOOTPROTO=dhcp
修改为
BOOTPROTO=static
增加如下内容
IPADDR=192.168.0.128
GATEWAY=192.168.0.2
DNS1=192.168.0.2
重启网络服务
[root@esrixa home]# servicenetwork restart
重启网络服务(新命令)
[root@esrixa home]# systemctlrestart network.service
3.6.2 测试网络
[root@esrixa home]# ping www.baidu.com
若有数据包返回,则网络配置成功。
3.6.3 附:VM虚拟机网络配置
点击“虚拟网络编辑器”
点击“更改设置”
配置VMnet8为NAT模式,IP段填写为192.168.0.0,子网掩码255.255.255.0。
3.7 修改文件权限
chmod -R 777/home/arcgis/arcgis1051
3.8 关闭防火墙
关闭三台机器防火墙。
[root@esrixa home]# systemctl stop firewalld.service
3.8.1 禁用防火墙开机启动
[root@esrixa home]# systemctl disable firewalld.service
3.9 安装和配置ArcGIS for Server
3.9.1 编辑/etc/security/limits.conf
[root@esrixa home]# vim /etc/security/limits.conf
添加如下内容:
arcgis soft nofile 65535
arcgis hard nofile 65535
arcgis soft nproc 25059
arcgis hard nproc 25059
安装ArcGIS for Server
切换至arcgis账户
[root@esrixa home]# suarcgis
3.9.2 安装
[arcgis@esrixa home]$./Setup -m console
一路回车,显示如下信息,说明安装成功。
Congratulations. ArcGISServer10.5 has beensuccessfully installed to: /home/arcgis/arcgis/server You will be able toaccess ArcGIS Server Manager by navigating tohttp://agsenterprise.esrichina ... ager. PRESS <ENTER> TOEXIT THEINSTALLER:
3.9.3 配置
创建站点步骤略。
3.10 安装和配置Portal for ArcGIS
3.10.1 安装
[arcgis@esrixa home]$ cdPortalForArcGIS/
[arcgis@esrixa home]$./Setup -m console
如显示如下信息,说明安装成功。
Congratulations. Portalfor ArcGIS 10.5 has beensuccessfully installed to: /home/arcgis/arcgis/portal You will be able toaccess Portalfor ArcGIS 10.5bynavigating tohttps://localhost:7443/arcgis/home.
3.10.2 配置
创建新Portal略。
创建初始化账户略。
3.11 安装和配置ArcGIS DataStore
3.11.1 安装环境配置
设置vm.swappiness和vm.max_map_count的值,以满足时空大数据分析需要。
[root@esrixa arcgis]# echo 'vm.max_map_count = 262144' >>/etc/sysctl.conf
[root@esrixa arcgis]# echo 'vm.swappiness = 1' >> /etc/sysctl.conf
运行命令使上述变更生效
[root@esrixa arcgis]#/sbin/sysctl -p
3.11.2 安装
切换到arcgis账户
[root@esrixa arcgis]# su – arcgis
安装
[arcgis@esrixa ~]$ cdArcGISDataStore_Linux/
[arcgis@esrixaArcGISDataStore_Linux]$ ./Setup -m silent -l Yes
3.11.3 配置
有两台机器需要安装DataStore,一台是esrixa.portal.com,一台是es1.portal.com。esrixa.portal.com配置关系型,es1.portal.com配置时空大数据存储。
3.11.3.1 esrixa.portal.com下的DataStore配置
3.11.3.2 es1.portal.com下的DataStore配置
3.12 安装Web Adaptor
WebAdaptor需要Web容器来进行配置,在Linux下可以选择Tomcat进行部署,为了安装Tomcat,必须先安装JDK,而CentOS7操作系统自带OpenJDK,我们需要先卸载OpenJDK,安装Sun公司的JDK后,再进行Tomcat、WebAdptor的配置。
3.12.1 卸载OpenJDK安装SunJDK
3.12.1.1 查看自带的OpenJDK
[root@esrixa arcgis]# java -version
显示JDK为 openjdk,版本为”1.8.0_65”
3.12.1.2 查询已安装的JDK包
[root@esrixa arcgis]# rpm -qa|grep java
3.12.1.3 删除OpenJDK
注意,nodeps前有两个“-”。
[root@esrixa arcgis]# rpm -e –nodeps java-1.7.0-openjdk-headless
[root@esrixa arcgis]# rpm -e –nodeps java-1.7.0-openjdk
[root@esrixa arcgis]# rpm -e –nodeps java-1.8.0-openjdk-headless
[root@esrixa arcgis]# rpm -e –nodeps java-1.8.0-openjdk
3.12.1.4 检测是否删除成功
[root@esrixa arcgis]# java -version
如显示下图说明已成功删除。
3.12.2 安装SunJDK
3.12.2.1 拷贝JDK
将JDK安装包内容拷贝至/usr/local目录
[root@esrixa arcgis]# mv /jdk1.8.0_151 /usr/local
3.12.2.2 配置JDK环境变量
[root@esrixa arcgis]# vim/etc/profile
增加下列几行内容
JAVA_HOME=/usr/local/jdk1.8.0_151
JRE_HOME=/usr/local/jdk1.8.0_151/jre
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATH
export JAVA_HOMECLASSPATH PATH
使JDK环境变量配置生效
[root@esrixa arcgis]# source/etc/profile
3.12.2.3 验证JDK
[root@esrixa arcgis]# java-version
显示如下信息则说明配置成功
3.12.3 配置Tomcat
3.12.3.1 拷贝安装包
在/usr/local/下创建tomcat8文件夹
[root@esrixa home]# mkdir/usr/local/tomcat8
将tomcat安装包拷贝至/usr/local/tomcat8
[root@esrixa home]# mvapache-tomcat-8.5.23/* /usr/local/tomcat8
3.12.3.2 创建私钥和证书请求
[root@esrixa home]# openssl req -newkey rsa:2048 -nodes -keyout /usr/local/tomcat8/esrixa.key-x509 -days 365 -out /usr/local/tomcat8/esrixa.crt
填写内容,注意,CommonName这里一定要填写域名
Country Name (2 lettercode) [XX]:cn
State or Province Name(full name) :sx
Locality Name (eg, city)[Default City]:xa
Organization Name (eg,company) [Default Company Ltd]:arcgis
Organizational Unit Name(eg, section) :arcgis
Common Name (eg, yourname or your server's hostname) :esrixa.portal.com
Email Address :esrixa@esrichina.com.cn
3.12.3.3 创建自签名证书
[root@esrixa home]# openssl pkcs12 -inkey /usr/local/tomcat8/esrixa.key -in/usr/local/tomcat8/esrixa.crt -export -out /usr/local/tomcat8/esrixa.pfx
输入密码arcgis
3.12.3.4 配置Tomcat
开启https
[root@esrixa home]# vim/usr/local/tomcat8/conf/server.xml
修改为如下内容:
3.12.3.5 启动和验证Tomcat
修改root启动tomcat的权限。
[root@esrixa home]# chmod-R 777 /usr/local/tomcat8
启动tomcat
[root@esrixa home]# cd/usr/local/tomcat8/bin
[root@esrixa home]# ./startup.sh
验证tomcat
在浏览器中输入https://esrixa.portal.com
成功有如下界面:
3.12.4 安装WebAdaptor
[arcgis@esrixa home]# cd/usr/local/arcgis1051/WebAdaptor
[arcgis@esrixa home]# ./Setup-m silent -l yes
显示上图时,安装完成。
3.12.5 Web Adaptor配置
拷贝arcgis.war包至Tomcat下。
[root@esrixa home]# cp /home/arcgis/webadaptor10.5.1/java/arcgis.war
/usr/local/tomcat8/webapps/
[root@esrixa home]# cp /home/arcgis/webadaptor10.5.1/java/arcgis.war
/usr/local/tomcat8/webapps/server.war
arcgis.war用作Portal for ArcGIS的Web Adaptor,server.war用作ArcGIS Server的Web Adaptor。
3.12.6 验证Web Adaptor
浏览器输入
https://esrixa.portal.com/arcgis
https://esrixa.portal.com/server
若页面打开正常,则表明安装无误。大家自行对server及portal配置Web Adaptor
3.13 ArcGIS Enterprise配置
3.14 注册联合服务器
将esrixa.portal.com下的ArcGIS Server与ga1.portal.com下的ArcGIS Server注册为Portal的联合服务器。
备注:Server配置有webadaptor的,填写webadaptor的地址,ArcGIS Server没有webadaptor的,按如下填写。
3.15 配置托管服务器
将esrixa.portal.com下的ArcGIS Server配置为托管服务器。
3.16 配置大数据分析服务器
选择已联合的ga1.portal.com中的ArcGIS Server作为大数据分析服务器。
配置完成后,点击“保存”。
3.17 配置NFS
在没有共享存储的环境下,可以在局域网内配置NFS服务器做共享存储,但只建议用于测试环境,生产环境建议使用专业存储。
CentOS 7已经安装了nfs软件,只需要启动。在此次分布式部署中,将NFS服务器配置于es1.portal.com机器。
将/usr/local/nfstest文件夹作为共享内容,其他机器将此文件夹挂载至/data。
3.17.1 NFS服务器端配置
3.17.1.1 设置共享文件夹及共享权限
编辑/etc/exports
[root@es1 home]# vim /etc/exports
增加如下内容
/usr/local/nfstest*(insecure,rw,sync,no_root_squash)
3.17.1.2 启动服务
重启rpc服务
[root@es1 home]# systemctlrestart rpcbind.service
重启nfs服务
[root@es1 home]# systemctlrestart nfs.service
3.17.2 NFS客户端配置
查询可挂载内容
[root@ga1 home]#showmount -e 192.168.0.130
在esrixa.portal.com,ga1.portal.com两台机器上执行以下命令挂载。/data文件夹需要自己新建。/data在根目录下
[root@ga1 home]# mkdir/data
[root@ga1 home]# mount -tnfs 192.168.0.130:/usr/local/nfstest /data
3.18 配置NAS盘做共享存储
略
4 矢量大数据分析功能测试步骤
4.1 拷贝分析数据至共享存储
拷贝分析数据至共享目录,此案例中拷贝分析数据至es1.portal.com的“/usr/local/nfstest”下,测试数据可以发邮件至lizf@esrichina.com.cn跟我索要。
4.2 注册大数据文件共享
进入ArcGISServer manager页面,点击“站点”。
点击“DataStore”-“注册”-“大数据文件共享”
4.2.1 注册文件共享
填写如下内容:
注意:这里/nas为共享目录。“名称”不能随意起,这里填写的“taxi”对应着/data/taxi文件夹
填写完成后点击“创建”。
4.2.2 注册HDFS数据
填写格式参考默认格式即可。
4.2.3 注册Hive数据
填写格式参考默认格式即可。
4.3 编辑大数据共享
点击“编辑”。
选择刚才注册的数据集。
点击“选择字段”。选择“pickup_longitude”。
将其配置为空间字段,为X坐标。同样的,将“pickup_longitude”配置为Y坐标。
配置完成后,点击“保存”。
4.4 聚合点分析工具使用
登陆ArcGIS Enterprise,选择“地图”-“分析”-“GeoAnalytics工具”,选择“聚合点”工具。
点击“浏览图层”
点击“我的内容”,选择大数据文件。
填写参数,点击“运行分析”