DSS 部署环境需求清单

DSS系统需求

项目地址

https://github.com/WeBankFinTech/DataSphereStudio

计算资源计算基准：

1.日活用户10万。

2.单用户单日总体业务数据100条/人。

3.单用户单数据体积2Kb/条。

计算引擎程序硬件需求表 ：

多节点部署方式参考:

Linkis仍然保持着基于SpringCloud的微服务架构，其中每个微服务都支持多活的部署方案，当然不同的微服务在系统中承担的角色不一样，有的微服务调用频率很高，更可能会处于高负荷的情况，在安装EngineConnManager的机器上，由于会启动用户的引擎进程，机器的内存负载会比较高，其他类型的微服务对机器的负载则相对不会很高，对于这类微服务我们建议启动多个进行分布式部署，Linkis动态使用的总资源可以按照如下方式计算。

EngineConnManager使用总资源 = 总内存 + 总核数 =

同时在线人数 * (所有类型的引擎占用内存) *单用户最高并发数+ 同时在线人数 * (所有类型的引擎占用内存) *单用户最高并发数

例如只使用spark、hive、python、flink引擎且单用户最高并发数为1的情况下，同时使用人数50人，Spark的Driver内存1G，Hive Client内存1G，python client 1G，每个引擎都使用1个核，那么就是 50 *（1+1+1+1）G * 1 + 50 *(1+1+1+1)核*1 = 200G 内存 + 200 CPU核数。

分布式部署时微服务本身占用的内存可以按照每个2G计算，对于使用人数较多的情况下建议调大ps-publicservice的内存至6G，同时建议预留10G内存作为buffer。

以下配置假设每个用户同时启动两个引擎为例，参考配置如下：

• 同时在线人数10-50

服务器配置推荐4台服务器，分别命名为S1,S2,S3,S4

• 同时在线人数50-100

服务器配置推荐:6台服务器，分别命名为S1,S2,S3,S4,S5,S6

• 同时使用人数 100-300

服务器配置推荐:12台服务器，分别命名为S1,S2..S12

应用硬件需求表：

服务器配置推荐，9台服务器，对于64G内存的机器

集群存储需求表 ：

总体服务器需求 ：

DSS计算及存储资源需求

计算资源计算基准：

1.日活用户10万。

2.单用户单日总体业务数据100条/人。

3.单用户单数据体积2Kb/条。

计算程序硬件需求表：

集群存储需求表 ：

• 总数据量(Gb/日) = 用户数(万) X单用户数据(条/日) X单数据量(Kb/条)
• 总数据量(Tb/年) = 总数据量(Gb/日) X 1.35(索引及其他) + X（ 1 + 数据副本+ 临时存储因子）

总体服务器需求 ：