1、StarRocks
1.1、StarRocks 简介
StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing，MPP数据库是一种基于大规模并行处理技术的数据库系统，旨在高效处理大量数据。) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。
StarRocks 架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO (Cost Based Optimizer) 优化器，查询速度（尤其是多表关联查询）远超同类产品。
简单来说，StarRocks 适合对 OLAP 数据库业务（Online Analytical Processing，联机分析处理）进行分析，同时它也可以对接一些外部系统，比如把 Spark、Flink 处理的数据结果写入到 StarRocks 中，这也是支持的。
StarRocks 兼容 MySQL 协议，支持标准 SQL 语法，易于对接使用，全系统无外部依赖，高可用，易于运维管理。StarRocks 还兼容多种主流 BI 产品，包括 Tableau、Power BI、FineBI 和 Smartbi。
StarRocks采用分布式架构，对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，能够支持 10PB 级别的数据分析; 支持MPP框架，并行加速计算; 支持多副本，具有弹性容错能力。
StarRocks采用关系模型，使用严格的数据类型和列式存储引擎，通过编码和压缩技术，降低读写放大；使用向量化执行方式，充分挖掘多核CPU的并行计算能力，从而显著提升查询性能。
1.2、StarRocks 使用场景
StarRocks 可以满足企业级用户的多种分析需求，包括 OLAP (Online Analytical Processing) 多维分析、定制报表、实时数据分析和 Ad-hoc 数据分析等。
利用 StarRocks 的 MPP 框架和向量化执行引擎，用户可以灵活的选择雪花模型，星型模型，宽表模型或者预聚合模型。适用于灵活配置的多维分析报表，业务场景包括：
1.2.1、OLAP 多维分析
利用 StarRocks 的 MPP 框架和向量化执行引擎，用户可以灵活的选择雪花模型，星型模型，宽表模型或者预聚合模型。适用于灵活配置的多维分析报表，业务场景包括：
- 用户行为分析
- 用户画像、标签分析、圈人
- 高维业务指标报表
- 自助式报表平台
- 业务问题探查分析
- 跨主题业务分析
- 财务报表
- 系统监控分析
1.2.2、实时数据仓库
StarRocks 设计和实现了 Primary-Key 模型，能够实时更新数据并极速查询，可以秒级同步 TP (Transaction Processing) 数据库的变化，构建实时数仓，业务场景包括：
- 电商大促数据分析
- 物流行业的运单分析
- 金融行业绩效分析、指标计算
- 直播质量分析
- 广告投放分析
- 管理驾驶舱
- 探针分析APM（Application Performance Management）
1.2.3、高并发查询
StarRocks 通过良好的数据分布特性，灵活的索引以及物化视图等特性，可以解决面向用户侧的分析场景，业务场景包括：
- 广告主报表分析
- 零售行业渠道人员分析
- SaaS 行业面向用户分析报表
- Dashboard 多页面分析
1.2.4、统一分析
通过使用一套系统解决多维分析、高并发查询、预计算、实时分析查询等场景，降低系统复杂度和多技术栈开发与维护成本。
使用 StarRocks 统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在 StarRocks 中分析，也可以使用 External Catalog 和外部表进行数据湖上的分析。
1.3、StarRocks 基本概念
- FE：FrontEnd简称FE，是StarRocks的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。功能类似于 Hadoop 中的 NameNode。
- BE：BackEnd简称BE，是StarRocks的后端节点，负责数据存储，计算执行，以及compaction，副本管理等工作。功能类似于 Hadoop 中的 DataNode。
- Broker：StarRocks中和外部HDFS/对象存储等外部数据对接的中转服务，辅助提供导入导出功能。这个工具不是必须安装的。
- StarRocksManager：StarRocks的管理工具，提供StarRocks集群管理、在线查询、故障查询、监控报警的可视化工具。
- Tablet：StarRocks中表的逻辑分片，也是StarRocks中副本管理的基本单位，每个表根据分区和分桶机制被划分成多个Tablet存储在不同BE节点上。
1.4、StarRocks 系统架构
StarRocks 架构简洁，整个系统的核心只有 FE（Frontend）、BE（Backend）两类进程，不依赖任何外部组件，方便部署与维护。FE 和 BE 模块都可以在线水平扩展，元数据和业务数据都有副本机制，确保整个系统无单点。StarRocks 提供 MySQL 协议接口，支持标准 SQL 语法。用户可通过 MySQL 客户端方便地查询和分析 StarRocks 中的数据。
FE
FE 是 StarRocks 的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。每个 FE 节点都会在内存保留一份完整的元数据，这样每个 FE 节点都能够提供无差别的服务。
FE 有三种角色：Leader FE，Follower FE 和 Observer FE。Follower 会通过类 Paxos 的 Berkeley DB Java Edition（BDBJE）协议自动选举出一个 Leader。三者区别如下：
- Leader
- Leader 从 Follower 中自动选出，进行选主需要集群中有半数以上的 Follower 节点存活。如果 Leader 节点失败，Follower 会发起新一轮选举。
- Leader FE 提供元数据读写服务。只有 Leader 节点会对元数据进行写操作，Follower 和 Observer 只有读取权限。Follower 和 Observer 将元数据写入请求路由到 Leader 节点，Leader 更新完数据后，会通过 BDB JE 同步给 Follower 和 Observer。必须有半数以上的 Follower 节点同步成功才算作元数据写入成功。
- Follower
- 只有元数据读取权限，无写入权限。通过回放 Leader 的元数据日志来异步同步数据。
- 参与 Leader 选举，必须有半数以上的 Follower 节点存活才能进行选主。
- Observer
- 主要用于扩展集群的查询并发能力，可选部署。
- 不参与选主，不会增加集群的选主压力。
- 通过回放 Leader 的元数据日志来异步同步数据。
BE
BE 是 StarRocks 的后端节点，负责数据存储、SQL执行等工作。
- 数据存储方面，StarRocks 的 BE 节点都是完全对等的，FE 按照一定策略将数据分配到对应的 BE 节点。BE 负责将导入数据写成对应的格式存储下来，并生成相关索引。
- 在执行 SQL 计算时，一条 SQL 语句首先会按照具体的语义规划成逻辑执行单元，然后再按照数据的分布情况拆分成具体的物理执行单元。物理执行单元会在对应的数据存储节点上执行，这样可以实现本地计算，避免数据的传输与拷贝，从而能够得到极致的查询性能。
在进行 Stream load 导入时，FE 会选定一个 BE 节点作为 Coordinator BE，负责将数据分发到其他 BE 节点。导入的最终结果由 Coordinator BE 返回给用户。更多信息，参见 Stream load。
1.5、StarRocks 安装部署
解压安装这里就不再赘述了，需要注意的是，安装的时候使用用 root ！而且 StarRocks 是集群安装。
# 修改目录所有者和所有组 sudo chown -R root:root StarRocks-1.19.1/
1.5.1、安装 FE
安装 FE 之前需要在 fe 目录下创建一个 meta 的目录！
[root@hadoop102 fe]# bin/start_fe.sh --daemon
启动 MySQL 客户端节点：
注意：启动命令应该是 mysql -h hadoop102 -uroot -P9030 ！！！（下面的截图是我普通用户安装的时候截的，但是不应该使用普通用户，而是使用 root 用户）
添加其他FE节点，角色也分为FOLLOWER,OBSERVER
ALTER SYSTEM ADD FOLLOWER "hadoop103:9010"; ALTER SYSTEM ADD OBSERVER "hadoop104:9010";
再次查看 StarRocks 集群状态：
可以看到，hadoop103 和 hadoop104 的 FE 节点并没有启动。所以在 hadoop103 和 hadoop104 上分别执行：
bin/start_fe.sh --helper hadoop102:9010 --daemon
注意：只有第一次安装的时候需要指定 --helper ！之后启动就不用了！
再次查看 StarRocks 集群状态：
1.5.2、安装 BE
和安装 FE 一样，安装 BE 也需要先在每个节点的 be 目录下创建一个 storge 目录：
mkdir -p storage
在 mysql 客户端添加第一个 BE 节点：
ALTER SYSTEM ADD BACKEND "hadoop102:9050";
启动 hadoop102 对应的 BE 节点：
bin/start_be.sh --daemon
在 MySQL 客户端添加 hadoop103 和 hadoop104 对应的 BE 节点：
ALTER SYSTEM ADD BACKEND "hadoop103:9050"; ALTER SYSTEM ADD BACKEND "hadoop104:9050";
启动 hadoop103 和 hadoop104 上的 be 节点：
bin/start_be.sh --daemon
注意：BE 节点启动后 jps 是不显示进程的，但是可以通过客户端查询它的状态。
查看 BE 状态：
1.5.3、安装 broker（可选）
分别在 hadoop102、hadoop103 和 hadoop104 上启动 broker 节点：：
去 MySQL 客户端添加角色地址：
ALTER SYSTEM ADD BROKER broker1 "hadoop102:8000"; ALTER SYSTEM ADD BROKER broker2 "hadoop103:8000"; ALTER SYSTEM ADD BROKER broker3 "hadoop104:8000";
查看 broker 节点状态：
至此 StarRocks 安装完毕，没有想象的惊心动魄，万幸万幸。
StarRocks 【新一代MPP数据库】（2）https://developer.aliyun.com/article/1534281
