小米基于 Apache Paimon 的流式湖仓实践
本文整理自Flink Forward Asia 2024流式湖仓专场分享，由计算平台软件研发工程师钟宇江主讲。内容涵盖三部分：1）背景介绍，分析当前实时湖仓架构（如Flink + Talos + Iceberg）的痛点，包括高成本、复杂性和存储冗余；2）基于Paimon构建近实时数据湖仓，介绍其LSM存储结构及应用场景，如Partial-Update和Streaming Upsert，显著降低计算和存储成本，简化架构；3）未来展望，探讨Paimon在流计算中的进一步应用及自动化维护服务的建设。
RegionServer 核心指标
RegionServer 是 HBase 集群中负责存储和处理数据请求的关键组件。监控其核心指标对确保集群性能和稳定性至关重要。主要指标包括进程存在性、内存使用、请求队列长度、读写性能、存储性能、Region 相关指标、磁盘使用、网络性能、GC 性能、Compaction 和 Flush 性能、WAL 使用情况、阻塞操作及慢查询日志。通过监控这些指标，可以及时发现并解决性能问题，确保 HBase 集群的高效运行。
在 HBase 集群中，Prometheus 通常监控哪些类型的性能指标？
在 HBase 集群中，Prometheus 监控关注的核心指标包括 Master 和 RegionServer 的进程存在性、RPC 请求数、JVM 内存使用率、磁盘和网络错误、延迟和吞吐量、资源利用率及 JVM 使用信息。通过 Grafana 可视化和告警规则，帮助管理员实时监控集群性能和健康状况。
【赵渝强老师】HBase的表结构
本文介绍了Google的BigTable思想及其对HBase的影响。BigTable将所有数据存入一张表中以提高查询性能，而HBase作为其具体实现，采用列式存储，适合数据分析和处理。文章通过示例说明了HBase的表结构和数据插入方法，并提供了相关代码和图示。
【赵渝强老师】HBase的体系架构
本文介绍了HBase的体系架构，包括HMaster、RegionServer和ZooKeeper的主要功能。HMaster负责Region的分配和管理，RegionServer处理数据的读写操作，ZooKeeper维护集群状态并协调分布式系统的运行。文章还详细解释了Region、WAL预写日志、Block Cache读缓存和MemStore写缓存的作用。