【Hive SQL 每日一题】统计用户留存率
用户留存率是衡量产品成功的关键指标，表示用户在特定时间内持续使用产品的比例。计算公式为留存用户数除以初始用户数。例如，游戏发行后第一天有10000玩家，第七天剩5000人，第一周留存率为50%。提供的SQL代码展示了如何根据用户活动数据统计每天的留存率。需求包括计算系统上线后的每日留存率，以及从第一天开始的累计N日留存率。通过窗口函数`LAG`和`COUNT(DISTINCT user_id)`，可以有效地分析用户留存趋势。
DataGrip 配置 HiveServer2 远程连接访问（含账号密码验证）
该文档介绍了如何为HiveServer2配置账号密码鉴权。提供了一个名为`CustomPasswdAuthenticator`的Java类实现`PasswdAuthenticationProvider`接口，用于验证HiveServer2的用户名和密码。此外，还给出了相关依赖的Maven配置，并说明了如何将编译后的Jar包放入Hive的库中。在Hive的`hive-site.xml`和Hadoop的`core-site.xml`中需配置相应的参数以启用自定义认证。文档还列举了可能遇到的问题及解决方法，包括权限问题、数据插入错误和JVM内存溢出。
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
一文读懂Apache Flink发展史
本文整理自开源大数据专场中阿里巴巴高级技术专家杨克特（鲁尼）先生的精彩演讲，主要讲解了Apache Flink过去和现在的发展情况，同时分享了对Apache Flink未来发展方向的理解。
数据仓库、数据湖、流批一体，终于有大神讲清楚了！
数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落地，系统设计该怎么做？
大数据开发笔记（四）：Hive数据仓库
Hive主要解决海量结构化日志的数据统计分析，它是hadoop上的一种数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类似于SQL的查询方式，本质上来说是将Hive转化成MR程序。
Hive 解析 JSON 字符串数据的实现方式
Hive 提供 `get_json_object` 函数解析 JSON 字符串，如 `{"database":"maxwell"}`。`path` 参数使用 `$`、`.`、`[]` 和 `*` 来提取数据。示例中展示了如何解析复杂 JSON 并存储到表中。此外，Hive 3.0.0及以上版本内置 `JsonSerDe` 支持直接处理 JSON 文件，无需手动解析。创建表时指定 `JsonSerDe` 序列化器，并在 HDFS 上存放 JSON 文件，可以直接查询字段内容，方便快捷。
SparkSQL 入门指南：小白也能懂的大数据 SQL 处理神器
在大数据处理的领域，SparkSQL 是一种非常强大的工具，它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎，使得我们可以在分布式环境下执行 SQL 查询，并能利用 Spark 的强大计算能力进行数据分析。