勋章
我关注的人
粉丝
技术能力
- Shell
- Hive
- Spark
- Flume
- Hadoop
- DataX
- FineBI
- Kafka
暂时未有相关云产品技术能力~
大数据的坑，让我来踩吧！ -- moon_coder
-
发表了文章 2024-05-26
【Hive SQL 每日一题】分组排名取值
创建了一个名为`sales_data`的测试表，包含商品ID、销售额和销售日期。展示了部分示例数据。接着，提供了三个SQL查询：1) 查找每个商品销售额最高的记录；2) 获取每个商品最近和最远的销售记录；3) 求每个商品距今第二近的销售记录。每个查询都利用了窗口函数来处理数据，并给出了相应的查询结果图。
-
发表了文章 2024-05-26
【Hive SQL 每日一题】行列转换
该文介绍了如何使用SQL进行数据的行列转换。首先展示了行转列的例子，通过创建一个学生成绩表，利用`IF`和`SUM`函数按学生ID分组，将每个学生的各科成绩转换为独立列。然后，文章讲述了列转行的需求，利用`LATERAL VIEW`和`POSEXPLODE`将已转换的表格恢复为原始行格式，通过索引匹配过滤笛卡尔积避免错误结果。此外，还提到了使用`UNION ALL`的另一种列转行方法。
-
发表了文章 2024-05-26
【Hive SQL 每日一题】分析电商平台的用户行为和订单数据
作为一名数据分析师，你需要分析电商平台的用户行为和订单数据。你有三张表：`users`（用户信息），`orders`（订单信息）和`order_items`（订单商品信息）。任务包括计算用户总订单金额和数量，按月统计订单，找出最常购买的商品，找到平均每月最高订单金额和数量的用户，以及分析高消费用户群体的年龄和性别分布。通过SQL查询，你可以实现这些分析，例如使用`GROUP BY`、`JOIN`和窗口函数来排序和排名。
-
发表了文章 2024-05-26
HiveOnSpark 报错：java.lang.IllegalStateException(Connection to remote Spark driver was lost)‘ Last kno
Hive On Spark 测试时遇到`java.lang.IllegalStateException`和`FileNotFoundException`，问题根源是 Spark 缺少 `hive-exec-3.1.3.jar`。解决方法：从 `$HIVE_HOME/lib/`复制该 jar 到 `$SPARK_HOME/jars/`，并使用 `hdfs dfs -put`命令将其上传至 HDFS 的 `/spark-jars/`（根据实际情况调整路径）。重启 Hive 元数据服务后问题解决。
-
发表了文章 2024-05-26
手把手教你解决 Hive 的数据倾斜
数据倾斜是 Hive 中影响任务执行效率的现象，表现为某些任务处理的数据量或耗时远超其他任务。根本原因是 Shuffle 后 Key 分布不均，导致部分 Reduce 负载过高。常见场景包括空值聚合、不可拆分大文件、数值膨胀、不同数据类型 Join、Count(distinct) 计算以及表 Join 操作。解决方法包括过滤空值、转换数据类型、调整聚合策略、使用 MapJoin 等。通过合理优化，如设置 `hive.groupby.skewindata` 和 `hive.map.aggr` 参数，可以有效缓解数据倾斜问题。
-
发表了文章 2024-05-26
【Hive SQL 每日一题】统计最近1天/7天/30天商品的销量
这段内容是关于SQL查询的示例，目标是统计`sales`表中最近1天、7天和30天的商品销量和销售次数。表结构包含`id`、`product_id`、`quantity`和`sale_date`字段。初始查询方法通过三个独立的子查询完成，但效率较低。优化后的查询使用了`lateral view explode`将数据炸裂，通过一次查询同时获取所有所需时间段的数据，提高了效率。示例中展示了优化前后的SQL代码及结果对比。
-
发表了文章 2024-05-26
【Hive SQL 每日一题】统计用户留存率
用户留存率是衡量产品成功的关键指标，表示用户在特定时间内持续使用产品的比例。计算公式为留存用户数除以初始用户数。例如，游戏发行后第一天有10000玩家，第七天剩5000人，第一周留存率为50%。提供的SQL代码展示了如何根据用户活动数据统计每天的留存率。需求包括计算系统上线后的每日留存率，以及从第一天开始的累计N日留存率。通过窗口函数`LAG`和`COUNT(DISTINCT user_id)`，可以有效地分析用户留存趋势。
-
发表了文章 2024-05-26
【Hive SQL 每日一题】统计最近7天内连续下单3日的用户量
创建了一个名为`sales`的测试表，包含`user_id`、`product_id`、`quantity`和`sale_date`字段，插入了多条销售数据。需求是找出最近7天内连续下单3天的用户数量。SQL查询通过分组和窗口函数`row_number()`检查日期连续性，最终计算满足条件的唯一用户数。示例结果显示有3名用户符合条件。
-
发表了文章
2024-05-26
Spark 分析计算连续三周登录的用户数
-
发表了文章
2024-05-26
HBase 相关面试题
-
发表了文章
2024-05-26
Exception in thread “main“ java.io.IOException: No FileSystem for scheme: hdfs
-
发表了文章
2024-05-26
HBase Shell-org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 已解决
-
发表了文章
2024-05-26
大数据之 Solr 集群搭建
-
发表了文章
2024-05-26
Hive 求多个字段的中位数（按行求中位数）
-
发表了文章
2024-05-26
大数据用户画像之基本概念
-
发表了文章
2024-05-26
Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and
-
发表了文章
2024-05-26
使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
-
发表了文章
2024-05-26
【机器学习】Spark ML 对数据特征进行 One-Hot 编码
-
发表了文章
2024-05-26
Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.core.exc.InputCoercionException
-
发表了文章
2024-05-26
【指标计算】Spark 计算指定用户与其他用户购买的相同商品
-
发表了文章
2024-05-26
IDEA 提交代码到 GitHub 时发生错误
-
发表了文章
2024-05-26
Hadoop 集群一直处于安全模式，强制退出后出现数据丢失警告。解决方法
-
发表了文章
2024-05-26
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
-
发表了文章
2024-05-26
DataGrip 配置 HiveServer2 远程连接访问（含账号密码验证）
-
发表了文章
2024-05-26
Vmware 虚拟机挂起恢复后发现无法 Ping 通，无法连接到主机
-
发表了文章
2024-05-26
Hadoop Yarn 核心调优参数
-
发表了文章
2024-05-26
Hive Cli / HiveServer2 中使用 dayofweek 函数引发的BUG！
-
发表了文章
2024-05-26
NameNode 处理线程配置（心跳并发）
