Byyyi_社区达人页

2024年05月

• 05.06 10:18:04
  发表了文章 2024-05-06 10:18:04

  Java工具类

  Java工具类

  
• 05.06 09:45:13
  发表了文章 2024-05-06 09:45:13

  数据的格式与描述

  数据的格式与描述
• 05.06 09:44:59
  发表了文章 2024-05-06 09:44:59

  MySQL安装教程

  MySQL安装教程
• 05.06 09:39:20
  发表了文章 2024-05-06 09:39:20

  Java第一课——Java详细图文概述

  Java第一课——Java详细图文概述

  
• 05.06 09:39:15
  发表了文章 2024-05-06 09:39:15

  一文搞懂Java中所有变量概念！

  一文搞懂Java中所有变量概念！

  
• 05.06 09:37:26
  发表了文章 2024-05-06 09:37:26

  数据映射框架之三大神器：反射、注解、动态代理

  数据映射框架之三大神器：反射、注解、动态代理

  
• 05.06 09:36:52
  发表了文章 2024-05-06 09:36:52

  手把手教你用java OOP实现猜拳游戏！好玩有用！

  手把手教你用java OOP实现猜拳游戏！好玩有用！

  
• 05.06 09:35:40
  发表了文章 2024-05-06 09:35:40

  异常详解，一文搞懂！

  异常详解，一文搞懂！
• 05.06 09:35:36
  发表了文章 2024-05-06 09:35:36

  一文搞懂线程！！

  一文搞懂线程！！

  
• 05.06 09:34:54
  发表了文章 2024-05-06 09:34:54

  函数式 Scala的重要基础！一文掌握！

  函数式 Scala的重要基础！一文掌握！
• 05.06 09:33:53
  发表了文章 2024-05-06 09:33:53

  流知识超详细总结！一文搞懂！

  流知识超详细总结！一文搞懂！

  
• 05.06 09:32:58
  发表了文章 2024-05-06 09:32:58

  Java面向对象最新超详细总结版！

  Java面向对象最新超详细总结版！

  
• 05.06 09:32:08
  发表了文章 2024-05-06 09:32:08

  0基础java初学者都能做的打字通小游戏？ 内含源码解读和细致讲解！！

  0基础java初学者都能做的打字通小游戏？ 内含源码解读和细致讲解！！

  
• 05.06 09:28:39
  发表了文章 2024-05-06 09:28:39

  javaOOP实现跳高大挑战！手把手教你实现小游戏！

  javaOOP实现跳高大挑战！手把手教你实现小游戏！

  
• 05.06 09:27:02
  发表了文章 2024-05-06 09:27:02

  Hive函数全解——思维导图 + 七种函数类型

  Hive函数全解——思维导图 + 七种函数类型

  
• 05.06 09:26:02
  发表了文章 2024-05-06 09:26:02

  Hive UDF UDTF UDAF 自定义函数详解

  Hive UDF UDTF UDAF 自定义函数详解

  
• 05.06 09:25:45
  发表了文章 2024-05-06 09:25:45

  Hive的查询、数据加载和交换、聚合、排序、优化

  Hive的查询、数据加载和交换、聚合、排序、优化
• 05.06 09:24:27
  发表了文章 2024-05-06 09:24:27

  【经验分享】用Linux脚本管理虚拟机下的大数据服务

  【经验分享】用Linux脚本管理虚拟机下的大数据服务
• 05.06 09:24:16
  发表了文章 2024-05-06 09:24:16

  Java 正则详解

  Java 正则详解

  
• 05.06 09:22:48
  发表了文章 2024-05-06 09:22:48

  Linux笔记02 —— Shell补充

  Linux笔记02 —— Shell补充
• 05.06 09:22:46
  发表了文章 2024-05-06 09:22:46

  Linux笔记01 —— Linux初识与Shell汇总(请配合另一篇《Linux笔记02》一起使用)

  Linux笔记01 —— Linux初识与Shell汇总(请配合另一篇《Linux笔记02》一起使用)
• 05.06 09:22:12
  发表了文章 2024-05-06 09:22:12

  Hive详解、配置、数据结构、Hive CLI

  Hive详解、配置、数据结构、Hive CLI

  
• 05.06 09:20:57
  发表了文章 2024-05-06 09:20:57

  Zeppelin安装教程

  Zeppelin安装教程
• 05.06 09:20:20
  发表了文章 2024-05-06 09:20:20

  Hive精选10道面试题

  Hive精选10道面试题

  
• 05.06 09:18:46
  发表了文章 2024-05-06 09:18:46

  【史上最全】Hadoop精选18道面试题(附回答思路)

  【史上最全】Hadoop精选18道面试题(附回答思路)

  
• 05.06 09:17:09
  发表了文章 2024-05-06 09:17:09

  8大Java排序方法(由简入繁)，有代码详解和原理指导

  8大Java排序方法(由简入繁)，有代码详解和原理指导
• 05.06 09:15:38
  发表了文章 2024-05-06 09:15:38

  MySQL万字超详细笔记❗❗❗

  MySQL万字超详细笔记❗❗❗

  
• 05.06 09:14:10
  发表了文章 2024-05-06 09:14:10

  Hive 拉链表详解及实例

  拉链表是一种数据仓库技术，用于处理持续增长且存在时间范围内的重复数据，以节省空间。它在Hive中通过列式存储ORC实现，适用于大规模数据场景，尤其当数据在有限时间内有多种状态变化。配置涉及事务管理和表合并选项。示例中展示了如何从原始订单表创建拉链表，通过聚合操作和动态分区减少数据冗余。增量数据可通过追加到原始表然后更新拉链表来处理。提供的Java代码用于生成模拟的订单增量数据，以演示拉链表的工作流程。
• 05.06 09:12:54
  发表了文章 2024-05-06 09:12:54

  Hive 数仓及数仓设计方案

  数仓整合企业数据，提供统一出口，用于数据治理。其特点包括面向主题集成和主要支持查询操作。数仓设计涉及需求分析（如咨询老板、运营人员和行业专家）、确定主题指标（如电商的转化率）、数据标准设定、规模与成本计算、技术选型（如Hadoop生态组件）以及数据采集和操作。设计流程涵盖从理解需求到实施SQL函数和存储过程的全过程。
• 05.06 09:11:32
  发表了文章 2024-05-06 09:11:32

  Hive 优化总结

  Hive优化主要涉及HDFS和MapReduce的使用。问题包括数据倾斜、操作过多和不当使用。识别倾斜可通过检查分区文件大小或执行聚合抽样。解决方案包括整体优化模型设计，如星型、雪花模型，合理分区和分桶，以及压缩。内存管理需调整mapred和yarn参数。倾斜数据处理通过选择均衡连接键、使用map join和combiner。控制Mapper和Reducer数量以避免小文件和资源浪费。减少数据规模可调整存储格式和压缩，动态或静态分区管理，以及优化CBO和执行引擎设置。其他策略包括JVM重用、本地化运算和LLAP缓存。

  
• 05.06 09:09:08
  发表了文章 2024-05-06 09:09:08

  Hive 行列转换

  使用`lateral view + explode`或`inline`可将列转换为行，实现数据降维。例如，`explode(array|map)`用于单列转多行，`inline(array_struct)`将结构体数组拆分成多行。同样，通过条件聚合可实现行转列，常用于多行数据聚合到单行中，如示例所示的按月统计订单金额。

  
• 05.06 09:07:11
  发表了文章 2024-05-06 09:07:11

  Hive实战 —— 电商数据分析(全流程详解 真实数据)

  关于基于小型数据的Hive数仓构建实战，目的是通过分析某零售企业的门店数据来进行业务洞察。内容涵盖了数据清洗、数据分析和Hive表的创建。项目需求包括客户画像、消费统计、资源利用率、特征人群定位和数据可视化。数据源包括Customer、Transaction、Store和Review四张表，涉及多个维度的聚合和分析，如按性别、国家统计客户、按时间段计算总收入等。项目执行需先下载数据和配置Zeppelin环境，然后通过Hive进行数据清洗、建表和分析。在建表过程中，涉及ODS、DWD、DWT、DWS和DM五层，每层都有其特定的任务和粒度。最后，通过Hive SQL进行各种业务指标的计算和分析。

  
• 05.06 09:01:05
  发表了文章 2024-05-06 09:01:05

  Leetcode第382场周赛

  ```markdown 给定字符串`s`，计算按键变更次数，即使用不同键的次数，不考虑大小写差异。例如，`"aAbBcC"`变更了2次。函数`countKeyChanges`实现此功能。另外，求满足特定模式子集最大元素数，`maximumLength`函数使用`TreeMap`统计次数，枚举并构建子集，返回最大长度。最后，Alice和Bob玩鲜花游戏，Alice要赢需满足鲜花总数奇数、顺时针在[1,n]、逆时针在[1,m]，返回满足条件的(x, y)对数，可通过奇偶性分类讨论求解。 ```
• 05.06 08:59:54
  发表了文章 2024-05-06 08:59:54

  Leetcode第383场周赛

  在LeetCode第383场周赛中，选手完成了3道题目。第一题是关于边界上的蚂蚁，蚂蚁根据非零整数数组nums的值移动，返回蚂蚁返回边界上的次数。解题方法是计算数组累加和为0的次数。第二题涉及计算网格的区域平均强度，给定一个灰度图像和阈值，返回每个像素所属区域的平均强度。解题关键在于理解相邻像素和区域定义，并计算平均强度。第三题是恢复单词初始状态的最短时间问题，通过移除前k个字符并添加k个字符，求恢复原词所需的最短时间。解题策略是检查去除前k个字符后的子串是否能作为原词的前缀。

  
• 05.06 08:57:45
  发表了文章 2024-05-06 08:57:45

  Leetcode第123场双周赛

  在LeetCode的第123场双周赛中，参赛者需解决三个问题。第一题涉及根据给定数组构建三角形并判断其类型，如等边、等腰或不等边，代码实现通过排序简化条件判断。第二题要求找出满足差值为k的好子数组的最大和，解决方案利用前缀和与哈希表提高效率。第三题则需要计算点集中满足特定条件的点对数量，解题策略是对点按坐标排序并检查点对是否满足要求。
• 05.06 08:56:56
  发表了文章 2024-05-06 08:56:56

  Leetcode 30天高效刷数据结构和算法 Day1 两数之和 —— 无序数组

  给定一个无序整数数组和目标值，找出数组中和为目标值的两个数的下标。要求不重复且可按任意顺序返回。示例：输入nums = [2,7,11,15], target = 9，输出[0,1]。暴力解法时间复杂度O(n²)，优化解法利用哈希表实现，时间复杂度O(n)。
• 05.06 08:53:11
  发表了文章 2024-05-06 08:53:11

  【HBase入门与实战】一文搞懂HBase!

  该文档介绍了HBase，一种高吞吐量的NoSQL数据库，适合处理大规模数据。HBase具备快速读写、列式存储和天然支持集群部署的特点，常用于高并发场景。NoSQL与关系型数据库的主要区别在于数据模型、查询语言和可伸缩性。HBase的物理架构包括Client、Zookeeper、HMaster和RegionServer，其中RegionServer管理数据存储。HBase的读写流程利用MemStore和Bloom Filter提高效率。此外，文档还提到了HBase的应用，如时间序列数据、消息传递和内容服务。

  
• 05.06 08:50:30
  发表了文章 2024-05-06 08:50:30

  实现HBase表和RDB表的转化(附Java源码资源)

  该文介绍了如何将数据从RDB转换为HBase表，主要涉及三个来源：RDB Table、Client API和Files。文章重点讲解了RDB到HBase的转换，通过批处理思想，利用RDB接口批量导出数据并转化为`List<Put>`，然后导入HBase。目录结构包括配置文件、RDB接口及实现类、HBase接口及实现类，以及一个通用转换器接口和实现。代码中，`RDBImpl`负责从RDB读取数据并构造`Put`对象，`HBaseImpl`则负责将`Put`写入HBase表。整个过程通过配置文件`transfer.properties`管理HBase和RDB的映射关系。

  
• 05.06 08:46:41
  发表了文章 2024-05-06 08:46:41

  IDEA上的Scala环境搭建

  本文指导如何搭建Scala开发环境。首先，安装Scala编译器`scala-2.12.10.msi`，通过DOS窗口验证安装成功。然后，在IDEA中，安装Scala插件，创建Maven工程，删除默认包，新建Scala源码包，并在其中创建Scala Object类。接着，配置项目结构，添加Scala SDK，确保Maven、Language Level和Compiler的bytecode版本设置正确。最后，编写并测试基本的Scala代码。

  
• 05.06 08:45:03
  发表了文章 2024-05-06 08:45:03

  【经验分享】如何在IDEA中快速学习|审查|复习代码工程？

  在IDEA中加速工程学习与审查，提升代码质量和维护性，关键操作包括：使用"Structure"浏览工程结构，通过"Find Usages"查找类、方法或变量引用，借助"Show Local Changes As UML"展示UML图。遵循从整体到局部的UML图学习，再到具体代码的详细探索，可系统理解设计理念。详情参考[IDEA UML教程](https://blog.csdn.net/weixin_44701426/article/details/124598053)。

  
• 05.06 08:43:30
  发表了文章 2024-05-06 08:43:30

  常用大数据组件的Web端口号总结

  这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务：Hadoop HDFS的9870，YARN的ResourceManager的8088和JobHistoryServer的19888，Zeppelin的8000，HBase的10610，Hive的10002。ZooKeeper的端口包括客户端连接的2181，服务器间通信的2888以及选举通信的3888。

  
• 05.06 08:41:13
  发表了文章 2024-05-06 08:41:13

  【超全详解】Maven工程配置与常见问题解决指南

  检查Maven配置包括验证路径、设置pom.xml与Project Structure的Java版本。基本操作有`clean-compile`、`install`和`package`，其中`install`会将jar包放入本地仓库。获取他人工程后需修改配置、清除缓存、更新依赖等。配置文件应从Maven Repository找寻，选择稳定高版本。创建Maven工程可选archetype如`quickstart`或直接创建Java工程。基本目录结构遵循分层设计原则，常见问题包括假性导包、端口占用、时区问题等，对应解决方案包括删除本地仓库文件、调整系统设置或重新加载项目。

  
• 05.06 08:39:14
  发表了文章 2024-05-06 08:39:14

  【经验分享】如何快速转化笔记格式为标准的MarkDown格式并进行博客发布，提高生产力？

  本文介绍如何将笔记转换为Markdown格式以快速发布博客。通过使用特定的Prompt和AI工具Claude 3 Sonnet，可以将Notepad++笔记转为适合CSDN博客的Markdown格式。转换要求包括：正确标记代码段、调整缩进和格式、使用Markdown标题、列表、链接和图片语法。Claude 3 Sonnet能有效处理格式转换，将转换后的Markdown内容复制到编辑器，即可便捷发布博客。

  
• 05.06 08:37:32
  发表了文章 2024-05-06 08:37:32

  【经验分享】Typora 设置代码块的默认语言并设置为开机启动

  在Typora中设置代码块默认语言为Java（或其他语言）的自动化方法。通过下载AHK(AutoHotkey)软件，创建一个.ahk脚本，设定`Ctrl+Shift+K`快捷键触发代码块并输入指定语言。将脚本改名为.ahk扩展名并运行，确保图标出现在任务栏。要实现开机启动，使用Win+R打开"运行"，输入shell:startup并粘贴.ahk文件到启动文件夹。
• 05.06 08:35:10
  发表了文章 2024-05-06 08:35:10

  《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解

  《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解

  
• 05.06 08:33:15
  发表了文章 2024-05-06 08:33:15

  【简单无脑】自动化脚本一键安装虚拟机下的MySQL服务

  该文章提供了在虚拟机上安装MySQL服务的简化方法，特别是针对新手。作者提供了一个自动化脚本`install_mysql.sh`，使得安装过程更简单。用户需要下载`install.rpm`资源，将其放在指定目录下，然后创建并编辑脚本文件，将提供的代码粘贴进去，通过`chmod u+x`授权，最后运行脚本`./install_mysql.sh [rpm文件路径]`来安装MySQL。文章还附有相关图片说明。

  
• 05.06 08:31:36
  发表了文章 2024-05-06 08:31:36

  何时需要指定泛型：Scala编程指南

  本文是Scala编程指南，介绍了何时需要指定泛型类型参数。泛型提供代码重用和类型安全性，但在编译器无法推断类型、需要提高代码清晰度、调用泛型方法或创建泛型集合时，应明确指定类型参数。通过示例展示了泛型在避免类型错误和增强编译时检查方面的作用，强调了理解泛型使用时机对编写高效Scala代码的重要性。

  
• 05.06 08:28:31
  发表了文章 2024-05-06 08:28:31

  Scala01 —— Scala基础

  Scala 是一种基于 JVM 的多范式编程语言，它融合了面向对象和函数式编程的特点。本文档介绍了Scala的基础知识，包括如何搭建开发环境、语言特性、变量和数据类型、程序逻辑、运算符、控制流、集合以及方法和函数的使用。特别强调了Scala集合的重要性，它们作为数据结构支持多种操作，并且有许多内置的算子和库来解决问题。文档还涵盖了如何在IDEA中配置Scala SDK，以及如何使用元组、映射、数组和模式匹配等核心概念。此外，文档还讨论了Scala与Java变量的区别，以及如何通过隐式类和字符串插值等扩展语言功能。

  
• 05.06 08:21:53
  发表了文章 2024-05-06 08:21:53

  【科研入门】搭建与配置云服务器的论文环境

  本文介绍了如何搭建云服务器并配置论文代码环境，以AutoDL平台为例。首先，租用服务器并选择符合代码需求的镜像版本，如Python 3.7、TensorFlow 1.15和PyTorch。接着，启动服务器进入终端，克隆项目代码并使用Conda创建隔离的环境安装所需包。如果需在Pycharm中工作，还需在Pycharm内创建相同环境。最后，根据项目配置安装Tensorflow和PyTorch，遇到缺失包时通过`pip install`补充。完成配置后，可克隆服务器以备后续使用。遇到版本不兼容问题，可调整Conda环境的Python版本。