Byyyi_社区达人页

个人头像照片
Byyyi
已加入开发者社区235

勋章 更多

个人头像照片
专家博主
专家博主
个人头像照片
星级博主
星级博主
个人头像照片
技术博主
技术博主
个人头像照片
初入江湖
初入江湖

成就

已发布60篇文章
17条评论
已回答0个问题
0条评论
已发布0个视频
github地址

我关注的人 更多

技术能力

兴趣领域
  • Java
  • SQL
  • 数据建模
  • Linux
  • 大数据
擅长领域
技术认证

暂时未有相关云产品技术能力~

计算机科学与技术在读大二,自学大数据,希望和小伙伴们一起进步!

暂无精选文章
暂无更多信息

2024年05月

  • 05.06 10:18:04
    发表了文章 2024-05-06 10:18:04

    Java工具类

    Java工具类
  • 05.06 09:45:13
    发表了文章 2024-05-06 09:45:13

    数据的格式与描述

    数据的格式与描述
  • 05.06 09:44:59
    发表了文章 2024-05-06 09:44:59

    MySQL安装教程

    MySQL安装教程
  • 05.06 09:39:20
    发表了文章 2024-05-06 09:39:20

    Java第一课——Java详细图文概述

    Java第一课——Java详细图文概述
  • 05.06 09:39:15
    发表了文章 2024-05-06 09:39:15

    一文搞懂Java中所有变量概念!

    一文搞懂Java中所有变量概念!
  • 05.06 09:37:26
    发表了文章 2024-05-06 09:37:26

    数据映射框架之三大神器:反射、注解、动态代理

    数据映射框架之三大神器:反射、注解、动态代理
  • 05.06 09:36:52
    发表了文章 2024-05-06 09:36:52

    手把手教你用java OOP实现猜拳游戏!好玩有用!

    手把手教你用java OOP实现猜拳游戏!好玩有用!
  • 05.06 09:35:40
    发表了文章 2024-05-06 09:35:40

    异常详解,一文搞懂!

    异常详解,一文搞懂!
  • 05.06 09:35:36
    发表了文章 2024-05-06 09:35:36

    一文搞懂线程!!

    一文搞懂线程!!
  • 05.06 09:34:54
    发表了文章 2024-05-06 09:34:54

    函数式 Scala的重要基础!一文掌握!

    函数式 Scala的重要基础!一文掌握!
  • 05.06 09:33:53
    发表了文章 2024-05-06 09:33:53

    流知识超详细总结!一文搞懂!

    流知识超详细总结!一文搞懂!
  • 05.06 09:32:58
    发表了文章 2024-05-06 09:32:58

    Java面向对象最新超详细总结版!

    Java面向对象最新超详细总结版!
  • 05.06 09:32:08
    发表了文章 2024-05-06 09:32:08

    0基础java初学者都能做的打字通小游戏? 内含源码解读和细致讲解!!

    0基础java初学者都能做的打字通小游戏? 内含源码解读和细致讲解!!
  • 05.06 09:28:39
    发表了文章 2024-05-06 09:28:39

    javaOOP实现跳高大挑战!手把手教你实现小游戏!

    javaOOP实现跳高大挑战!手把手教你实现小游戏!
  • 05.06 09:27:02
    发表了文章 2024-05-06 09:27:02

    Hive函数全解——思维导图 + 七种函数类型

    Hive函数全解——思维导图 + 七种函数类型
  • 05.06 09:26:02
    发表了文章 2024-05-06 09:26:02

    Hive UDF UDTF UDAF 自定义函数详解

    Hive UDF UDTF UDAF 自定义函数详解
  • 05.06 09:25:45
    发表了文章 2024-05-06 09:25:45

    Hive的查询、数据加载和交换、聚合、排序、优化

    Hive的查询、数据加载和交换、聚合、排序、优化
  • 05.06 09:24:27
    发表了文章 2024-05-06 09:24:27

    【经验分享】用Linux脚本管理虚拟机下的大数据服务

    【经验分享】用Linux脚本管理虚拟机下的大数据服务
  • 05.06 09:24:16
    发表了文章 2024-05-06 09:24:16

    Java 正则详解

    Java 正则详解
  • 05.06 09:22:48
    发表了文章 2024-05-06 09:22:48

    Linux笔记02 —— Shell补充

    Linux笔记02 —— Shell补充
  • 05.06 09:22:46
    发表了文章 2024-05-06 09:22:46

    Linux笔记01 —— Linux初识与Shell汇总(请配合另一篇《Linux笔记02》一起使用)

    Linux笔记01 —— Linux初识与Shell汇总(请配合另一篇《Linux笔记02》一起使用)
  • 05.06 09:22:12
    发表了文章 2024-05-06 09:22:12

    Hive详解、配置、数据结构、Hive CLI

    Hive详解、配置、数据结构、Hive CLI
  • 05.06 09:20:57
    发表了文章 2024-05-06 09:20:57

    Zeppelin安装教程

    Zeppelin安装教程
  • 05.06 09:20:20
    发表了文章 2024-05-06 09:20:20

    Hive精选10道面试题

    Hive精选10道面试题
  • 05.06 09:18:46
    发表了文章 2024-05-06 09:18:46

    【史上最全】Hadoop精选18道面试题(附回答思路)

    【史上最全】Hadoop精选18道面试题(附回答思路)
  • 05.06 09:17:09
    发表了文章 2024-05-06 09:17:09

    8大Java排序方法(由简入繁),有代码详解和原理指导

    8大Java排序方法(由简入繁),有代码详解和原理指导
  • 05.06 09:15:38
    发表了文章 2024-05-06 09:15:38

    MySQL万字超详细笔记❗❗❗

    MySQL万字超详细笔记❗❗❗
  • 05.06 09:14:10
    发表了文章 2024-05-06 09:14:10

    Hive 拉链表详解及实例

    拉链表是一种数据仓库技术,用于处理持续增长且存在时间范围内的重复数据,以节省空间。它在Hive中通过列式存储ORC实现,适用于大规模数据场景,尤其当数据在有限时间内有多种状态变化。配置涉及事务管理和表合并选项。示例中展示了如何从原始订单表创建拉链表,通过聚合操作和动态分区减少数据冗余。增量数据可通过追加到原始表然后更新拉链表来处理。提供的Java代码用于生成模拟的订单增量数据,以演示拉链表的工作流程。
  • 05.06 09:12:54
    发表了文章 2024-05-06 09:12:54

    Hive 数仓及数仓设计方案

    数仓整合企业数据,提供统一出口,用于数据治理。其特点包括面向主题集成和主要支持查询操作。数仓设计涉及需求分析(如咨询老板、运营人员和行业专家)、确定主题指标(如电商的转化率)、数据标准设定、规模与成本计算、技术选型(如Hadoop生态组件)以及数据采集和操作。设计流程涵盖从理解需求到实施SQL函数和存储过程的全过程。
  • 05.06 09:11:32
    发表了文章 2024-05-06 09:11:32

    Hive 优化总结

    Hive优化主要涉及HDFS和MapReduce的使用。问题包括数据倾斜、操作过多和不当使用。识别倾斜可通过检查分区文件大小或执行聚合抽样。解决方案包括整体优化模型设计,如星型、雪花模型,合理分区和分桶,以及压缩。内存管理需调整mapred和yarn参数。倾斜数据处理通过选择均衡连接键、使用map join和combiner。控制Mapper和Reducer数量以避免小文件和资源浪费。减少数据规模可调整存储格式和压缩,动态或静态分区管理,以及优化CBO和执行引擎设置。其他策略包括JVM重用、本地化运算和LLAP缓存。
  • 05.06 09:09:08
    发表了文章 2024-05-06 09:09:08

    Hive 行列转换

    使用`lateral view + explode`或`inline`可将列转换为行,实现数据降维。例如,`explode(array|map)`用于单列转多行,`inline(array_struct)`将结构体数组拆分成多行。同样,通过条件聚合可实现行转列,常用于多行数据聚合到单行中,如示例所示的按月统计订单金额。
  • 05.06 09:07:11
    发表了文章 2024-05-06 09:07:11

    Hive实战 —— 电商数据分析(全流程详解 真实数据)

    关于基于小型数据的Hive数仓构建实战,目的是通过分析某零售企业的门店数据来进行业务洞察。内容涵盖了数据清洗、数据分析和Hive表的创建。项目需求包括客户画像、消费统计、资源利用率、特征人群定位和数据可视化。数据源包括Customer、Transaction、Store和Review四张表,涉及多个维度的聚合和分析,如按性别、国家统计客户、按时间段计算总收入等。项目执行需先下载数据和配置Zeppelin环境,然后通过Hive进行数据清洗、建表和分析。在建表过程中,涉及ODS、DWD、DWT、DWS和DM五层,每层都有其特定的任务和粒度。最后,通过Hive SQL进行各种业务指标的计算和分析。
  • 05.06 09:01:05
    发表了文章 2024-05-06 09:01:05

    Leetcode第382场周赛

    ```markdown 给定字符串`s`,计算按键变更次数,即使用不同键的次数,不考虑大小写差异。例如,`"aAbBcC"`变更了2次。函数`countKeyChanges`实现此功能。另外,求满足特定模式子集最大元素数,`maximumLength`函数使用`TreeMap`统计次数,枚举并构建子集,返回最大长度。最后,Alice和Bob玩鲜花游戏,Alice要赢需满足鲜花总数奇数、顺时针在[1,n]、逆时针在[1,m],返回满足条件的(x, y)对数,可通过奇偶性分类讨论求解。 ```
  • 05.06 08:59:54
    发表了文章 2024-05-06 08:59:54

    Leetcode第383场周赛

    在LeetCode第383场周赛中,选手完成了3道题目。第一题是关于边界上的蚂蚁,蚂蚁根据非零整数数组nums的值移动,返回蚂蚁返回边界上的次数。解题方法是计算数组累加和为0的次数。第二题涉及计算网格的区域平均强度,给定一个灰度图像和阈值,返回每个像素所属区域的平均强度。解题关键在于理解相邻像素和区域定义,并计算平均强度。第三题是恢复单词初始状态的最短时间问题,通过移除前k个字符并添加k个字符,求恢复原词所需的最短时间。解题策略是检查去除前k个字符后的子串是否能作为原词的前缀。
  • 05.06 08:57:45
    发表了文章 2024-05-06 08:57:45

    Leetcode第123场双周赛

    在LeetCode的第123场双周赛中,参赛者需解决三个问题。第一题涉及根据给定数组构建三角形并判断其类型,如等边、等腰或不等边,代码实现通过排序简化条件判断。第二题要求找出满足差值为k的好子数组的最大和,解决方案利用前缀和与哈希表提高效率。第三题则需要计算点集中满足特定条件的点对数量,解题策略是对点按坐标排序并检查点对是否满足要求。
  • 05.06 08:56:56
    发表了文章 2024-05-06 08:56:56

    Leetcode 30天高效刷数据结构和算法 Day1 两数之和 —— 无序数组

    给定一个无序整数数组和目标值,找出数组中和为目标值的两个数的下标。要求不重复且可按任意顺序返回。示例:输入nums = [2,7,11,15], target = 9,输出[0,1]。暴力解法时间复杂度O(n²),优化解法利用哈希表实现,时间复杂度O(n)。
  • 05.06 08:53:11
    发表了文章 2024-05-06 08:53:11

    【HBase入门与实战】一文搞懂HBase!

    该文档介绍了HBase,一种高吞吐量的NoSQL数据库,适合处理大规模数据。HBase具备快速读写、列式存储和天然支持集群部署的特点,常用于高并发场景。NoSQL与关系型数据库的主要区别在于数据模型、查询语言和可伸缩性。HBase的物理架构包括Client、Zookeeper、HMaster和RegionServer,其中RegionServer管理数据存储。HBase的读写流程利用MemStore和Bloom Filter提高效率。此外,文档还提到了HBase的应用,如时间序列数据、消息传递和内容服务。
  • 05.06 08:50:30
    发表了文章 2024-05-06 08:50:30

    实现HBase表和RDB表的转化(附Java源码资源)

    该文介绍了如何将数据从RDB转换为HBase表,主要涉及三个来源:RDB Table、Client API和Files。文章重点讲解了RDB到HBase的转换,通过批处理思想,利用RDB接口批量导出数据并转化为`List<Put>`,然后导入HBase。目录结构包括配置文件、RDB接口及实现类、HBase接口及实现类,以及一个通用转换器接口和实现。代码中,`RDBImpl`负责从RDB读取数据并构造`Put`对象,`HBaseImpl`则负责将`Put`写入HBase表。整个过程通过配置文件`transfer.properties`管理HBase和RDB的映射关系。
  • 05.06 08:46:41
    发表了文章 2024-05-06 08:46:41

    IDEA上的Scala环境搭建

    本文指导如何搭建Scala开发环境。首先,安装Scala编译器`scala-2.12.10.msi`,通过DOS窗口验证安装成功。然后,在IDEA中,安装Scala插件,创建Maven工程,删除默认包,新建Scala源码包,并在其中创建Scala Object类。接着,配置项目结构,添加Scala SDK,确保Maven、Language Level和Compiler的bytecode版本设置正确。最后,编写并测试基本的Scala代码。
  • 05.06 08:45:03
    发表了文章 2024-05-06 08:45:03

    【经验分享】如何在IDEA中快速学习|审查|复习代码工程?

    在IDEA中加速工程学习与审查,提升代码质量和维护性,关键操作包括:使用"Structure"浏览工程结构,通过"Find Usages"查找类、方法或变量引用,借助"Show Local Changes As UML"展示UML图。遵循从整体到局部的UML图学习,再到具体代码的详细探索,可系统理解设计理念。详情参考[IDEA UML教程](https://blog.csdn.net/weixin_44701426/article/details/124598053)。
  • 05.06 08:43:30
    发表了文章 2024-05-06 08:43:30

    常用大数据组件的Web端口号总结

    这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
  • 05.06 08:41:13
    发表了文章 2024-05-06 08:41:13

    【超全详解】Maven工程配置与常见问题解决指南

    检查Maven配置包括验证路径、设置pom.xml与Project Structure的Java版本。基本操作有`clean-compile`、`install`和`package`,其中`install`会将jar包放入本地仓库。获取他人工程后需修改配置、清除缓存、更新依赖等。配置文件应从Maven Repository找寻,选择稳定高版本。创建Maven工程可选archetype如`quickstart`或直接创建Java工程。基本目录结构遵循分层设计原则,常见问题包括假性导包、端口占用、时区问题等,对应解决方案包括删除本地仓库文件、调整系统设置或重新加载项目。
  • 05.06 08:39:14
    发表了文章 2024-05-06 08:39:14

    【经验分享】如何快速转化笔记格式为标准的MarkDown格式并进行博客发布,提高生产力?

    本文介绍如何将笔记转换为Markdown格式以快速发布博客。通过使用特定的Prompt和AI工具Claude 3 Sonnet,可以将Notepad++笔记转为适合CSDN博客的Markdown格式。转换要求包括:正确标记代码段、调整缩进和格式、使用Markdown标题、列表、链接和图片语法。Claude 3 Sonnet能有效处理格式转换,将转换后的Markdown内容复制到编辑器,即可便捷发布博客。
  • 05.06 08:37:32
    发表了文章 2024-05-06 08:37:32

    【经验分享】Typora 设置代码块的默认语言并设置为开机启动

    在Typora中设置代码块默认语言为Java(或其他语言)的自动化方法。通过下载AHK(AutoHotkey)软件,创建一个.ahk脚本,设定`Ctrl+Shift+K`快捷键触发代码块并输入指定语言。将脚本改名为.ahk扩展名并运行,确保图标出现在任务栏。要实现开机启动,使用Win+R打开"运行",输入shell:startup并粘贴.ahk文件到启动文件夹。
  • 05.06 08:35:10
    发表了文章 2024-05-06 08:35:10

    《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解

    《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解
  • 05.06 08:33:15
    发表了文章 2024-05-06 08:33:15

    【简单无脑】自动化脚本一键安装虚拟机下的MySQL服务

    该文章提供了在虚拟机上安装MySQL服务的简化方法,特别是针对新手。作者提供了一个自动化脚本`install_mysql.sh`,使得安装过程更简单。用户需要下载`install.rpm`资源,将其放在指定目录下,然后创建并编辑脚本文件,将提供的代码粘贴进去,通过`chmod u+x`授权,最后运行脚本`./install_mysql.sh [rpm文件路径]`来安装MySQL。文章还附有相关图片说明。
  • 05.06 08:31:36
    发表了文章 2024-05-06 08:31:36

    何时需要指定泛型:Scala编程指南

    本文是Scala编程指南,介绍了何时需要指定泛型类型参数。泛型提供代码重用和类型安全性,但在编译器无法推断类型、需要提高代码清晰度、调用泛型方法或创建泛型集合时,应明确指定类型参数。通过示例展示了泛型在避免类型错误和增强编译时检查方面的作用,强调了理解泛型使用时机对编写高效Scala代码的重要性。
  • 05.06 08:28:31
    发表了文章 2024-05-06 08:28:31

    Scala01 —— Scala基础

    Scala 是一种基于 JVM 的多范式编程语言,它融合了面向对象和函数式编程的特点。本文档介绍了Scala的基础知识,包括如何搭建开发环境、语言特性、变量和数据类型、程序逻辑、运算符、控制流、集合以及方法和函数的使用。特别强调了Scala集合的重要性,它们作为数据结构支持多种操作,并且有许多内置的算子和库来解决问题。文档还涵盖了如何在IDEA中配置Scala SDK,以及如何使用元组、映射、数组和模式匹配等核心概念。此外,文档还讨论了Scala与Java变量的区别,以及如何通过隐式类和字符串插值等扩展语言功能。
  • 05.06 08:21:53
    发表了文章 2024-05-06 08:21:53

    【科研入门】搭建与配置云服务器的论文环境

    本文介绍了如何搭建云服务器并配置论文代码环境,以AutoDL平台为例。首先,租用服务器并选择符合代码需求的镜像版本,如Python 3.7、TensorFlow 1.15和PyTorch。接着,启动服务器进入终端,克隆项目代码并使用Conda创建隔离的环境安装所需包。如果需在Pycharm中工作,还需在Pycharm内创建相同环境。最后,根据项目配置安装Tensorflow和PyTorch,遇到缺失包时通过`pip install`补充。完成配置后,可克隆服务器以备后续使用。遇到版本不兼容问题,可调整Conda环境的Python版本。
  • 发表了文章 2024-05-15

    数据的格式与描述

  • 发表了文章 2024-05-15

    函数式 Scala的重要基础!一文掌握!

  • 发表了文章 2024-05-15

    【史上最全】Hadoop精选18道面试题(附回答思路)

  • 发表了文章 2024-05-15

    Linux笔记01 —— Linux初识与Shell汇总(请配合另一篇《Linux笔记02》一起使用)

  • 发表了文章 2024-05-15

    Linux笔记02 —— Shell补充

  • 发表了文章 2024-05-15

    Hive 拉链表详解及实例

  • 发表了文章 2024-05-15

    Hive 优化总结

  • 发表了文章 2024-05-15

    Hive 行列转换

  • 发表了文章 2024-05-15

    Hive实战 —— 电商数据分析(全流程详解 真实数据)

  • 发表了文章 2024-05-15

    实现HBase表和RDB表的转化(附Java源码资源)

  • 发表了文章 2024-05-15

    【经验分享】如何快速转化笔记格式为标准的MarkDown格式并进行博客发布,提高生产力?

  • 发表了文章 2024-05-15

    何时需要指定泛型:Scala编程指南

  • 发表了文章 2024-05-15

    【经验分享】如何在IDEA中快速学习|审查|复习代码工程?

  • 发表了文章 2024-05-15

    Scala 03 —— Scala OOP Extension

  • 发表了文章 2024-05-15

    Scala 05 —— 函数式编程底层逻辑

  • 发表了文章 2024-05-15

    Scala 04 —— Scala Puzzle 拓展

  • 发表了文章 2024-05-15

    异常详解,一文搞懂!

  • 发表了文章 2024-05-15

    一文搞懂线程!!

  • 发表了文章 2024-05-15

    【经验分享】用Linux脚本管理虚拟机下的大数据服务

  • 发表了文章 2024-05-15

    Hive UDF UDTF UDAF 自定义函数详解

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息