勋章
我关注的人
粉丝
技术能力
- Shell
- Hive
- Spark
- Flume
- Hadoop
- DataX
- FineBI
- Kafka
暂时未有相关云产品技术能力~
大数据的坑，让我来踩吧！ -- moon_coder
-
发表了文章 2024-05-26
大数据用户画像之基本概念
大数据用户画像利用大数据技术分析用户基本信息、消费行为、兴趣、社交及地理数据，创建详细用户模型，助力企业精准营销。涉及技术包括数据挖掘、大数据处理（Hadoop、Spark）、数据可视化、机器学习和数据库管理。通过用户画像，企业可实现市场定位、个性化推荐、精准广告、产品优化和风险控制。学习该领域需掌握多个技术栈，包括相关算法、工具及业务理解。
-
发表了文章 2024-05-26
Maxwell 概述、安装、数据同步【一篇搞定】！
Maxwell 是一个由 Zendesk 开源的用于 MySQL 数据库实时数据捕获和同步的工具，支持多种数据库系统，以 JSON 格式输出变更数据。它实时监控数据库中的更新，将变化传递给其他系统，常用于实时数据管道、数据仓库和事件驱动架构。Maxwell 具有实时性、可配置性和高性能等特点。其工作流程包括 Binlog 解析、数据解析、重构、发布到消息队列（如 Kafka）以及事件处理。安装时需注意 JDK 版本，并配置 MySQL、Zookeeper 和 Kafka。此外，Maxwell 支持定向监听特定库表，并能进行历史和增量数据同步。
-
发表了文章 2024-05-26
DataX 概述、部署、数据同步运用示例
DataX是阿里巴巴开源的离线数据同步工具，支持多种数据源之间的高效传输。其特点是多数据源支持、可扩展性、灵活配置、高效传输、任务调度监控和活跃的开源社区支持。DataX通过Reader和Writer插件实现数据源的读取和写入，采用Framework+plugin架构。部署简单，解压即可用。示例展示了如何配置DataX同步MySQL到HDFS，并提供了速度和内存优化建议。此外，还解决了NULL值同步问题及配置文件变量传参的方法。
-
发表了文章 2024-05-26
Ubuntu 20.04 卸载与安装 MySQL 5.7 详细教程
该文档提供了在Ubuntu上卸载和安装MySQL 5.7的步骤。首先，通过`apt`命令卸载所有MySQL相关软件包及配置。然后，下载特定版本（5.7.32）的MySQL安装包，解压并安装所需依赖。接着，按照特定顺序安装解压后的deb包，并在安装过程中设置root用户的密码。安装完成后，启动MySQL服务，连接数据库并验证。最后，提到了开启GTID和二进制日志的配置方法。
-
发表了文章 2024-05-26
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
数据仓库建模是组织和设计数据以支持数据分析的过程，包括ER模型和维度建模。ER模型通过实体和关系描述数据结构，遵循三范式减少冗余。维度建模，特别是Kimball方法，用于数据仓库设计，便于分析和报告。事实表存储业务度量，如销售数据，分为累积、快照、事务和周期性快照类型。维度表提供描述性信息，如时间、产品、地点和客户详情。数仓通常分层为ODS(源数据)、DWD(明细数据)、DIM(公共维度)、DWS(数据汇总)和ADS(应用数据)，以优化数据管理、质量、查询性能和适应性。
-
发表了文章 2024-05-26
Linux（CentOS7.5） 安装部署 Python3.6（超详细！包含 Yum 源配置！）
该指南介绍了在Linux系统中配置Yum源和安装Python3的步骤。首先，通过`yum install`和`wget`命令更新和备份Yum源，并从阿里云获取CentOS和EPEL的repo文件。接着，清理和更新Yum缓存。然后，下载Python3源代码包，推荐使用阿里云镜像加速。解压后，安装必要的依赖，如gcc。在配置和编译Python3时，可能需要解决缺少C编译器的问题。完成安装后，创建Python3和pip3的软链接，并更新环境变量。最后，验证Python3安装成功，并可选地升级pip和配置pip源以提高包下载速度。
-
发表了文章
2024-05-26
Spark 分析计算连续三周登录的用户数
-
发表了文章
2024-05-26
HBase 相关面试题
-
发表了文章
2024-05-26
Exception in thread “main“ java.io.IOException: No FileSystem for scheme: hdfs
-
发表了文章
2024-05-26
HBase Shell-org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 已解决
-
发表了文章
2024-05-26
大数据之 Solr 集群搭建
-
发表了文章
2024-05-26
Hive 求多个字段的中位数（按行求中位数）
-
发表了文章
2024-05-26
大数据用户画像之基本概念
-
发表了文章
2024-05-26
Cannot request memory (Xms 65536 kb, Xmx 270336 kb) from system for job test, sleep for 60 secs and
-
发表了文章
2024-05-26
使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
-
发表了文章
2024-05-26
【机器学习】Spark ML 对数据特征进行 One-Hot 编码
-
发表了文章
2024-05-26
Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.core.exc.InputCoercionException
-
发表了文章
2024-05-26
【指标计算】Spark 计算指定用户与其他用户购买的相同商品
-
发表了文章
2024-05-26
IDEA 提交代码到 GitHub 时发生错误
-
发表了文章
2024-05-26
Hadoop 集群一直处于安全模式，强制退出后出现数据丢失警告。解决方法
-
发表了文章
2024-05-26
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
-
发表了文章
2024-05-26
DataGrip 配置 HiveServer2 远程连接访问（含账号密码验证）
-
发表了文章
2024-05-26
Vmware 虚拟机挂起恢复后发现无法 Ping 通，无法连接到主机
-
发表了文章
2024-05-26
Hadoop Yarn 核心调优参数
-
发表了文章
2024-05-26
Hive Cli / HiveServer2 中使用 dayofweek 函数引发的BUG！
-
发表了文章
2024-05-26
NameNode 处理线程配置（心跳并发）
