勋章
我关注的人
粉丝
技术能力
- Python
- hadoop
- 大数据
- SQL
暂时未有相关云产品技术能力~
数据开发攻城狮，常年混迹于数据之中。VX公众号：张飞的猪
-
发表了文章 2024-03-12
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路，就是聊聊怎么开始去做数据治理这件事情。说起数据治理，有时候虽然看了很多文章，看了很多的介绍，了解数据治理的理论，但是实际上需要我们去搞的时候，就会踩很多的坑。这里记一下自己做数据治理的一些思路，做做笔记，也分享给需要的同学。 当然，想要做数据治理，想要学习了解，一下数据治理的范围，理论等，最好可以看看别人怎么做的，了解数据治理可以参考：[数据仓库(11)什么是大数据治理，数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
-
发表了文章 2024-03-11
数据仓库(11)什么是大数据治理，数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？
-
发表了文章 2024-03-09
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化，所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流逝发生缓慢的变化，与数据增长较为快速的事实表相比，维度变化相对缓慢。阴齿这个就叫做缓慢变化维。
-
发表了文章 2024-03-10
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。 维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
-
发表了文章 2023-12-23
数据仓库(08)数仓事实表和维度表技术
所谓的事实表和维度表技术，指的就是如何和构造一张事实表和维度表，是的事实表和维度表，可以涵盖现在目前的需要和方便后续下游数据应用的开发
-
发表了文章 2023-12-04
数据仓库(07)数仓规范设计
所谓的规范的定义，简单理解，如果把数据当作货物，那就是货物的分类，以及对应相关的属性，比如生产日期，某个原料的含量等，我们可以把相近或者相同货物，按照一定的规律，放在一起，方便入库与出库，需要某个货物按照这些规律就可以，以比较快的速度拉取出来。 一般的规范设计包含一下几个方面:划分和定义数据域、业务过程、维度、度量 原子指标、修饰类型、修饰词、时间周期、派生指标。
-
发表了文章 2023-10-10
数据仓库(06)数仓分层设计
目前主流的数据仓库分层大多为四层,也有五层的架构，这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。
-
发表了文章 2023-09-12
数据仓库(5)数仓Kimball与Inmon架构的对比
数据仓库主要有四种架构，Kimball的DW/BI架构、独立数据集市架构、辐射状企业信息工厂Inmon架构、混合Inmon与Kimball架构。不过不管是那种架构，基本上都会使用到维度建模。
-
发表了文章 2023-07-10
数据仓库(4)基于维度建模的数仓KimBall架构
基于维度建模的KimBall架构，将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用，如下图。
-
发表了文章 2023-06-21
数据仓库(3)数仓建模之星型模型与维度建模
维度建模是一种将数据结构化的逻辑设计方法，也是一种广泛应用的数仓建模方式，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。
-
发表了文章 2022-11-10
数据仓库(02)数仓、大数据与传统数据库的区别
传统数据库是存储根据范式建模的关系型数据，主要用于OLTP（on-line transaction processing）翻译为联机事务处理的软件。大数据是根据map redurce范式构建的出局处理，存储的软件，主要用于OLAP是做分析处理。大数据和传统数据库，还有一个更大的区别在于，处理的数据量以及计算量的大小，当传统数据库，无法在人可以接受的短时间内计算出结果，那这个数据就叫大数据，需要使用到大数据技术处理。而数据仓库本质上是一种数据的处理方式，而不是一种基础软件，它可以依赖于传统数据库，也可以依赖大数据技术去构建。
-
发表了文章 2022-10-12
数据仓库(01)什么是数据仓库，数仓有什么特点
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
-
发表了文章
2025-08-30
使用git bash ，出现Can‘t get terminal settings: The handle is invalid. 的解决方法与思路
-
发表了文章
2025-08-10
通过Certbot自动申请更新HTTPS网站的SSL证书
-
发表了文章
2025-03-05
Claude 3.7登顶webdev榜首，国内怎么使用Claude 3.7
-
发表了文章
2024-12-26
Makefile文件中，两个 \$ 的变量变量\$\$Xxx 与一个\$的变量\ $Xxx的区别
-
发表了文章
2024-12-11
怎么禁用 vscode 中点击 go 包名时自动打开浏览器跳转到 pkg.go.dev
-
发表了文章
2024-11-09
GoLang协程Goroutiney原理与GMP模型详解
-
发表了文章
2024-11-06
什么是AOP面向切面编程？怎么简单理解？
-
发表了文章
2024-11-02
vs code常见的查找快捷键大全
-
发表了文章
2024-10-30
什么是多态？面向对象中对多态的理解
-
发表了文章
2024-08-21
OpenAI 将向企业开放 GPT-4o 模型定制版，国内怎么使用ChatGPT？
-
发表了文章
2024-08-14
国内Claude 3.5怎么注册使用？
-
发表了文章
2024-08-10
chatgpt这么火，现在AI搜索引擎有哪些呢？
-
发表了文章
2024-08-04
怎么在Ubuntu系统云服务器搭建自己的幻兽帕鲁服务器？幻兽帕鲁搭建教程
-
发表了文章
2024-07-31
如何在Linux云服务器上通过Docker Compose部署安装Halo，搭建个人博客网站？
-
发表了文章
2024-07-30
使用Nginx Proxy Manager配置Halo的反向代理和申请 SSL 证书
-
发表了文章
2024-07-12
《JavaScript权威指南第7版》中文PDF+英文PDF+源代码 +JavaScript权威指南(第6版)(附源码)PDF下载阅读分享推荐
-
发表了文章
2024-07-10
ChatGPT提问获取高质量答案的艺术PDF下载书籍推荐分享
-
发表了文章
2024-07-10
ChatGPT提问提示指南PDF下载经典分享推荐书籍，让你做好prompt工程
-
发表了文章
2024-07-08
利用Python进行数据分析PDF下载经典数据分享推荐
-
发表了文章
2024-07-06
《从零开始学Python》(第二版) PDF下载读书分享
-
回答了问题
2023-09-12
DataWorks如何创建mysql实例？
据我了解，应该是在数据集成那里配置。 下面是数据集成的文档。 https://help.aliyun.com/zh/dataworks/user-guide/data-integration/?spm=a2c4g.11186623.0.0.99505d17gZ9CZL赞1 踩0 评论0 -
回答了问题
2023-09-12
DataWorks任务不调度怎么办？
当然是排查为什么不调度了。然后针对性的解决问题。赞0 踩0 评论0