德哥PG系列课程直播(第14讲):PostgreSQL 数据清洗、采样、脱敏、批处理、合并

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 知识点 知识点:数据清洗、去重、采样、脱敏、批处理、合并 学习资料 1、PostgreSQL 数据采样与脱敏标签:PostgreSQL , 采样 , 脱敏PostgreSQL 巧妙的数据采样方法 2、PostgreSQL 数据去重大法标签:PostgreSQL , 去重 , 单列去重 , 多列去重.

直播回顾

地址:https://yq.aliyun.com/live/885

知识点

知识点:数据清洗、去重、采样、脱敏、批处理、合并

学习资料

1、PostgreSQL 数据采样与脱敏
标签:PostgreSQL , 采样 , 脱敏
PostgreSQL 巧妙的数据采样方法

2、PostgreSQL 数据去重大法
标签:PostgreSQL , 去重 , 单列去重 , 多列去重 , 行去重 , 多列混合去重 , varidict 参数 , 数组排序 , 数组元素重排
PostgreSQL 重复 数据清洗 优化教程
标签:PostgreSQL , 重复数据清洗 , with recursive , 递归 , 流式计算 , pipelinedb , 窗口查询 , file_fdw , insert on conflict , LLVM , 并行创建索引
车联网案例,轨迹清洗 - 阿里云RDS PostgreSQL最佳实践 - 窗口查询
标签:PostgreSQL , 窗口函数 , 车联网 , 轨迹 , 轨迹清洗 , lag , lead

3、懒人改善生活之 - 数据入库实时转换
标签:PostgreSQL , ETL , 数据转换 , 实时转换 , 规则 , 触发器

4、PostgreSQL 如何实现批量更新、删除、插入
标签:PostgreSQL , 批量 , batch , insert , update , delete , copy

5、PostgreSQL upsert功能(insert on conflict do)的用法
标签:PostgreSQL , upsert , insert on conflict do

6、PostgreSQL 如何实现upsert与新旧数据自动分离
很多业务也行有这样的需求,新的数据会不断的插入,并且可能会有更新。 对于更新的数据,需要记录更新前的记录到历史表。

7、PostgreSQL 数据rotate用法介绍
标签:PostgreSQL , 按时间覆盖历史数据

8、PostgreSQL rotate table 自动清理调度 - 约束,触发器
标签:PostgreSQL , rotate table , 自动清理 , 触发器 , insert into on conflict

9、PostgreSQL 相似文本检索与去重 - (银屑病怎么治?银屑病怎么治疗?银屑病怎么治疗好?银屑病怎么能治疗好?)
标签:PostgreSQL , 相似字符串 , 全文检索 , 去重 , 相似问题 , 医疗 , plr , plpython , madlib , 文本处理

往期回顾

PostgreSQL多场景阿里云沙箱实验(第13讲):PostgreSQL 图式关系数据应用实践 https://yq.aliyun.com/live/869
PostgreSQL多场景阿里云沙箱实验(第12讲):PostgreSQL 物联网最佳实践 https://yq.aliyun.com/live/846
PostgreSQL多场景阿里云沙箱实验(第11讲):PostgreSQL 在社交应用领域的最佳实践 https://yq.aliyun.com/live/824
PostgreSQL多场景阿里云沙箱实验(第10讲):PostgreSQL 时空调度数据库实践 https://yq.aliyun.com/live/807
PostgreSQL多场景阿里云沙箱实验(第9讲):PostgreSQL 时空业务实践 https://yq.aliyun.com/live/794
PostgreSQL多场景阿里云沙箱实验(第8讲):PostgreSQL 简单空间应用实践 https://yq.aliyun.com/live/783
PostgreSQL多场景阿里云沙箱实验(第7讲):PostgreSQL 并行计算 https://yq.aliyun.com/live/733
PostgreSQL多场景阿里云沙箱实验(第6讲):PostgreSQL 用户画像系统实践 https://yq.aliyun.com/live/710
PostgreSQL多场景阿里云沙箱实验(第5讲):PostgreSQL 估值、概率计算 https://yq.aliyun.com/live/691
PostgreSQL多场景阿里云沙箱实验(第4讲):PostgreSQL 实时多维分析 https://yq.aliyun.com/live/659
PostgreSQL多场景阿里云沙箱实验(第3讲):PostgreSQL 实时搜索实践https://yq.aliyun.com/live/647
PostgreSQL多场景阿里云沙箱实验(第2讲):PG秒杀场景实践https://yq.aliyun.com/live/615
PostgreSQL多场景阿里云沙箱实验(第1讲):如何快速构建海量逼真测试数据https://yq.aliyun.com/live/594

主讲人

德哥(云栖社区昵称:德哥)
阿里云数据库专家,PostgreSQL中国社区校长。

格言:公益是一辈子的事, I'm digoal, just do it.

专家已经在社区发布了1946篇技术博文,很快将突破2000篇。厉害了!
_
想要成为德哥粉丝请直接点击这里

直播时间

时间:2019年2月27日 19:30

直播地址

PostgreSQL技术进阶群,钉钉扫码入群看直播

PG

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
4月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何进行PostgreSQL(简称PG)的全量和增量备份管理
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
5月前
|
关系型数据库 PostgreSQL
postgresql如何将没有关联关系的两张表的字段合并
【6月更文挑战第2天】postgresql如何将没有关联关系的两张表的字段合并
150 3
|
6月前
|
关系型数据库 PostgreSQL
postgresql将没有关联关系的两张表合并成一张
【5月更文挑战第4天】postgresql将没有关联关系的两张表合并成一张
238 5
|
5月前
|
关系型数据库 PostgreSQL
postgresql如何将没有关联关系的两张表合并成一张
【6月更文挑战第2天】postgresql如何将没有关联关系的两张表合并成一张
126 0
|
6月前
|
关系型数据库 数据库 PostgreSQL
|
6月前
|
负载均衡 监控 关系型数据库
PostgreSQL从小白到高手教程 - 第48讲:PG高可用实现keepalived
PostgreSQL技术大讲堂 - 第48讲:PG高可用实现keepalived
239 1
|
6月前
|
SQL 关系型数据库 数据库
PostgreSQL从小白到高手教程 - 第44讲:pg流复制部署
PostgreSQL技术大讲堂 - 第44讲:pg流复制部署
185 0
|
6月前
|
安全 关系型数据库 数据库
上新|阿里云RDS PostgreSQL支持PG 16版本,AliPG提供丰富自研能力
AliPG在社区版16.0的基础上,在安全、成本、可运维性等多个方面做了提升,丰富的内核/插件特性支持,满足业务场景的需求
|
6月前
|
SQL 关系型数据库 数据库
postgresql|数据库|pg数据库的文件系统详解---最全面的解析
postgresql|数据库|pg数据库的文件系统详解---最全面的解析
678 0
|
11月前
|
关系型数据库 数据库 PostgreSQL
flink postgresql cdc实时同步(含pg安装配置等)
flink postgresql cdc实时同步(含pg安装配置等)
455 0
下一篇
无影云桌面