德哥_社区达人页

DBA一族九阳神功秘籍

宝剑赠英雄 - 任意字段\条件等效查询, 探探PostgreSQL多列展开式B树

标签 PostgreSQL , 多列索引 , btree , gin , gist , brin , btree_gist , btree_gin , 复合索引 , composite index , 任意字段等效查询 背景 多列的组合查询在实际的应用中也较为常见，比如淘宝购物网站的商品搜索 有发货地、分类、是否包邮、是否货到付款、是否天猫、二手、等等许多选项，这些选项在设计时可能使用多个字段来表示（当然，有些可能会使用BIT合并成单个字段来表述）。

PostgreSQL GIN索引实现原理

PostgreSQL GIN multi-key search 优化

Gitlab从删库到恢复 - 数据库备份\恢复\容灾\HA的靠谱姿势

标签 PostgreSQL , 节假日巡检 , 监控 , 闪回 , flash back query , trigger , event trigger , 回收站 , recycle bin , pgtranshcan , hook , _PG_init , 事件触发器 , 审计 , 跟踪 , 逻辑复制 , DDL逻辑复制 , UDR , BDR , 数据库安全 背景 如果你是身处数据库行业的朋友，最近可能被朋友圈的各种关于 "炉石数据被删" 、 "mongoDB遭黑客勒索" 的事件刷屏。

数据库界的华山论剑

蜂巢的艺术与技术价值 - PostgreSQL PostGIS's hex-grid

脑王水哥王昱珩惜败人工智能, 这不可能. - 图像识别到底是什么鬼

标签 PostgreSQL , haar wavelet , 图像识别 , 人工智能 , 动态图像识别 , 最强大脑 背景 水哥王昱珩不用多介绍，在最强大脑第六期晋级赛第五场，在“微观辨水”环节中，520杯同质同量同水源的水被他一眼辨认出，Dr.魏给出9分难度分，最终王昱珩以117分晋级。

聊聊between and的坑 和 神奇的解法

技术流乱入拜年帖 - 小鸡吉吉和小象(PostgreSQL)Pi吉的鸡年传奇

我家有只小鸡鸡，它的名字叫吉吉。吉吉有一个铁杆鸡友大象哥哥（PostgreSQL）。 吉吉给大伙拜年啦，祝大家鸡年吉祥，新年新气息，与好鸡友大象哥哥愉快的玩耍，鸡情四射。 故事从吉吉和好鸡友大象哥哥偶遇的那天开始。

对盗图、盗文、盗墓深恶痛绝吗？PostgreSQL结合余弦、线性相关算法 在文本、图片、数组相似 等领域的应用 - 3 rum, smlar应用场景分析

对盗图、盗文、盗墓深恶痛绝吗？PostgreSQL结合余弦、线性相关算法 在文本、图片、数组相似 等领域的应用 - 2 smlar插件详解

对盗图、盗文、盗墓深恶痛绝吗？PostgreSQL结合余弦、线性相关算法 在文本、图片、数组相似 等领域的应用 - 1 理论 - tf/idf

从电波表到数据库小程序之 - 数据库异步广播(notify/listen)

标签 PostgreSQL , notify , listen , 异步消息 背景 小时候就梦想有个酷酷的电波表(虽然现在还没有拥有)，不过电波表和PostgreSQL有什么关系呢？听我道来。

PostgreSQL 数据库扩展语言编程 之 plpgsql - 1

支付宝(AR虚拟现实)红包 玩法与技术背景 - GIS(LBS)、图像识别与秒杀技术的完美结合

背景 作为搞IT的小伙伴们，对虚拟现实（AR）应该并不陌生，这次支付宝带来了一个很有趣的功能，虚拟现实与藏红包结合起来。 简单介绍一下这个业务，然后我们再来思考背后的技术。 支付宝(AR虚拟现实)藏红包、找红包 玩法介绍 想象一下，你可以把你的红包藏在世界各地的任意角落，让全世界的人来找红包

PostgreSQL PHP 开发者手册

PostgreSQL Python 开发者手册

PostgreSQL Java 开发者手册

PostgreSQL C语言 开发者手册

想挑战AlphaGO吗？先和PostgreSQL玩一玩?? PostgreSQL与人工智能(AI)

标签 PostgreSQL , AI , 人工智能 , 神经网络 , 机器学习 , MADlib , Greenplum , 物联网 , IoT , pivotalR , R 背景 想必很多朋友这几天被铺天盖地的AI战胜60位围棋高手的新闻，我们不得不承认，人工智能真的越来越强了。 ht

PostgreSQL 全表 全字段 模糊查询的毫秒级高效实现 - 搜索引擎也颤抖了

标签 PostgreSQL , 分词 , 全文检索 , 全字段检索 , 任意字段检索 , 下拉框选择 , 搜索引擎 背景 在一些应用程序中，可能需要对表的所有字段进行检索，有些字段可能需要精准查询，有些字段可能需要模糊查询或全文检索。 比如一些前端页面下拉框的勾选和选择。 这种需求对于

PostgreSQL 在被除数=0时的小纯真和小倔强

PostgreSQL开发小讲堂 - 不等于、数组不包含 要不要用索引？

在OOM现场 谈一谈数据库内存分配, 以及审计的重要性

2017元旦,你被闰秒吓到了吗? - 闰秒背景与数据库处理

标签 PostgreSQL , Linux , POSIX , UT1 , UTC , leap second , 闰秒 , epoch , solar time , 太阳时 , unix time , Universal Time , Coordinated Universal Time , I

ApsaraDB的左右互搏术 - 解决企业痛处 TP+AP混合需求 - 无须再唱《爱你痛到不知痛》

标签 PostgreSQL , HybridDB , HTPA , OLTP , OLAP , 混合场景 , Oracle , 企业痛点 , 数据库痛点 背景 随着IT行业在更多的传统行业渗透，我们正逐步的在进入DT时代，让数据发挥价值是企业的真正需求，否则就是一堆废的并且还持续消耗企业人

元旦技术大礼包 - 2017金秋将要发布的PostgreSQL 10.0已装备了哪些核武器？

标签 PostgreSQL , 10.0 , 金秋 , 元旦 , 大礼包 , commitfest 背景 早上送给大家的新年大礼包，一年一个大版本是PostgreSQL社区的传统，虽然发布时间通常为秋天，还有一段时间，但是已经迫不及待地想看看2017金秋将要发布的10.0版本已经装备了哪些

从难缠的模糊查询聊开 - PostgreSQL独门绝招之一 GIN , GiST , SP-GiST , RUM 索引原理与技术背景

标签 PostgreSQL , gist , sp-gist , gin , rum index , 模糊查询 , 搜索引擎 , token位置搜索 , pg_hint_plan , 自动优化 , 分词 , like '%xxx%' 背景 模糊查询，是一个需求量很大，同时也是一个对数据库来

PostgreSQL 重复 数据清洗 优化教程

PostgreSQL standby recover的源码分析 (walreceiver唤醒时机？ 为什么standby crash后walreceiver不会立即被唤醒?)

Linux 时钟精度 与 PostgreSQL auto_explain (explain timing 时钟开销估算)

从天津滨海新区大爆炸、危化品监管聊聊 IT人背负的社会责任感

标签 PostgreSQL , 天津滨海新区大爆炸 , 危险品 , 危化品监管 , RDKit , 化学插件 , 社会关系分析 , 毒品分析 , 化学反应 , 机器学习 , 地理位置 , PostGIS 背景 缘分所致，前几天与一些来自ING行业的企业做了一次深入的交流，有感而发，写下本文

从真假美猴王谈起 - 让套牌车、克隆x 无处遁形的技术手段思考

标签 PostgreSQL , RFID , 物联网 , IoT , 套牌车 , 克隆车 , Wavelet , 图像相似度 , 传输加密 , 伪装 背景 西游记想必大家小时候都看过吧，其中有一集“真假美猴王”还记得吗？ 假的美猴王简直是克隆的，和孙悟空一模一样。一开始菩提祖师、如来佛祖

恭迎万亿级营销(圈人)潇洒的迈入毫秒时代 - 万亿user_tags级实时推荐系统数据库设计

标签 PostgreSQL , 标签 , 推荐系统 , 实时圈人 , 数组 , gin , gist , 索引 , rum , tsvector , tsquery , 万亿 , user , tag , 淘宝 背景 推荐系统是广告营销平台的奶牛，其核心是精准、实时、高效。

DBA专供 冈本003系列

标签 PostgreSQL , 闪回 , flash back query , trigger , event trigger , 回收站 , recycle bin , pgtranshcan , hook , _PG_init , 事件触发器 , 审计 , 跟踪 , 逻辑复制 , DDL逻辑复

从相似度算法谈起 - Effective similarity search in PostgreSQL

标签 PostgreSQL , 数组 , 相似度 背景 相似度分析是一个非常普遍的需求，例如根据用户提供的线索，从一堆文本数据、图片数据、视频数据中筛选一段与用户的描述相近的。 我之前写过一系列的文章来介绍，文本、图片相似度搜索的技术和使用场景。 《PostgreSQL 在视频、图片去

一场IT民工 与 人贩子 之间的战争 - 感受来自PostgreSQL的爱

标签 PostgreSQL , 图数据库 , 社会关系分析 , 流式分析 , 人贩子 , 图像识别 , 人脸识别 , 公安刑侦 , pipelinedb , stream , neo4j , plproxy , sharding , 交通数据处理 , 天眼 背景 快过年啦，提防人贩子，小孩

用PostgreSQL描绘人生的高潮、尿点、低谷 - 窗口/帧 or 斜率/导数/曲率/微积分?

标签 PostgreSQL , 曲线拐点 , 窗口查询 , 帧 , 窗口 , 导数 , 曲率 , 微积分 , 斜率 背景 人生就像一场戏，有高潮，有尿点，有低谷。如果用曲线来描述漫漫人生路的话，怎么找出高潮、尿点、低谷呢？ 其实类似的场景还有很多，比如来自传感器（比如人身上可以探测的指标就有很多）的监控数据；服务器的监控数据；温度，湿度的变化数据；等等，都可以数字化，用曲线来表示。

金融风控、刑侦、社会关系、人脉分析等场景思考 - PostgreSQL如何实现图式应用场景

标签 PostgreSQL , pgrouting , neo4j , graph database , 图数据库 , 金融风险控制 , 风控 , 刑侦 , 社会关系 , 近亲 , linkedin , 人脉 背景 人类是群居动物，随着人口的增长，联络方式越来越无界化，人与人，人与事件，人与时间之间形成了一张巨大的关系网络。

用PostgreSQL找回618秒逝去的青春 - 递归收敛优化

标签 PostgreSQL , 少量not in大量 , 收敛优化 , 递归优化 , 收敛查询优化 select (300 ids) not in (select ids from 300万) 背景 有一个这样的场景，一张小表A，里面存储了一些ID，大约几百个。 （比如说巡逻车辆ID，环卫车辆的ID，公交车，微公交的ID）。   另外有一张日志表B，每条记录中的ID

distinct xx和count(distinct xx)的变态递归优化方法 - 收敛(skip scan)扫描

标签 PostgreSQL , 递归去重 , 递归优化 , count(distinct ), 稀疏列 , 统计 背景 今天要说的这个优化是从前面一篇讲解《performance tuning case :use cursor or trigger replace group by and order by》 http://blog.163.com/digoal@126/blog/st

PostgreSQL 按拼音排序 - convert to GBK/EUC_CN coding

标签 PostgreSQL , conversion , pg_conversion , 拼音 , 编码转换 , convert , convert_to , convert_from 背景 国内的应用，在文本排序上基本都是按照拼音来进行排序的。 在不同的字符集中，汉字的编码可能不一样，比如UTF8和GBK，其中GBK是按拼音的顺序进行编码的，而UTF8则不是。 所以如果你的数据库使

PostgreSQL 从源码找出哪些操作需要超级用户权限 - 阿里云rds_superuser和superuser有什么区别

标签 PostgreSQL , 超级用户 , superuser 背景 在数据库中哪些操作需要超级用户的权限才能执行？ 这个问题翻文档可能翻不全面，或者是已经比较难以完成的任务。 但是从源码里面是比较好找出这个答案的。 权限 例如 postgres=# select * from pg_authid; rolname | rolsuper | rolin

如何解决数据库分词的拼写纠正问题 - PostgreSQL Hunspell 字典 复数形容词动词等变异还原

标签 PostgreSQL , Hunspell , 分词 , 复数还原 , 字典 背景 在英语中，名词通常都有复数，表示多个；形容词，过去式，动词等。 有large, larger, largest, stories, eating, did, doing, hacked这样的。 这可能会给分词带来一定的困扰，例如我们来看看PG默认的ts config怎么处理它的。 比如engli

PostgreSQL update returning NEW|OLD column value 在对账|购票|防纂改|原子操作中的妙用

标签 PostgreSQL , update , returning , NEW , OLD 背景 在数据库中更新记录时，有时为了对账，或者防纂改的目的，需要在更新后立即返回更新前和更新后的值。 例如以set bit为例，假设使用BIT串作为火车的每个位置，每个BIT代表一张票，0表示未售卖，1表示已售卖。 购票时，使用set bit=1的操作，为了确保不出现重复售票的问题，必须确保

PostgreSQL 利用编译器extension 支持int128，提升聚合性能

标签 PostgreSQL , int128 , clang , gcc , icc 背景 PostgreSQL 9.4以及以前的版本，在INT，INT2，INT8的聚合计算中，为了保证数据不会溢出，中间结果使用numeric来存储。 numeric是PostgreSQL自己实现的一种数值类型，可以存储非常大的数值(估计是做科学计算的需求)，但是牺牲了一定的性能。 为了提高聚合，特别

实时数据交换平台 - BottledWater-pg with confluent

标签 PostgreSQL , Bottled Water , Kafka , Confluent , IoT 背景 想必大家都在图书馆借过书，小时候有好看的书也会在小伙伴之间传阅。 借书和数据泵有点类似，一份数据通过数据泵实时的分享给订阅者。 例如在IoT的场景中，有流式分析的需求，也有存储历史数据的需求，同时还有数据挖掘的需求，搜索引擎可能也需要同一份数据，还有一些业务可能也要用

流计算风云再起 - PostgreSQL携PipelineDB力挺IoT(物联网)

标签 PostgreSQL , pipelinedb , 流计算 , patch , bug , libcheck , zeromq , kafka , kinesis , IoT , 物联网 背景 pipelinedb是基于PostgreSQL的一个流式计算数据库，纯C代码，效率极高(32c机器,单机日处理流水达到了250.56亿条)。同时它具备了PostgreSQL强大的功能基础，正

时序数据合并场景加速分析和实现 - 复合索引，窗口分组查询加速，变态递归加速

标签 PostgreSQL , 数据合并 , 时序数据 , 复合索引 , 窗口查询 背景 在很多场景中，都会有数据合并的需求。 例如记录了表的变更明细(insert,update,delete)，需要合并明细，从明细中快速取到每个PK的最新值。 又比如有很多传感器，不断的在上报数据，要快速的取出每个传感器的最新状态。 对于这种需求，可以使用窗口查询，但是如何加速，如何快速的取出批量