NoSQL数据库
阿里云NoSQL数据库提供了一种灵活的数据存储方式,可以支持各种数据模型,包括文档型、图型、列型和键值型。此外,它还提供了一种分布式的数据处理方式,可以支持高可用性和容灾备份。包含Redis社区版和Tair、多模数据库 Lindorm、MongoDB 版。
MongoDB复制集同步原理解析
MongoDB副本集数据同步主要包含2个步骤 intial sync,可以理解为全量同步 replication,追同步源的oplog,可以理解为增量同步 本文是对MongoDB高
天生一对,当游戏遇上MongoDB
当游戏遇上MongoDB,会碰撞出什么样的火花,本文为您一一道来。MongoDB针对游戏灵活多变需求、一些专有场景-道具自动过期和附近玩家、高可用、高可扩展、回档、滚服、运营数据分析等场景都有非常好的解决方案,可谓是天生一对。
Redis广电直播行业解决方案,轻松应对业务高峰
云数据库Redis版行业解决方案,通过稳定可靠、性能卓越、可弹性伸缩的云数据库Redis解决方案,助力广电、直播、游戏、电商行业轻松应对业务高峰
PostgreSQL内核扩展之 - ElasticSearch同步插件
背景介绍 Elasticsearch 是开源搜索平台的新成员,实时数据分析的神器,发展迅猛,基于 Lucene、RESTful、分布式、面向云计算设计、实时搜索、全文搜索、稳定、高可靠、可扩展、安装+使用方便。 PostgreSQL 是起源自伯克利大学的开源数据库,历史悠久,内核扩展性极强,用户
找对业务G点, 体验酸爽 - PostgreSQL内核扩展指南
基于PostgreSQL打造最好用的私人订制数据库 花了2个通宵,写了一份入门的PostgreSQL内核扩展指南。 希望更多人对PostgreSQL内核扩展有个初步的了解,内核扩展并不需要对数据库内核有非常深的了解,用户只要把重点放在业务上,利用PostgreSQL开放的API实现对数据
MongoDB writeConcern原理解析
MongoDB支持客户端灵活配置写入策略(writeConcern),以满足不同场景的需求。 db.collection.insert({x: 1}, {writeConcern: {w: 1}}) writeConcern选项 MongoDB支持的WriteConncern选项如下 w
6月23日直播:《NoSQL、RDS、BigData异构融合实战》
本次Webinar将为大家重点介绍Postgres FDW的源理,并结合金融报文处理、物联网数据整合、企业并购重组场景下的案例,展现SQL Everything的理念如何提高开发效率。
MongoDB云数据库常见问题诊断
重要的内容 MongoDB的主备节点在运行过程中是不固定的,实例重启、升级、节点故障等都有可能导致主备切换,在生产环境应该使用副本集的方式来正确连接MongoDB来实现高可用。 连接问题 用户可通过DMS或mongo shell连接MongoDB云数据库,以下场景都基于用户使用mongo sh
MongoDB源码解析:Full Text Search Index
框架实现 FTS本质上也是Btree索引类型 索引AccessMethod定义: class FTSAccessMethod : public BtreeBasedAccessMethod 关键成员: fts::FTSSpec _ftsSpec; 获取索引的函数入口: void
PostgreSQL 最佳实践 - 逻辑增量复制(MySQL <-> PgSQL <-> PgSQL)
alidecode是RDS PG提供的一个逻辑复制插件,使用它,可以将RDS PG通过逻辑复制的方式,把数据同步到线下的PostgreSQL。同时还支持将MySQL的数据同步到PostgreSQL。目前alidecode还没有对外开放下载,敬请期待。下面是使用方法。 准备工作,提交工单,开放用户的
EDB PPAS的"坑" 不兼容PostgreSQL一例
这样一段正常的兼容ORACLE的代码,在使用社区版本的psql连接到PPAS时,执行异常 postgres=> create table about_we (id int, info text); create sequence SEQ_ABOUT_WE_ID; postgres=> C
MongoDB Secondary同步慢问题分析(续)
在MongoDB Scondary同步慢问题分析文中介绍了因Primary上写入qps过大,导致Secondary节点的同步无法追上的问题,本文再分享一个case,因oplog的写入被放大,导致同步追不上的问题。 MongoDB用于同步的oplog具有一个重要的『幂等』特性,也就是说,一条oplo
MongoDB · 特性分析 · Sharded cluster架构原理
为什么需要Sharded cluster? MongoDB目前3大核心优势:『灵活模式』+ 『高可用性』 + 『可扩展性』,通过json文档来实现灵活模式,通过复制集来保证高可用,通过Sharded cluster来保证可扩展性。 当MongoDB复制集遇到下面的业务场景时,你就需要考虑使用Sh
MongoDB · 最佳实践 · 短连接Auth性能优化
问题 通常我们使用MongoDB的时候,客户端(driver)和MongoDB之间都是使用长连接,但是在某些场景下、某些driver仍然只能使用短连接进行连接,比如PHP。就在我们阿里云数据库MongoDB版商业化后没多久,我们就遇到了一个用户短连接过多导致的性能问题。 这个问题的症状是Mo
Redis · 特性分析 · AOF Rewrite 分析
AOF介绍 Redis提供两种持久化机制 RDB: 将数据库的快照以二进制的方式保存到磁盘; AOF: 将所有写入命令及相关参数以协议文本的方式写入文件并持久保存磁盘。 本文只关心AOF,简单介绍一下:Redis Server将所有写入的命令转换成协议文本的方式写入AOF文件,例如:Serv
MongoDB · 特性分析 · MMAPv1 存储引擎原理
MongoDB 的 mongod 服务管理一个数据目录,可包含多个DB,每个DB的数据单独组织,本文主要介绍 MMAPv1 存储引擎的数据组织方式。 Database 每个 Database(DB) 由一个.ns文件及若干个数据文件组成 $ll mydb.* -rw------- 1 yd
MariaDB · 社区动态 · MariaDB on Power8
前言 Power平台作为IBM的企业级平台,其稳定性和高效能在业界尤其是大型金融企业有着良好的口碑,MariaDB作为MySQL的重要开源分支,也对IBM Power8平台进行了适配。 很幸运我拿到了一台Power8的机器,在Linux on Power上成功编译了MariaDB 10.1版本,
MongoDB · 捉虫动态 · Kill Hang问题排查记录
AliCloudDB MongoDB在开发过程中遇到一个无法正常退出的BUG,由于是Release版本的编译(-O3),debuginfo已经不能很好的展现出堆栈的情况。这时又该如何确定问题所在呢?本篇文章完整的记录了整个排查过程。 场景 kill命令正常执行,但进程迟迟没有退出。非必现场景,在
TokuDB ·引擎机制· TokuDB线程池
这次还是以介绍TokuDB内部机制为主, 本篇来谈谈TokuDB内部的线程池模型。 TokuDB内部有一个线程池实现kibbutz, 代码: https://github.com/Tokutek/ft-index/blob/master/util/kibbutz.cc 其调度思想基于work-s
阿里云MongoDB与EMR的HelloWorld
越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是金矿一样,需要挖掘。虽然MongoDB提供了MapReduce功能,但功能相对薄
如何通过公网访问MongoDB云数据库?
基于安全原因考虑,阿里云MongoDB云数据库目前只支持从阿里云ECS上访问,无法通过公网直接访问,不方便用户在本地开发环境里直接进行测试,本文介绍能让用户通过公网访问MongoDB云数据库的方案,切记本文的方案仅可用于测试环境,生产环境连接MongoDB云数据库请参考使用正确的姿势连接复.
PostgreSQL Oracle兼容性之 - psql prompt like Oracle SQL*Plus
Oracle的SQL*Plus客户端支持使用promote输入变量值,然后在脚本的其他位置使用该变量值。例如大量的dbms脚本使用了这个用法, 如statspack输入起始值。https://docs.oracle.com/cd/B19306_01/server.102/b14357/ch1203.
gdb 调试 sysbench
前几条在写这篇文档的是否,发现sysbench对PostgreSQL libpq绑定变量使用的支持并不好。《让 sysbench 支持 PostgreSQL 服务端绑定变量》https://yq.aliyun.com/articles/34870 那么怎样跟踪出错的代码呢?通过gdb跟踪是一种手段
PostgreSQL 网络延迟 瓶颈定量分析
在使用sysbench或者pgbench测试数据库性能时,连unix socket, loop address性能差异是非常大的,特别是非常小的事务,例如基于KEY的查询,或者select 1这样的简单查询。原因是这种查询在数据库端的处理非常快,从而网络延迟在整个耗时占比上就会比较大。还有一种场景.
MongoDB索引原理
MongoDB索引原理 为什么需要索引? 当你抱怨MongoDB集合查询效率低的时候,可能你就需要考虑使用索引了,为了方便后续介绍,先科普下MongoDB里的索引机制(同样适用于其他的数据库比如mysql)。 mongo-9552:PRIMARY> db.person.find() { "_
MongoDB Sharded cluster架构原理
为什么需要Sharded cluster? MongoDB目前3大核心优势:『灵活模式』+ 『高可用性』 + 『可扩展性』,通过json文档来实现灵活模式,通过复制集来保证高可用,通过Sharded cluster来保证可扩展性。 当MongoDB复制集遇到下面的业务场景时,你就需要考虑使用Sh
2016年北京hadoop in china见闻
笔者有幸参加了今年在北京主办的hadoop in china,在与会中有不少的感受与大家分享。今年的议题是假设参加会议的同学有一定的基础,没有过多的去介绍基础的内容,比如,没有人说hadoop是啥了,单刀直入,趋势、产品、新技术。大数据改变人类的未来,正在渗透到每个行业中,甚至是人的基因分析。
用PostgreSQL支持含有更新,删除,插入的实时流式计算
大多数的流式计算产品只支持APPEND ONLY的应用场景,也就是只有插入,没有更新和删除操作。如果要实现更新和删除的实时流式计算,在PostgreSQL中可以这样来实现。在此前你可以阅读我以前写的文章来了解PG是如何处理一天一万亿的实时流式计算的:https://yq.aliyun.com/ar.
MongoDB管理: 如何让mongod产生core文件?
3.0+版本的mongod捕获了SIGSEGV信号,打印当前的执行堆栈,然后退出。 // src/mongo/util/signal_handlers_synchronous.cpp struct sigaction addrSignals; memset(&addrSignals, 0, s
MongoDB Driver:使用正确的姿势连接复制集
MongoDB复制集(Replica Set)通过存储多份数据副本来保证数据的高可靠,通过自动的主备切换机制来保证服务的高可用。**但需要注意的时,连接副本集的姿势如果不对,服务高可用将不复存在。** 使用复制集时你需要知道的 MongoDB复制集里Primary节点是不固定的,当遇到复制集
MongoDB管理:慎用local、admin数据库
MongoDB副本集默认会创建local、admin数据库,local数据库主要存储副本集的元数据,admin数据库则主要存储MongoDB的用户、角色等信息。 慎用local数据库 local数据库,从名字可以看出,它只会在本地存储数据,即local数据库里的内容不会同步到副本集里其他节点上去
MongoDB管理: 使用killOp干掉Long Running Operation
MongoDB提供了killOp请求,用于干掉运行时间很长的请求,killOp通常需要与currentOp组合起来使用;先根据currentOp查询到请求的opid,然后根据opid发送killOp的请求。 currentOp currentOp的使用,参考官方文档 currentOp会将后端