NoSQL数据库-阿里云开发者社区-阿里云

开发者社区> 数据库> NoSQL数据库

NoSQL数据库

关注

0
今日
1237
内容
13
活动
1653
关注
|
NoSQL 索引 MongoDB
|

利用MongoDB的SplitVector命令实现并发数据迁移

数据迁移是数据库运维中一个很常见的场景。数据迁移分为全量和增量。为了追求速度,通常我们会采用并发的方式对数据进行全量迁移。在全量导出数据时,通常都会选择做到记录级的并发,因此通常会涉及到对需要导出的某个表(集合)按照并发度进行切分(分区)的过程。现有常用做法是通过若干个skip加limit来找到一些分区点,然后就可以并发同时导出多个分区。事实上MongoDB还有一个SplitVector命令特别适合用来做集合的分区。本文将介绍一下如何利用这个命令来对集合做分区,实现并发数据迁移。

6443 0
|
SQL 分布式数据库 Apache
|

HBase Phoenix助力海量数据实时分析

phoenix满足海量数据实时分析需求,通过建立索引在海量数据上查询少量数据,并且基本实时返回; 支持做一些复杂的SQL操作,包括join,sub-query等;不适合于ETL,比如10T数据变为10T的数据。

19850 0
|
分布式数据库 Hbase
|

欢迎加入阿里云 HBase+Spark技术交流群

为了让营造一个针对云HBase的技术交流平台,我们特别新建了交流群

16921 0
|
NoSQL 数据库 MongoDB
|

MongoDB最佳实践及性能优化(DTCC中国数据库技术大会分享PPT)

上周五在北京DTCC分享了「32 Tips to Boost MongoDB Performance」,本文是分享的PPT以及重要内容的注解。 注解:本次分享主要「自底向上」的介绍提升 MongoDB 服务性能需要注意的问题,从硬件、操作系统、服务端一直到应用端,前面3个层次的建议主要面向DBA及运维人员,而最上层的应用开发建议主要面向开发者。

14524 0
|
NoSQL 索引
|

MongoDB查询优化:从 10s 到 10ms

本文是我前同事付秋雷最近遇到到一个关于MongoDB执行计划选择的问题,非常有意思,在探索源码之后,他将整个问题搞明白并整理分享出来。付秋雷(他的博客)曾是Tair(阿里内部用得非常官方的KV存储系统)的核心开发,目前就职于蘑菇街。

31049 0
|
网络协议 NoSQL Java
|

Jedis介绍及常见问题分析

本文主要介绍Jedis的使用方法及常见问题的排查分析方法

12360 0
|
存储 测试技术 PHP
|

性价比神器!99元一年的阿里云256MB高性能Redis性能测试及应用介绍

本文我们将介绍如何使用阿里云Redis服务作为PHP服务的session存储。PHP的session存储作为php会话信息的存储单元,默认的PHP使用文件来存储session会话信息。同时PHP支持使用扩展的存储单元来作为会话信息的存储,通过扩展的session能够满足多台PHP服务器共享会话信息。

7524 0
|
NoSQL 数据库 索引
|

MongoDB CPU 利用率高,怎么破?

经常有用户咨询「MongoDB CPU 利用率很高,都快跑满了」,应该怎么办? 遇到这个问题,99.9999% 的可能性是「用户使用上不合理导致」,本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题 Step1: 分析数据库正在执行的请求 用户可以通过 Mongo Shell 连接,并执行 db.currentOp() 命令,能看到数据库当前正在执行的操作,如下是该命令的一个输出示例,标识一个正在执行的操作。

13566 0
|
存储 NoSQL
|

MongoDB无法启动,如何恢复数据?

近日有 MongoDB 用户遇到一个问题,使用 Wiredtiger 存储引擎的 MongoDB 无法启动,咨询我数据能否恢复回来,能恢复多少是多少 ... 问题出现的场景据用户描述是「mongod磁盘写满了,导致进程 crash」,尝试重新启动,结果 wiredtiger 报错,错误信息类似如下,类似的问题 mongodb jira 上也有人提过,可以参考 SERVER-26924,说明此时 MongoDB 数据文件已经损坏。

10316 1
|
监控 NoSQL Redis
|

阿里云Redis云数据库(KVStore For Redis)控制台介绍

阿里云Redis云数据库(KVStore For Redis)控制台介绍

13494 0
|
存储 物联网 大数据
|

客户之声为你探究PB级云数据库HBase

阿里云在近期推出了云HBase产品,客户使用情况如何?此款产品的内核在集团内部已经使用了6年之久,那么跟社区版本的HBase有怎样的区别,我们又做了怎样的产品化;本专题将会为你详细介绍。

3224 0
|
NoSQL 数据库 MongoDB
|

MongoDB秒级备份恢复(SDCC上海站数据库核心技术与应用实战峰会分享PPT)

本文是我3月18日在CSDN举办的SDCC上分享的PPT内容,主要介绍如何对MongoDB复制集及分片集群实现任意时间点的备份恢复,猛击这里下载PDF版本

10822 0
|
存储 监控 NoSQL
|

MongoDB 杭州用户会全记录(千寻位置、妈妈帮、阿里云专家等精彩分享)

MongoDB杭州用户交流会于2017年3月12日下午在阿里巴巴西溪园区举行,吸引了来自全国各地的近300名用户参与,千寻位置、妈妈帮、阿里云等公司的5位技术专家分享了MongoDB 的运维管理及使用经验,干货满满。

7039 0
|
存储 物联网 分布式数据库
|

云HBase助力物联网建设

物联网最大的特点写入量大,要求延迟低,且数据存量巨大。云HBase非常满足物联网存储需求,存储数P甚至百P的空间存储需求,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。

5405 0
|
存储 关系型数据库 区块链
|

PostgreSQL 区块链条管理举例

标签 PostgreSQL , blockchain , 链条管理 , 递归查询 背景 区块链的概念请参考 https://github.com/yeasy/blockchain_guide/blob/master/intro/what.md 截取部分如下 什么是区块链 区块链的基本原理理解起来并不难。

3723 0
|
存储 算法 安全
|

SHA-1被攻破了吗? PostgreSQL SCRAM-SHA-256 安全认证机制解救你来了

标签 PostgreSQL , 认证方法 , SCRAM-SHA-256 , scram , scram-sha-256-plus , SASL , Simple Authentication and Security Layer 背景 PostgreSQL的很多设计非常的工业化,比如开放了许多扩展接口(类型、操作符、索引、扫描、采样、数据库编程语言等)。

6735 0
|
存储 关系型数据库 C语言
|

PgSQL · 应用案例 · GIN索引在任意组合查询中的应用

背景 很多人小时候都有一个武侠梦,独孤求败更是金庸武侠小说里的一位传奇人物。 纵横江湖三十馀载,杀尽仇寇奸人,败尽英雄豪杰,天下更无抗手,无可奈何,惟隐居深谷,以雕为友。 呜呼,生平求一敌手而不可得,诚寂寥难堪也。 独孤老前辈的佩剑描写非常有意思,从使用的佩剑,可以看出一个人的武功修为。 第一柄是一柄青光闪闪的无名利剑。「凌厉刚猛,无坚不摧,弱冠前以之与河朔群雄争锋。」 第二柄是紫薇软剑,

2898 0
|
存储 NoSQL Redis
|

Redis · 最佳实践 · 阿里云Redis助力双11业务

双11如火如荼的结束了,阿里云Redis(ApsaraDB for Redis原KVStore)也圆满完成了双11Redis的保障工作。目前阿里云Redis提供了单机版本和集群版本的Redis。 单机版本Redis具有很高的兼容性,并且支持Lua脚本及地理位置计算。 集群版本具有大容量、高性能的特性,能够突破Redis单线程的单机性能极限。 阿里云Redis默认双机热备并提供了备份恢复支

2496 0
|
存储 NoSQL 索引
|

MongoDB · 特性分析 · 索引原理

为什么需要索引? 当你抱怨MongoDB集合查询效率低的时候,可能你就需要考虑使用索引了,为了方便后续介绍,先科普下MongoDB里的索引机制(同样适用于其他的数据库比如mysql)。 mongo-9552:PRIMARY> db.person.find() { "_id" : ObjectId("571b5da31b0d530a03b3ce82"), "name" : "jack",

1695 0
|
监控 NoSQL Redis
|

Redis流量统计问题分析及修复

近日有用户反馈Redis的流量统计有问题, 文章对Redis的流量统计原理进行了分析并修复了原生Redis内核统计的一个问题。

6870 0
|
NoSQL 数据库 MongoDB
|

MongoDB Driver:使用正确的姿势连接分片集群

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。

12697 0
|
NoSQL Redis C++
|

Redis集群Proxy支持select命令方案介绍

目前Redis集群开源的方案主要有Redis Cluster,Codis,Twemproxy等,这几个方案里面都不支持select命令,即用户无法使用select进行逻辑db的切换,这样会给之前使用Redis单机的用户带来一定困扰,导致很多用户在迁移到集群方案的时候需要改造代码,本文探讨Redis集群支持select命令的方案实现。

12281 0
|
关系型数据库 物联网 数据库
|

PostgreSQL 10 新特性, 流式接收端在线压缩redo

4383 0
|
NoSQL Shell 数据库
|

MongoDB生态 - 社区开源工具篇

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。

10821 0
|
NoSQL 安全 Redis
|

Redis CSRF漏洞分析及云Redis安全措施介绍

近日有网友暴漏了Redis的CSRF漏洞,同时Redis作者在最新发布的3.2.7也进行了修复,本文将对CSRF攻击及云数据库Redis的安全要点进行介绍。

10871 0
|
NoSQL 关系型数据库 测试技术
|

数据库界的华山论剑

5218 0
|
NoSQL 容灾 分布式数据库
|

从炉石传说数据库故障谈谈MongoDB的数据库备份和恢复手段

最近数据库真是多灾多难,前段时间刚刚爆出MongoDB数据库安全问题(见MongoDB黑客赎金事件解读及防范)。这两天又被炉石传说数据库故障给刷屏了。 看到这个消息,我的第一反应是重新翻出尘封已久的ipad,装上炉石准备上线领补偿。

10337 0
|
JSON NoSQL Shell
|

Mongo shell:最强大的 MongoDB 管理工具

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。

9013 0
|
存储 NoSQL 测试技术
|

redis4.0、codis、阿里云redis 3种redis集群对比分析

本文对redis4.0版本的cluster,codis,以及阿里云redis 3种集群进行了对比分析。

41063 0
|
存储 监控 安全
|

MongoDB 安全 checklist 及最优配置模板

MongoDB 安全 checklist 及最优配置模板 云数据库 Mongo

6594 0
|
安全 NoSQL 数据库
|

通过MongoDB安全事件来谈谈为什么要用云服务

每到年底,比铁路部门还忙碌就是各路小偷,恰巧最近一篇关于NoSQL暴露公网的文章开拓了他们的思路。就在文章发布后的这一周里,我陆陆续续接到关于自建MongoDB被“黑客”攻击,数据被删,并且索要Q币的案例。今天我自卖自夸下,为了数据库安全,快点上云MongoDB。正式自夸之前,我们先来复盘看看。

7896 0
|
SQL 关系型数据库 数据库
|

ApsaraDB的左右互搏术 - 解决企业痛处 TP+AP混合需求 - 无须再唱《爱你痛到不知痛》

标签 PostgreSQL , HybridDB , HTPA , OLTP , OLAP , 混合场景 , Oracle , 企业痛点 , 数据库痛点 背景 随着IT行业在更多的传统行业渗透,我们正逐步的在进入DT时代,让数据发挥价值是企业的真正需求,否则就是一堆废的并且还持续消耗企业人

5298 0
|
关系型数据库 网络安全 PostgreSQL
|

元旦技术大礼包 - 2017金秋将要发布的PostgreSQL 10.0已装备了哪些核武器?

标签 PostgreSQL , 10.0 , 金秋 , 元旦 , 大礼包 , commitfest 背景 早上送给大家的新年大礼包,一年一个大版本是PostgreSQL社区的传统,虽然发布时间通常为秋天,还有一段时间,但是已经迫不及待地想看看2017金秋将要发布的10.0版本已经装备了哪些

4419 0
|
存储 关系型数据库 数据库
|

从难缠的模糊查询聊开 - PostgreSQL独门绝招之一 GIN , GiST , SP-GiST , RUM 索引原理与技术背景

标签 PostgreSQL , gist , sp-gist , gin , rum index , 模糊查询 , 搜索引擎 , token位置搜索 , pg_hint_plan , 自动优化 , 分词 , like '%xxx%' 背景 模糊查询,是一个需求量很大,同时也是一个对数据库来

11791 0
|
移动开发 关系型数据库 数据库
|

PostgreSQL 重复 数据清洗 优化教程

10671 0
|
NoSQL 调度 索引
|

Mongorestore的archive(归档)模式恢复原理解析

在上篇Mongodump的archive(归档)模式原理解析中介绍过,Mongodump的archive(归档)模式产生的文件是将多个集合的数据通过一个Multiplexer多路复用混合在一起,因此对应在恢复的时候就需要有一个Demultiplexer来将数据进行解析,是一个多路复用的逆过程。对应.

5584 0
|
存储 安全 NoSQL
|

告别 MongoDB 2.x 拥抱 3.x 版本的5大理由

云数据库 MongoDB 版

6345 0
|
分布式计算 算法 Hadoop
|

分布式(hadoop)内核研发面试指南

本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。

19942 0
|
存储 编解码 NoSQL
|

Redis与KV存储(RocksDB)融合之编码方式

Redis与KV存储的融合可以在性能可接受的情况下以Redis协议提供巨量数据的存储服务。本文以ArDB为例介绍了Redis与KV存储(RocksDB)融合之编码方式。

10837 0
|
NoSQL MongoDB
|

MongoDB最佳实践及问题案例分析

介绍MongoDB最佳时间以及线上问题的案例分析

7324 0
我要发布