NoSQL数据库
分布式(hadoop)内核研发面试指南
最近一直在看简历,面试同学,发现符合要求的很少。本文是同学们进入阿里云等公司的hadoop内核研发岗位的一个指引,需要具备哪些要求,如果不具备则可以往这方面努力。 如果 以下的问题不能很好回答,还是多多学习啊。
HBase全网最佳学习资料汇总
前言 HBase这几年在国内使用的越来越广泛,在一定规模的企业中几乎是必备存储引擎,互联网企业阿里巴巴、京东、小米都有数千台的HBase集群,中国电信的话单、中国人寿的保单都是存储在HBase中。注意大公司有数十个数百个HBase集群,此点跟Hadoop集群很不相同。
云HBase集群的规划
概述 在服务客户的时候,经常会被问到,我该选择什么配置的HBase呢?今天我们就来好好谈谈这个问题,希望能说清楚 基本架构 目前云HBase的基本架构为: 从架构图中,可以看出Master是主备的,且不存任何业务数据的;core节点至少2台,第一个节点为了节约节点,部署了一个zk,Core节点可以一直添加到100或者500个节点左右。
MongoDB: 通过ReadConcern 达到 snapshot 读的效果
MongoDB 4.0 提供了level == “snapshot” 的readConcern。 该level 的readConcern 本质上和Primary Secondary 无关, 主要解决的问题是: 时间点1: session 1 打开一个cursor 用于读数据时间点2: session 2 修改了 session 1 要读的数据,并且commit 了时间点3: session 1 读到了 session 2 修改的数据。
MongoDB · 引擎特性 · 复制集原理
复制集简介 Mongodb复制集由一组Mongod实例(进程)组成,包含一个Primary节点和多个Secondary节点,Mongodb Driver(客户端)的所有数据都写入Primary,Secondary从Primary同步写入的数据,以保持复制集内所有成员存储相同的数据集,提供数据的高可用。
阿里云Redis创建/变配任务失败/巡检失败requestId获取方案
在阿里云上购买或者变配实例的时候有时候会出现失败的场景,这个时候提工单的时候需要提供request_id提供后端进行进一步的分析,本文章主要展示获取request_id的方法
Redis · 引擎特性 · 基于 LFU 的热点 key 发现机制
前言 业务中存在访问热点是在所难免的,redis也会遇到这个问题,然而如何发现热点key一直困扰着许多用户,redis4.0为我们带来了许多新特性,其中便包括基于LFU的热点key发现机制。 Least Frequently Used Least Frequently Used——简称LFU,意为最不经常使用,是redis4.0新增的一类内存逐出策略,关于内存逐出可以参考文章《Redis数据过期和淘汰策略详解》。
MongoDB · 引擎特性 · MongoDB索引原理
为什么需要索引? 当你抱怨MongoDB集合查询效率低的时候,可能你就需要考虑使用索引了,为了方便后续介绍,先科普下MongoDB里的索引机制(同样适用于其他的数据库比如mysql)。 mongo-9552:PRIMARY> db.
阿里云与MariaDB达成战略合作 推出云数据库RDS 企业级MariaDB
9月21日,2018杭州·云栖大会上,全球最受欢迎的开源数据库公司MariaDB宣布与阿里云达成全球唯一战略合作,并在阿里云上推出了MariaDB 10.3 企业级数据库,这是全球唯一一家在公共云上提供MariaDB服务的云厂商,企业可获得全球顶级开源数据库专家的技术支持。
MongoDB · 引擎特性 · 事务实现解析
MongoDB 4.0 引入的事务功能,支持多文档ACID特性,例如使用 mongo shell 进行事务操作 > s = db.getMongo().startSession() session { "id" : UUID("3bf55e90-5e88-44aa-a59e-a30f777f1d89") } > s.
外行看热闹,内行看门道,盘点精彩世界杯背后你看得见的Redis身影
背景 6月14日晚,2018年俄罗斯世界杯在莫斯科开幕。国内数以千万的观众通过优酷、央视影音或者是咪咕视频观看了此次开幕赛。阿里云公布的一份数据显示,第一波流量洪峰出现在揭幕战开场后的第44分钟,峰值达到了1.5个2018年春晚的规模。
阿里云专访Redisson作者Rui Gu:构建开源企业级Redis客户端之路
本文为阿里云同学在RedisConf2018上对Redisson开源客户端作者Rui Gu做的一个专访,主要介绍了Rui Gu参与开启Redisson客户端开发的历程,同时也详细介绍了Redisson的架构模型还有在分布式锁上的工作,最后Rui Gu介绍了Redisson和开源的协作,同时介绍了后续Redisson客户端的长期发展目标。
Redis Stream——作为消息队列的典型应用场景
Redis Stream Redis最新的大版本5.0已经RC1了,其中最重要的Feature莫过于Redis Stream了,关于Redis Stream的基本使用介绍和设计理念可以看我之前的一篇文章(Redis Stream简介)。
Why Redis 4.0?
社区最新GA版本Redis 4.0推出已近一年,阿里云数据库Redis 4.0版也上线近半年,之前关于Redis 4.0的系列文章从源码实现来分析这些新功能,本文旨在从用户角度出发,让Redis的用户能够快速了解并使用Redis 4.0带来的福利。
重磅干货免费下载!阿里云RDS团队论文被数据库顶会SIGMOD 2018收录
来自阿里云RDS团队的论文“**TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系统)**被数据库顶会SIGMOD 2018收录。
MongoDB · 引擎特性 · journal 与 oplog,究竟谁先写入?
MongoDB journal 与 oplog,谁先写入?最近经常被人问到,本文主要科普一下 MongoDB 里 oplog 以及 journal 这两个概念。 journal journal 是 MongoDB 存储引擎层的概念,目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎,都支持配置journal。
MSSQL · 最佳实践 · 阿里云RDS SQL自动化迁移上云的一种解决方案
摘要 至今为止我们完成了SQL Server备份还原专题系列六篇月报分享:三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案以及如何监控备份还原进度,本期我们分享阿里云是如何基于SQL Server备份还原理论来设计RDS SQL自动化迁移上云方案的。
Redis混合存储产品与架构介绍
简介 Redis混合存储实例是阿里云自主研发的完全兼容Redis协议和特性的混合存储产品。通过将部分冷数据存储到磁盘,在保证绝大部分访问性能不下降的基础上,大大降低了用户成本并突破了内存对Redis单实例数据量的限制。
【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题
首先我们简单回顾下整个写入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to filesystem 整个写入流程从客户端调用API开始,数据会通过protobuf编码成一个请求,通过scoket实现的IPC模块被送达server的RPC队列中。
HBase read replicas 功能介绍系列
主要介绍HBase 在读可用性这块做的read replica 功能的大概介绍,包括:基本使用,读写流程的大概链路,设计的折中等等。
HBase2.0新特性之In-Memory Compaction
In-Memory Compaction是HBase2.0中的重要特性之一,通过在内存中引入LSM结构,减少多余数据,实现降低flush频率和减小写放大的效果。本文根据HBase2.0中相关代码以及社区的讨论、博客,介绍In-Memory Compaction的使用和实现原理。