• MyRocks参数介绍

    If non-zero,we perform bigger reads when doing compaction.If you're running RocksDB on spinning disks,you should set this to at least 2MB.That way RocksDB's compaction is doing sequential instead of ...
    文章 2018-01-24 3958浏览量
  • MySQL·MyRocks·MyRocks参数介绍

    If non-zero,we perform bigger reads when doing compaction.If you're running RocksDB on spinning disks,you should set this to at least 2MB.That way RocksDB's compaction is doing sequential instead of ...
    文章 2018-01-24 2844浏览量
  • RocksDB·特性介绍·HashLinkList 内存表

    RocksDB 是一个基于 LSM 树(Log-Structured Merge-tree)结构的单机数据引擎,内存表是它最重要的数据结构之一。除了默认的跳表(SkipList)之外,它还增加了各种其他的内存表,例如:HashSkipList、HashLinkList...
    文章 2017-05-21 3884浏览量
  • MySQL·myrocks·myrocks之备份恢复

    myrocks支持逻辑备份和物理备份,逻辑备份仍然采用mysqldump,物理备份采用自己开发的myrocks_hotbackup工具,传统的物理备份工具Xtrabackup不支持rocksdb。由于rocksdb的存储特性,myrocks不管是逻辑备份还是物理...
    文章 2017-03-08 2825浏览量
  • MyRocks之备份恢复

    myrocks_hotbackup-move_back-datadir=path/data-rocksdb_datadir=path/data/.rocksdb-rocksdb_waldir=path/data/.rocksdb-backup_dir=dest_path 通过备份集搭建一个备 传统的物理备份工具xtrabackup备份过程中会...
    文章 2017-02-20 3269浏览量
  • RocksDB数据存储格式分析

    RocksDB本身只是一个KV存储,用户通过put(key,value)来写入key,或者通过get(key)接口来获取value,所以单从RocksDB...雁闲,2013年加入阿里数据技术团队,在数据团队负责AliSQL,SQLite,RocksdDB等数据内核研发。
    文章 2017-01-10 5728浏览量
  • Flink State 最佳实践

    RocksDB 是 Facebook 开源的 LSM 的键值存储数据,被广泛应用于大数据系统的单机组件中。Flink 的 keyed state 本质上来说就是一个键值对,所以与 RocksDB 的数据模型是吻合的。下图分别是“window state”和...
    文章 2020-04-23 1625浏览量
  • 蚂蚁金服生产级 Raft 算法存储模块剖析|SOFAJRaft ...

    truncatePrefix(firstIndexKept):获取第一个日志索引,后台启动一个线程基于默认处理器 defaultHandle 和配置处理器 confHandle 执行 RocksDB#deleteRange()操作删除从 Log 头部以第一个日志索引到指定索引...
    文章 2019-04-30 1815浏览量
  • Apache Cassandra 在 Facebook 的应用

    RocksDB 是一个开源的,高性能嵌入式键值数据。它是用 C++ 编写的,并为 C++,C 和 Java 提供官方 API。RocksDB 针对性能进行了优化,尤其是在 SSD 等快速存储方面。它在业界广泛用作 MySQL,mongoDB 和其他流行...
    文章 2019-05-08 3240浏览量
  • mongorocks引擎原理解析

    mongorocks 是基于著名的开源KV数据库RocksDB)实现的一个MongoDB存储引擎,借助rocksdb的优秀特性,mongorocks能很好的支持一些高并发随机写入、读取的应用场景。MongoDB 与 mongorocks 的关系 mongodb 支持多种引擎...
    文章 2016-12-19 8603浏览量
  • 图数据 Nebula Graph TTL 特性

    在图数据 Nebula Graph 中,我们实现 TTL 功能,用户设置好数据的存活时间后,在预定时间内系统会自动从数据删除过期的点或者边。在 TTL 中,过期数据会在下次 compaction 时被删除,在下次 compaction 之前,...
    文章 2020-03-25 827浏览量
  • RocksDB TransactionDB事务实现分析

    大部分数据(如MySQL InnoDB、RocksDB),通过MVCC都可以实现上述的在非排它锁锁定情况下的多版本并发读。RocksDB Transaction 简单的例子: 基本配置,事务相关操作需要TransactionDB句柄 Options options;options....
    文章 2017-11-24 3495浏览量
  • RocksDB事务实现TransactionDB分析

    大部分数据(如MySQL InnoDB、RocksDB),通过MVCC都可以实现上述的在非排它锁锁定情况下的多版本并发读。RocksDB Transaction 简单的例子: 基本配置,事务相关操作需要TransactionDB句柄 Options options;options....
    文章 2017-11-20 7937浏览量
  • 阿里云InfluxDB® Raft HybridStorage实现方案

    但是CockroachDB删除了ETCD Raft日志的文件存储部分,将Raft日志全部写入RocksDB,同时自研一套热数据缓存(raftentry.Cache),利用raftentry.Cache与RocksDB自身的读写能力(包括RocksDB的读缓存)来保证对日志的...
    文章 2019-07-09 14442浏览量
  • 用TiKV存储时序数据与InfluxDB对比

    传统数据是不会大规模删除数据的。数据更新:TiDB中存在大量的数据更新,比如商品的库存数据、账户余额数据等。但是时序数据都是一次性生成的,不需要更新。而且时序中单点数据是没有意义的,就算错误也没必要修正...
    文章 2019-11-24 2792浏览量
  • [地铁译]使用SSD缓存应用数据——Moneta项目:低成本...

    基于数据的最大尺寸,删除旧的 Old SST 文件。记录在硬盘的 level 0中,所以只在多个SST文件中按时间排序。这种配置的下降趋势在于读操作必须在判断一个键是否命中之前以时间倒序检查每个SST文件。这种检查通常不...
    文章 2016-10-22 1009浏览量
  • xHttpCache 0.1 发布,HTTP高速数据缓存服务

    完整的K-V存储实现,支持数据持久化存储(ROCKSDB);支持数据超时机制,提供毫秒级精度。现实完整REDIS协议接口,支持redis的SET/GET/DEL/EXIRE/TTL命令;实现HTTP/HTTPS协议接口,支持通过REST命令访问;实现HTTP cache...
    文章 2017-06-02 1257浏览量
  • 饿了么时序数据LinDB架构演进

    方便处理TTL,遇到过期的数据使用者可以直接删除相应的目录;每个Shard下面会存在Segment,Segment根据Interval来存储相应时间片的数据;每个Segment下面按Interval方式存储了很多Data Family,以此减少数据文件之间...
    文章 2019-03-05 3082浏览量
  • Redis混合存储产品与架构介绍

    作为KV数据,通常的访问请求都需要先查找Key确认Key是否存在,而要确认一个key不存在,就需要以某种形式检查所有Key的集合。在内存中保留所有Key,可以保证key的查找速度与纯内存版完全一致。Key的大小占比很低。...
    文章 2018-04-17 8397浏览量
  • Cassandra全球使用的公司及场景

    Apache Cassandra是最流行的分布式宽表数据,具有SQL的入口,最初由Facebook开发,后续贡献给Apache。阿里云Cassandra公测,就有不少客户在问,Cassandra到底有哪些公司在使用,可以解决什么问题。本文不去谈...
    文章 2019-09-12 6303浏览量
  • 使用 Flink 前需要知道的 10 个『陷阱』

    如果你的 keyed 状态包含在某个 Flink 的默认窗口中,则将是安全的:即使未使用 TTL,在处理窗口的元素时也会注册一个清除计时器,该计时器将调用 clearAllState 函数,并删除与该窗口关联的状态及其元数据。...
    文章 2021-03-11 385浏览量
  • 【360开源】Pika最佳实践

    全量compact的原理是逐步对rocksdb的每一层做数据合并、清理工作,在这个过程中会新增、删除大量的sst文件,因此在执行全量compact的时候可以发现数据体积先增大后减小并最终减小到一个稳定值(无效、重复数据合并、...
    文章 2019-03-06 1512浏览量
  • 深入探讨LSM Compaction机制

    rocksdb在compaction机制上支持的方式比较多,也做了很多的优化工作,除了经典的tiered和leveled之外,rocksdb在两者基础之上可以有两种混合方式的表现,定义为leveled-N和tiered+leveled。leveledrocksdb的leveled ...
    文章 2020-04-30 1689浏览量
  • Redis与KV存储(RocksDB)融合之编码方式

    Redis与KV存储(RocksDB)融合之编码方式 简介 Redis 是目前 NoSQL 领域的当红炸子鸡,它象一把瑞士军刀,小巧、锋利、实用,特别适合解决一些使用传统关系数据难以解决的问题。Redis 作为内存数据,所有的数据全部...
    文章 2016-12-20 9674浏览量
  • 基于X-Engine引擎的实时历史数据解决方案揭秘

    为了尽可能地保证在线的性能,推荐将在线/历史完全拆分解耦•历史集群存储全量数据•通过DTS链路打通在线和历史,实时同步•DTS链路过滤Delete操作•可直接使用新版DMS配置历史数据定期删除 源端为DRDS...
    文章 2020-05-22 664浏览量
  • 深度|实时历史数据存储成本惊人,怎么破?

    基于上文对实时历史和X-Engine的介绍,阿里云数据团队推出以X-Engine引擎为历史数据存储核心,同时生态工具DTS作为在线/历史数据流转通道,DMS作为历史数据无风险删除的完整“实时在线-历史”方案,针对不同的...
    文章 2020-06-19 574浏览量
  • SSDB 数据

    另外,rocksdb是FB在LevelDB的二次开发版本,因此也存在使用RocksDB作为存储引擎的SSDB版本,可以参考这里。编译和安装 wget-no-check-certificate https://github.com/ideawu/ssdb/archive/master.zip unzip master...
    文章 2018-05-24 994浏览量
  • 专为流式数据设计的另一种缓存:流式缓存技术解读

    即便从一开始就关闭了预写日志(Write Ahead Log,WAL),我们尝试了调优所有已知的 RocksDB 参数,包括关闭布隆过滤器(Bloom Filter)和调整压缩策略,但都没有取得显著的效果。于是我们决定寻找这一核心系统部件...
    文章 2020-08-17 115浏览量
  • Codis作者首度揭秘TiKV事务模型,Google Spanner开源...

    可以看到,整个 TiKV 的底层本地存储是依赖了 RocksDBRocksDB 是一个单机的嵌入式 KV 数据,是一个 LSM Tree的实现,是 Facebook 基于 LevelDB 的修改版本,其特点是写入性能特别好,数据存储是有序的 KV Pairs...
    文章 2017-05-02 1816浏览量
  • 一共81个,开源大数据处理工具汇总(上)

    简介:Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是...
    文章 2015-10-13 2279浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化