• KV存储的对比

    弹性 备注 Reborndb Go qdb 个人ngaut 200+ yes yes Netflix Dynomite C redis,memcached Netflix 1.9K+ Dynamo Codis Go codis-server(定制redis) 社区CodisLabs 5K+ Twenproxy C redis,memcached twitter 6K+ 分布...
    文章 2017-05-19 9063浏览量
  • 十问 TiDB:关于架构设计的一些思考

    Raft 构建弹性伸缩的存储系统的一些实践》这篇文章里面描述了这个过程。六、为什么有这样的硬件配置要求我们其实对生产环境硬件的要求还是蛮高的,对于存储节点来说,SSD 或者 NVMe 或者 Optane 是刚需,另外对 CPU ...
    文章 2021-11-03 70浏览量
  • 带你读《对象存储实战指南》第一章对象存储概述1.4...

    聚焦解决数据切分逻辑、复制逻辑、容错逻辑、弹性扩展能力等分布式问题。而本地键值存储集 中做好服务器 内的存储空间管理&xff0c;并提供键值接口&xff0c;从而在空间管理层面降低了 分布式系 统对网络的开销。不管是 ...
    文章 2021-10-13 140浏览量
  • 十问 TiDB:关于架构设计的一些思考

    选择 RocksDB 的出发点是 RocksDB 身后有个庞大且活跃的社区,同时 RocksDB 在 Facebook 已经有了大规模的应用,而且 RocksDB 的接口足够通用,并且相比原始的 LevelDB 暴露了很多参数可以进行针对性的调优。...
    文章 2021-11-02 116浏览量
  • 过去5年,PolarDB云原生数据库是如何进行性能优化的?

    从而说明我们的优化对于大部分云存储都是有非常大的收益实践案例:RocksDB我们还将CloudJump的分析框架和部分优化方法拓展到基于云存储的RocksDB上,同样获得了预计的性能收益。1.Log I/O任务并行打散RocksDB同样...
    文章 2022-06-30 192浏览量
  • PolarDB-CloudJump:优化基于云存储服务的云数据库...

    从而说明我们的优化对于大部分云存储都是有非常大的收益实践案例:RocksDB我们还将CloudJump的分析框架和部分优化方法拓展到基于云存储的RocksDB上,同样获得了预计的性能收益。1.Log I/O任务并行打散RocksDB同样...
    文章 2022-07-04 259浏览量
  • 存储与计算分离:OSS构建表+计算引擎对接

    对象存储(Object Storage Service,简称OSS)是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务,是一种面向互联网的大规模、通用存储,提供RESTful API,具备容量和处理的弹性扩展能力。基于OSS是否...
    文章 2017-04-28 15506浏览量
  • 102万行代码,1270 个问题,Flink 新版发布了什么?

    向量化读取 ORC(FLINK-14135)基于比例的弹性内存分配(FLIP-53)Shuffle 的压缩(FLINK-14845)基于新调度框架的优化(FLINK-14735) 在此基础上将 Flink 作为计算引擎访问 Hive 的 meta 和数据,在 TPC-DS 10T benchmark ...
    文章 2020-02-24 1727浏览量
  • Apache Flink 在快手的过去、现在和未来

    所以我们接下来会在整个文件系统层的存取性能上,会做专项的优化,提升整个文件系统的性能,最终可以超过 RocksDB 性能。2.稳定性在介绍稳定性的改进前,我们先来看一下影响 Flink 稳定性的因素有哪些。我这里总结了...
    文章 2021-02-26 1330浏览量
  • Cassandra 的过去、现在、未来

    可插拔引擎,并且可以支持 rocksdb 的引擎,因为 rocksdb 引擎实际上已经成为 LSM 的一种标准,对接到这里,基本代码可以不用运维,因此可以大大降低 GC,防止业务抖动 SideCar:因为 Cassandra 是无主的,没有传统...
    文章 2020-01-03 1643浏览量
  • 使用 E-MapReduce 构建云上数据湖

    当用户的数据全部在对象存储中统一存储时,用户就可以使用TASK节点的弹性伸缩能力快速的响应业务变化,实现计算资源的弹性扩缩容。同时可采用ECS抢占式实例来降低成本。Task节点也支持GPU实例,在很多机器学习或者...
    文章 2020-08-21 2683浏览量
  • Ververica Platform-阿里巴巴全新Flink企业版揭秘

    当Job处于不健康状态时,通过算法推算出合理的计划,比如延迟了要扩容,浪费资源可能要缩容,然后通知App Manager去修改整个Job的配置,让Job重启适应新的配置来达到稳定高效节省资源的效果,这就是弹性扩缩容插件...
    文章 2019-11-18 925浏览量
  • Ververica Platform-阿里巴巴全新Flink企业版揭秘

    当Job处于不健康状态时,通过算法推算出合理的计划,比如延迟了要扩容,浪费资源可能要缩容,然后通知App Manager去修改整个Job的配置,让Job重启适应新的配置来达到稳定高效节省资源的效果,这就是弹性扩缩容插件...
    文章 2019-10-30 4711浏览量
  • 102万行代码,1270 个问题,Flink 新版发布了什么?...

    基于比例的弹性内存分配(FLIP-53) Shuffle 的压缩(FLINK-14845) 基于新调度框架的优化(FLINK-14735) 在此基础上将 Flink 作为计算引擎访问 Hive 的 meta 和数据,在 TPC-DS 10T benchmark 下性能达到 Hive 3.0 的 7 ...
    文章 2020-02-24 1957浏览量
  • 102万行代码,1270 个问题,Flink 新版发布了什么?...

    基于比例的弹性内存分配(FLIP-53) Shuffle 的压缩(FLINK-14845) 基于新调度框架的优化(FLINK-14735) 在此基础上将 Flink 作为计算引擎访问 Hive 的 meta 和数据,在 TPC-DS 10T benchmark 下性能达到 Hive 3.0 的 7 ...
    文章 2020-02-24 1311浏览量
  • 面向未来的数据库体系架构思考:把数据库装入容器

    第二部分,我想说一下数据库弹性调度这个事,大家都知道阿里双十一,双十一对我们来说最大的挑战就是应用程序可能已经很容易去做弹性调度,包括上云、弹性扩容和缩容,但是数据库确实比较难,我们也在这上面也探索了...
    文章 2017-07-03 1217浏览量
  • 利用PAI助力打造新一代社交推荐平台

    索引你可以选择使用Redis或MongoDB,而底层的存储,我们借助RocksDB的字节流来满足业务数据非固定大小的弹性扩展。第三部分是高效的读写,是指对外提供批量查询和添加修改一体化的批量数据异步更新接口,对外只提供...
    文章 2020-12-07 2502浏览量
  • 一共81个,开源大数据处理工具汇总(上)

    友好的设计理念,易于编程,具有灵活的弹性 Yahoo S4官方网站>gt;gt;四、TwitterStorm 贡献者:Twitter 简介:Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架,它原来是由BackType开发,后BackType被...
    文章 2015-10-13 2983浏览量
  • 阿里巴巴张瑞谈面向未来的数据库架构

    对于自动数据生命周期管理,AliSQL依托热数据存储InnoDB引擎和冷数据存储RocksDB引擎实现了多引擎实现自动冷热数据分离。众所周知,要想实现弹性调度的量大基础挑战是:容器化和计算存储分离。据张瑞介绍,AliSQL...
    文章 2017-09-19 2758浏览量
  • 阿里巴巴张瑞谈面向未来的数据库架构

    对于自动数据生命周期管理,AliSQL依托热数据存储InnoDB引擎和冷数据存储RocksDB引擎实现了多引擎实现自动冷热数据分离。众所周知,要想实现弹性调度的量大基础挑战是:容器化和计算存储分离。据张瑞介绍,AliSQL...
    文章 2017-09-13 2232浏览量
  • 阿里下一代数据库技术:把数据库装入容器不再是神话

    为什么要实现弹性调度第二部分,我想说一下数据库弹性调度这个事,大家都知道阿里双十一,双十一对我们来说最大的挑战就是应用程序可能已经很容易去做弹性调度,包括上云、弹性扩容和缩容,但是数据库确实比较难,...
    文章 2017-05-24 12486浏览量
  • Tair持久存储系列技术解读

    Aliyun弹性计算服务首次(全球首家)在神龙裸金属服务器上引入傲腾持久内存,深度优化完善支持,为客户提供安全、稳定、高性能的体验。阿里云持久内存版Tair的每一条记录都确保写入AEP并且持久化才返回,极大的提升...
    文章 2020-10-28 7897浏览量
  • 阿里云王志坤:强劲可靠、无处不在的云,为创新保驾...

    RocksDB、ClickHouse场景性能提升2-3倍。当前&xff0c;大内存解决方案创新企业Memverge通过阿里云提供的持久内存实例&xff0c;在生物基因、金融、芯片设计等方面实现创新的服务&xff0c;真正做到内存更大、成本更低和效率...
    文章 2021-12-30 246浏览量
  • 基于 Nebula Operator 的 K8s 自动化部署运维

    Nebula Graph 默认的存储引擎是 RocksDB 的 Key-Value 存储。在了解了 Nebula Graph 核心组件的功能后,我们可以得出一些结论: Nebula Graph 在设计上采用了存储计算分离的架构,组件间分层清晰,职责明确,这意味...
    文章 2020-11-18 1493浏览量
  • 敢啃“硬骨头”,开源分布式数据库 TiDB 如何炼成?

    怎么去面向一个云环境或者一个可以弹性伸缩的容器环境,设计一个可以弹性伸缩的数据库,这其实是个很大的问题。还有一个特别大的痛点,就是在做高可用的时候人是会出错的。我们现在做数据库碰到这些问题的原因是什么...
    文章 2018-10-22 3597浏览量
  • 官方指南!史上最全实时计算 Flink 版学习资料汇总...

    Flink 使用 RocksDB 和 Gemini 的性能对比实验实时计算案例:单日课程超10万节!VIPKID 如何解决在线教育实时直播互动的难题?实时计算案例:杭州企鹅科技实时计算案例:上海鸥新软件实时计算案例:新华智云实时计算...
    文章 2021-03-24 3404浏览量
  • 内含福利|阿里云数据库再获学术顶会认可,一文全览...

    李飞飞分享了云原生数据库在阿里发展的心路历程,并表示:“云原生数据库天然拥有云计算的弹性能力,不仅具备开源数据库的易用、开放特点,而且拥有传统数据库的管理和处理性能等优势。他还详细介绍了阿里云自研数据...
    文章 2019-09-03 2555浏览量
  • Flink 新一代流计算和容错——阶段总结和展望

    Flink 的高可用性探讨 Flink 新一代流计算的核心问题和技术选型,包括:Flink 高可用流计算的关键路径容错(Fault Tolerance)2.0 及关键问题数据恢复过程稳定快速高效的 Checkpointing云原生下容错和弹性扩缩容FFA ...
    文章 2022-02-24 1353浏览量
  • 云栖干货回顾|行业顶级NoSQL成员坐阵,NoSQL数据库...

    阿里云MongoDB基于RocksDB引擎实现了共享存储解决方案,可以实现存储弹性伸缩,秒级添加只读节点,并解决了oplog全局锁问题。当然,这样的方案也面对着几点挑战,如与WiredTiger的兼容性问题;Compaction带来的性能...
    文章 2019-10-16 2461浏览量
  • Flink on K8s 在京东的持续优化实践

    其次,具有更好的资源隔离和弹性自愈能力,比较容易实现根据业务的负载进行资源的弹性伸缩,保证了业务的稳定性;最后开发、测试、生产一致性的环境,避免环境给整个开发过程带来问题,同时极大提升了部署和运营...
    文章 2022-04-01 1223浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化