• MySQL·myrocks·clustered index特性

    建表时指定cluster index create table t1(c1 int primary key,c2 int clustering,c3 int)engine=rocksdb;create table t2(c1 int primary key,c2 int clustering unique,c3 int)engine=rocksdb;create table t3(c1 ...
    文章 2018-07-22 1489浏览量
  • MyRocks Clustered Index特性

    建表时指定cluster index create table t1(c1 int primary key,c2 int clustering,c3 int)engine=rocksdb;create table t2(c1 int primary key,c2 int clustering unique,c3 int)engine=rocksdb;create table t3(c1 ...
    文章 2018-07-17 1666浏览量
  • MySQL·myrocks·data dictionary 分析

    这里以建表和删表来举例 create table CREATE TABLE t1(a INT,b CHAR(8),pk INT AUTO_INCREMENT,PRIMARY KEY(pk),key idx1(b)comment 'cf_1')ENGINE=rocksdb;通过以下步骤建表 创建column family(get_or_create_cf) ...
    文章 2017-03-08 1203浏览量
  • myrocks 之数据字典

    这里以建表和删表来举例 create table CREATE TABLE t1(a INT,b CHAR(8),pk INT AUTO_INCREMENT,PRIMARY KEY(pk),key idx1(b)comment 'cf_1')ENGINE=rocksdb;通过以下步骤建表 创建column family(get_or_create_cf) ...
    文章 2016-10-18 2614浏览量
  • Flink 在快手实时多维分析场景的应用

    用户只需要将逻辑表建好之后,就可以在实时数仓对数据进行清洗和过滤。建模计算指标 数据预处理完成后,最重要的步骤是进行建模指标计算,此处支持 Cube、GroupingSet 方式维度组合来计算小时或者天累计的 UV(Unique...
    文章 2020-06-17 1397浏览量
  • 存储与计算分离:OSS构建+计算引擎对接

    看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样?本文先给出基本结论: OSS是什么?对象存储(Object Storage Service,简称OSS)是基于阿里...
    文章 2017-04-28 14687浏览量
  • 日均百亿级日志处理:微博基于 Flink 的实时计算平台...

    之后,我们直接在 DataStream 上进行处理,在 CountWindow 窗口内进行关联操作,将被关联的数据 Hash 打散后存储在各个 datanode 节点的 Rocksdb 中,利用 Flink State 原生支持 Rocksdb 做 Checkpoint 这一特性进行...
    文章 2019-10-30 6562浏览量
  • 102万行代码,1270 个问题,Flink 新版发布了什么?

    Flink 1.10.0 支持在 SQL 建表语句中定义 watermark 和计算列,以 watermark 为例: CREATE TABLEtable_name(WATERMARK FOR columnName AS)WITH(.) 除此之外,Flink 1.10.0 还在 SQL 中对临时函数/永久函数以及系统/...
    文章 2020-02-24 1572浏览量
  • 102万行代码,1270 个问题,Flink 新版发布了什么?...

    Flink 1.10.0 支持在 SQL 建表语句中定义 watermark 和计算列,以 watermark 为例: CREATE TABLEtable_name WATERMARK FOR columnName AS<watermark_strategy_expression>WITH 除此之外,Flink 1.10.0 还在 ...
    文章 2020-02-24 1760浏览量
  • 102万行代码,1270 个问题,Flink 新版发布了什么?...

    Flink 1.10.0 支持在 SQL 建表语句中定义 watermark 和计算列,以 watermark 为例: CREATE TABLEtable_name WATERMARK FOR columnName AS<watermark_strategy_expression>WITH 除此之外,Flink 1.10.0 还在 ...
    文章 2020-02-24 999浏览量
  • Apache Flink 在快手的过去、现在和未来

    为了节省空间,我们又在整个高速 KV 层下面了一个 Chunk 层,一个 Chunk 是多个 KV 序列化组成的。通过这种序列化的组织之后,在某些场景下相比于 KV 层能够节省约 60%的空间。但是在存取速度上会有一定程度的降低...
    文章 2021-02-26 1051浏览量
  • 18个PPT,29个提问解答,都在这儿啦!

    A」:demo 里有注册了两个 catalog,一个 default catalog(内存),一个 hive catalog(持久化),两种 catalog 都能存批的和流的(其实 Flink SQL 不区分流和批的) Q」:本案例跟您上一次(2020年2月份)讲的...
    文章 2020-04-28 870浏览量
  • 开放下载!18个PPT,29个提问解答,都在这儿啦!

    A」:demo 里有注册了两个 catalog,一个 default catalog(内存),一个 hive catalog(持久化),两种 catalog 都能存批的和流的(其实 Flink SQL 不区分流和批的) Q」:本案例跟您上一次(2020年2月份)讲的...
    文章 2020-04-28 16825浏览量
  • 云时代下的数据库存储——运筹帷幄的阿里云数据库...

    文档型数据库不需要事先完全设计好一样的结构来一一映射到每个部件上,它支持动态结构,可以把每一个存储项的项目名和值直接存储在一个文档当中,在数据结构上只需要简单的几行就可以把多张数据的信息汇总起来,...
    文章 2018-01-28 6610浏览量
  • Flink SQL CDC 上线!我们总结了 13 条生产实践经验

    建表完成后,Flink 是不会马上去同步 MySQL 的数据,而是等到用户提交了一个 insert 作业后才会执行同步数据,并且 Flink 不会存储数据。我们的第一个作业是计算收入分布,数据来源于 bill_info 和 order_info 两张 ...
    文章 2020-09-25 11476浏览量
  • 看云栖说云栖—— 开源、SQL or NoSQL

    在性能方面,通过对日志存储等技术细节的优化,阿里云托管的HBase要比自在ECS上的HBase性能有几倍的提升。最后一个要介绍的是Cassandra,阿里云应该是国内最早开通Cassandra服务的云服务商。Cassandra是结合了...
    文章 2019-12-08 354浏览量
  • 水平扩展太难了!PolarDB-X 为你支招

    CockroachDB 底层的存储引擎 RocksDB 会将数据组织成有序的 Key-Value 对形成一个KV map。数据分区为了支持水平扩展&xff0c;CockroachDB 会按 KV map 的key的取值范围&xff0c;在逻辑上水平切分为多个分片&xff0c;称为 ...
    文章 2021-05-17 283浏览量
  • MongoDB 与大数据

    5.支持多种引擎wiretiger rocksdb;6.适用场景:游戏,物流,电商,社交等。MongoDB的日志审计和慢查询介绍 在使用MongoDB的使用过程当中,经常会遇到如下问题:1.查询超时报错;2.数据库响应慢;3.CPU达到100%;以上...
    文章 2018-01-27 3201浏览量
  • 聚焦|数据湖分析如何面向对象存储OSS进行优化?

    DLA FS同时支持DLA的Serverless Spark进行ETL读写、DLA Serverless Presto数据交互式查询、Lakehouse入湖仓数据的高效读取等。面向对象存储OSS的架构优化整体分为四层&xff1a;数据湖存储OSS&xff1a;存储结构化、半...
    文章 2021-06-15 4698浏览量
  • 如何将一棵LSM-Tree塞进NVM

    但实际的系统中为了加速内存的刷盘操作,通常允许部分层的SST存在范围交叠,如LevelDB,RocksDB等均允许Level0存在交叠,但乱序的Level0层数据布局会降低读取效率。图 2 X-Engine主要架构3 机遇与挑战现有的基于...
    文章 2021-09-10 203浏览量
  • 深度|带领国产数据库走向世界,POLARDB底层逻辑是什么...

    这个功能把并行化做到极致,可以把索引等DDL的时间减少近10倍。同时,POLARDB还进行了大量的DDL复制层面的优化,这使得DDL可以进行跨区域的大批量复制,速度更加迅速,资源的消耗更少。3)支持跨地域的全球数据库...
    文章 2019-10-29 5376浏览量
  • 深度|带领国产数据库走向世界,POLARDB底层逻辑是什么...

    这个功能把并行化做到极致,可以把索引等DDL的时间减少近10倍。同时,POLARDB还进行了大量的DDL复制层面的优化,这使得DDL可以进行跨区域的大批量复制,速度更加迅速,资源的消耗更少。3)支持跨地域的全球数据库...
    文章 2019-10-28 2838浏览量
  • 如何将一棵LSM-Tree塞进NVM

    RocksDB等均允许Level0存在交叠&xff0c;但乱序的Level0层数据布局会降低读取效率。图 2 X-Engine主要架构3 机遇与挑战现有的基于LSM-tree架构的OLTP存储引擎的设计通常存在以下几个问题&xff1a;xff08;1&xff09;WAL位于...
    文章 2021-09-23 111浏览量
  • 回首2018|分析型数据库AnalyticDB:不忘初心 砥砺前行

    1).Global Meta Service(GMS)上线生产,提供分布式DDL和数据调度能力,同步提升用户体验。2).分区分配算法改进,为计算调度优化,支持多组场景下的数据均匀分布 3).数据更新(上线),数据重分布(Rebalance)...
    文章 2019-01-11 1942浏览量
  • 空学Kafka之二

    在延展一下想到阿里现在的中台,曾经参加过一关于星环的测试,真是复杂,高大上的无厘头的高度抽象,如果有了数据总线/数据中台,很多时候可能自系统会更加高效且稳定,比当前的中台还要中台——中台不就是为了...
    文章 2019-08-02 936浏览量
  • 云栖干货回顾|行业顶级NoSQL成员坐阵,NoSQL数据库...

    通常情况下,关系型数据库中需要通过七八张才能做到的模型,图数据库能够更加直观、自然地表现出来。此外,图数据库做关联查询的速度更快,还能够提供更多探索发现的能力。前面提到的是属性图模型,在图数据领域...
    文章 2019-10-16 2090浏览量
  • 前沿干货|X-Engine:RDS MySQL的新存储引擎

    使用多事务处理队列和流水线处理技术,减少线程上下文切换代价,并计算每个阶段任务量配比,使整个流水线充分流转,极大提升事务处理性能,相对于其他类似架构的存储引擎比如RocksDB,X-Engine的事务处理性能有10倍...
    文章 2020-01-19 2184浏览量
  • 百信银行基于 Apache Hudi 实时数据湖演进方案

    因此,我们把实时计算平台对 Hudi 做了集成和测试,期间也遇到一些问题,典型的问题有:1、类冲突2、不能找到 class 文件3、rocksdb 冲突为了解决这些不兼容的问题,我们将对 Hudi 的依赖,重新构造了一个独立的模块...
    文章 2021-05-07 8740浏览量
  • 阿里在数据库智能优化路上,做了哪些探索与实践?

    比如有的数据有十列,但索引就了二三十个,这个是不合理的。有的开发同学根据自己的SQL上去就一个索引,他并没有看有没有相关的索引,他可能只会一个对他有用的索引。有些索引自从了之后从来没被访问过...
    文章 2017-08-22 5888浏览量
  • Go语言的9大优势和3大缺点

    Go 有着强大的工具支持,面向 Redis、RabbitMQ、PostgreSQL、Template parsing、Task scheduling、Expression parsing 和 RocksDB 的稳定的库。Go 的生态系统相比于 Rust、Elixir 这样的语言有很大的优势。当然,它...
    文章 2017-11-01 1523浏览量
1 2 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化