Terark—重新定义数据技术

简介: 本文PPT来自Terark Inc. CTO雷鹏于10月15日在2016年杭州云栖大会上发表的《Terark—重新定义数据技术》。

Terark核心技术

可检索压缩 SeComp (Seekable Compression) 技术

这个技术拥有超高的压缩率(⼀一般在5倍以上), 同时可以直接在压缩的数据上进行定点访问(微秒级), 避免了了传统数据库使用的分块压缩技术固有的缺点

索引技术

我们实现了多种独有的索引技术。其中最关键的是“数据即索引,索引即数据” , 从而节

约了空间,同时并保持甚至提高了性能

存储引擎技术

Terark存储引擎可以便便捷的融入各种数据系统, 为其提供高效的核心存储技术,大幅提升

整个系统的容量和性能

 

TerarkDB ——高性能、高压缩的存储引擎

一组800G的数据,Terark压缩后只有47.9G,同时Query延迟达到微秒级。使⽤用Terark,只需要1台普通64G内存的服务器器就够了,而用其它数据库可能就需要搭建一个小集群了。

功能丰富:支持丰富数据类型的Schema定义和灵活的索引, 原生支持正则表达式检索

性能强大:TerarkDB的QPS⽐比同类产品提⾼高1〜2个数量级, 降低延迟, 提高吞吐量

容量大成本低:压缩率5倍以上, 极大的降低IO压⼒力力, 提高数据容量, 降低基础设施成本

索引压缩: Succinct Tree

一种能够在接近于信息论下限的空间内来表达对象的技术,通常使用位图来表示,用位图上的rank和select来定位。

ae10cfec2d46e565c548b6b9602484d85472fa1d

a92aa5045df2123dde6eb9ddf385ad7d64557864

566d5dd1dd829d8b6ec8d53d0d47af6a7ff47aff

2928784eba21075a27e76da7246f41b4985d9122

e7a11befc2258d6b00f99d3ece83079d2e416ebf

74bd3c4782d1d5d4253d15bb435a5790819c9bfb

01d1af5b6c9c8da06e325159c0eae7c8083a0229

0b0471d5baa4af159ffaa02ebec56342333c5d82

b2aa7c16c4335f4793fb8231c04f9bb8bc531b44

635b9b74d0b35d407bf8e2cf2444df5d7eba2615

b704a256b06cbcb18a25337c2715e353cf608d13

aded159c7e9156a22d7714a8a7f897ddea1941f8

47926a4aa3a4c2026ba69a1dc3d31c3453b07499

70b1539fbed90822191feae10da3735e06d17915

11f630b61518a3fc44a9634353f8b59cccbaa7b6

263f70a687c2384bd707f5ce0cea5548196c104e

a13703b677fa905875b076041f99d7cc5237efce

26d4f3eeea4c07126ef0918bd49d8b3620899870

相关文章
|
存储 NoSQL 数据库
数据模型
一、数据模型 数据模型是用于描述现实世界中各种实体、属性和实体之间关系的一种抽象表示方法。它是在计算机系统中对数据进行组织和管理的基础,用于定义数据的结构、约束和操作。 数据模型可以分为以下几种类型: 1. 层次模型:层次模型是一种树状结构的数据模型,其中数据以层次结构进行组织。每个节点可以有多个子节点,但只能有一个父节点。典型的层次模型是树形数据库。 2. 网状模型:网状模型是一种复杂的数据模型,其中数据之间可以有多对多的关系。网状模型使用指针来表示数据之间的关系,典型的网状模型是CODASYL数据库。 3. 关系模型:关系模型是一种基于关系代数的数据模型,其中数据以表的形式进行组织。关系模
101 0
ly~
|
2月前
|
供应链 搜索推荐 安全
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
153 2
|
4月前
|
存储 传感器 人工智能
2024年非结构化数据管理将以四种方式发生变化
2024年非结构化数据管理将以四种方式发生变化
|
5月前
|
消息中间件 NoSQL 中间件
中间件定义数据模型
【7月更文挑战第8天】
58 2
|
6月前
|
安全 JavaScript 前端开发
C++一分钟之-C++17特性:结构化绑定
【6月更文挑战第26天】C++17引入了结构化绑定,简化了从聚合类型如`std::tuple`、`std::array`和自定义结构体中解构数据。它允许直接将复合数据类型的元素绑定到单独变量,提高代码可读性。例如,可以从`std::tuple`中直接解构并绑定到变量,无需`std::get`。结构化绑定适用于处理`std::tuple`、`std::pair`,自定义结构体,甚至在范围for循环中解构容器元素。注意,绑定顺序必须与元素顺序匹配,考虑是否使用`const`和`&`,以及谨慎处理匿名类型。通过实例展示了如何解构嵌套结构体和元组,结构化绑定提升了代码的简洁性和效率。
97 5
|
7月前
|
数据采集 数据可视化 数据建模
数据模型依赖图的作用是什么?
数据模型依赖图的作用是什么?
128 2
|
7月前
|
自然语言处理 中间件 测试技术
中间件数据格式结构化数据与非结构化数据之间的转换
中间件数据格式结构化数据与非结构化数据之间的转换
116 3
|
7月前
|
存储 大数据 数据管理
数据模型设计
数据模型设计
|
存储 前端开发
谈谈数据标准和数据模型
标准定义了一个参考框架,强化交互各方之间的信任。例如,当您在加油站加满汽车油箱时,“升”汽油的标准定义将确保您获得的汽油量是您认为的。反过来,“人民币”的标准定义向加油站所有者保证,您正在向他支付您购买的汽油的适当价值。
谈谈数据标准和数据模型
|
数据采集 存储 数据可视化
数据模型系列:数据模型和数据建模基础
数据模型是组织加速应用程序开发和释放数据价值的关键工具。
数据模型系列:数据模型和数据建模基础