YashanDB访问约束

简介: YashanDB访问约束

访问约束是YashanDB特有的一种关系数据结构,基于有界计算理论的访问约束模型(AC,Access Constraint)实现:通过在数据源上建立AC,实现大数据变小的模型变换。在查询时,通过访问AC数据,缩小查询代价和提升查询速度。

有界计算理论的基本思想是给定一个函数f(x),参数x表示大数据集,多数计算不需要访问全部的x、只需要取x的一小部分就能得到函数f(x)的精确解。有界计算理论的研究目标是如何根据不同的函数f(x),根据语义找到所需的x的那一小部分。

YashanDB的访问约束结构是按照用户创建访问约束时指定的函数f(x),从大数据集中提取与f(x)结果相关的数据,将其存储在存储空间中。用户对于f(x)的请求,从原来的遍历数据集并经过大量计算得到f(x)转变为查询访问约束后通过少量计算得到f(x)。

例如航空公司的数据集中有所有航空公司的所有航班历史飞行数据,如果现在用户需要查询航班延误次数最多的航空公司,则需要对大量的数据进行聚合。针对这一场景,可以建访问约束,只提取其中航班延误的数据,同时将数据中的重复项做聚合,例如城市、航班号等数据可能存在大量重复,可以通过合并重复值,再加一个引用计数来进行数据压缩,最终将一个海量的数据集大幅度缩小,从而达到查询加速的目的。

访问约束的作用包括:

数据存储变小:通过数据语义变换,实现数据的去重或聚合。

数据计算变小:基于有界计算、预计算将计算的范围变小。

代价有界确定:对于有明确的数据约束关系,可以基于有界算法确定计算的边界,对于计算所需的资源进行估算。

访问约束以对用户透明的方式实现查询加速。

源数据发生变化时,会动态刷新AC数据,保持数据一致性。
————————————————

相关文章
|
设计模式 算法 前端开发
【软件设计师备考 专题 】设计评审:确保质量和效率
【软件设计师备考 专题 】设计评审:确保质量和效率
307 0
|
6月前
|
SQL 监控 网络协议
YashanDB进程线程体系
YashanDB进程线程体系
|
5月前
|
缓存 监控 安全
如何制作网站?网站制作步骤:
‌制作网站的核心步骤:明确核心内容、注册网址域名与租用服务器、页面风格确定、网站制作、测试优化及维护管理。
320 73
|
6月前
|
存储 SQL 监控
【亲测有用】数据中台系统管理能力演示
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
9月前
|
监控 网络协议 网络安全
恶意代码分析入门--开始动态地分析恶意程序(chapter3L_Lab03-01)
实验3-1:通过动态分析技术分析Lab03-01.exe中的恶意代码,探究其导入函数、字符串列表、感染特征及网络特征。实验环境为Windows XP SP3,使用Process Explorer、Strings、Process Monitor、PEiD、Wireshark等工具。分析过程中发现恶意代码创建了互斥体、修改了注册表以实现自启动,并尝试访问外部恶意链接。
213 3
恶意代码分析入门--开始动态地分析恶意程序(chapter3L_Lab03-01)
|
机器学习/深度学习 存储 算法
【强化学习】常用算法之一 “Q-learning”
Q-learning算法是一种基于强化学习的无模型学习方法,通过学习到目标系统的Q值函数来解决智能体在给定环境下的最优决策策略问题。Q-learning算法是基于后验策略方法,即学习出目标系统的价值函数Q之后,通过使用某种策略来最大化该价值函数,称之为后验策略。Q-learning算法是偏差-方差权衡的算法,在偏差较高的情况下可以在基于模型的强化学习中找到一个接近最优策略的解决方案。同时它也具有较高的收敛速度和广泛的适用性,因为其只需要存储一个值函数,不需要存储模型。
963 0
【强化学习】常用算法之一 “Q-learning”
|
存储 数据可视化 Python
使用python moviepy提取视频中的音频,同时对音频数据进行数据可视化分析
使用python moviepy提取视频中的音频,同时对音频数据进行数据可视化分析
464 0
|
弹性计算 大数据 测试技术
阿里云服务器多少钱一年?2024年阿里云服务器价格表新鲜出炉
阿里云服务器分为轻量应用服务器和云服务器ECS,轻量适合个人开发者使用,搭建轻量级的网站、测试环境使用,专业级如大数据、科学计算、高并发网站等需要使用云服务器ECS,以下是分享阿里云服务器租用费用,也可以移步到官方服务器页面:云服务器ECS经济型e实例2核2G、3M固定带宽99元一年、ECS u1实例2核4G、5M固定带宽、80G ESSD Entry盘优惠价格199元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元、2核4G4M带宽轻量服务器一年165元12个月、2核4G服务器30元3个月
|
传感器 监控 物联网
Android Ble蓝牙App(三)特性和属性
Android Ble蓝牙App(三)特性和属性
261 0
|
弹性计算 程序员 Linux
快速学会SVN的搭建和使用
Subversion(SVN) 是一个开源的版本控制系統,被广泛用于协同开发。本文教你怎样快速搭建和使用SVN版本控制系统,并进行代码的提交、修改和恢复版本。
14779 0

热门文章

最新文章