SQLite3数据库中的文件锁和同步机制

简介:

SQLite3 提供了一个新的锁和同步机制来提高并发,减少死锁。
  SQLite3的锁和同步有PagerModule(pager.c)负责处理。PagerModue负责SQLite事务的ACID,也提供缓存功能。PagerModue不需要知道BTree,字符编码, 索引的结构, Pager Module用来管理Page, 一个Page对应一个DiskBlock, 大小一般是1024Byte。
  1. SQLite3 数据库的锁状态
  UNLOCKED
  SHARED
  RESERVED 保留锁, 表示数据库将被写, 一个数据库只能有一个保留锁, 保留锁可以和共享锁共存,与PENDING锁的不同之处在于还能获得新的共享锁,PENDING锁被激活时, 不能再获得共享锁。
  PENDING
  EXCLUSIVE
  2. 回滚日志文件
  如果有更新数据库操作, SQLite就会生成回滚日志文件, 以"-journal"的文件名结尾, 与数据库文件存放在同一目录下。如果多个数据库同时工作, 每个数据库都有自己的回滚日志文件, 并且还有一个master journal日志文件。master journal没有数据, 只包含各个回滚日志文件名。每个数据库的回滚日志文件也会包含masterjournal文件名。
  当访问数据库时发现有"hot journal"时, SQLite就会进行回滚工作, 回滚结束就删除回滚日志文件。
  处理"hot journal"
  (1) 尝试获得SHAREDLOCK, 如果失败, 立即结束, 返回SQLITE_BUSY
  (2) 检查是否有"hotjournal", 如果没有立即返回, 否则继续执行以下步骤
  (3) 尝试获得PENDINGLOCK, 然后EXCLUSIVELOCK, 如果失败, 表示其他进程正在做回滚, 释放所有锁, 关闭数据库, 返回SQLITE_BUSY。否则继续执行
  (4) 读回滚日志文件, 回滚数据库文件
  (5) 删除回滚日志文件
  (6) 删除masterjournal 文件
  (7) 释放PENDINGLOCK和EXCLUSIVELOCK, 但是保留SHAREDLOCK
  3. 写数据库文件步骤
  (1) 获得共享锁
  (2) 获得RESERVEDLOCK, 如果失败, 返回SQLITE_BUSY, 否则继续执行
  (3) 生成回滚日志文件, 写入磁盘, 等待写完成继续执行
  如果是单个数据库文件
  (4) 请求获得PENDINGLOCK
  (5) 请求获得EXCLUSIVELOCK
  (6) flush/fsync, 将更新写入磁盘
  (7) 删除回滚日志文件
  (8) 释放EXCLUSIVELOCK, PENDING LOCK, RESERVED LOCK, 获得SHARED LOCK
  如果是多个数据库文件事务
  (4) 请求获得PENDINGLOCK 和EXCLUSIVELOCK, 确保所有数据库都获得EXCLUSIVELOCK
  (5) 生成masterjournal文件和每个数据库的回滚日志文件
  (6) flush/fsync, 将更新写入磁盘
  (7) 先删除masterjournal 文件, 再删除所有的回滚日志文件
  (8) 释放所有数据库上的EXCLUSIVELOCK, PENDING LOCK
  4. SQL事务
  默认SQLite autocommit=true
  BEGIN TRANSACTION - COMMIT 命令使得SQLite不在autocommit下工作。当SQLite执行BEGIN命令时, 不会获得任何锁, 直到执行到第一个SELECT, 才获得一个SHARED LOCK, 执行到UPDATE/INSERT/DELETE才获得REVERSED LOCK, 当缓存满或者COMMIT时才请求获得EXCLUSIVE LOCK。
  COMMIT并非真正的将更新写到磁盘, COMMIT使得SQLITE回到autocommit=true 模式, autocommit会负责将更新写到磁盘。
最新内容请见作者的GitHub页:http://qaseven.github.io/

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
9月前
|
存储 数据库 开发者
Python SQLite模块:轻量级数据库的实战指南
本文深入讲解Python内置sqlite3模块的实战应用,涵盖数据库连接、CRUD操作、事务管理、性能优化及高级特性,结合完整案例,助你快速掌握SQLite在小型项目中的高效使用,是Python开发者必备的轻量级数据库指南。
756 0
|
缓存 NoSQL 算法
Redis数据库的键值过期和删除机制
我们需要注意的是,虽然Redis提供了这么多高级的缓存机制,但在使用过程中,必须理解应用的特性,选择合适的缓存策略,才能最大化Redis的性能。因此,在设计和实施应用程序时,理解应用的数据访问模式,以及这些模式如何与Redis的缓存机制相互作用,尤为重要。
349 24
|
存储 缓存 Oracle
崖山数据库YashanDB的共享集群机制初探
YashanDB共享集群是崖山数据库系统的核心特性,支持单库多实例并发读写,确保强一致性与高可用性。基于Shared-Disk架构和Cohesive Memory技术,实现数据页协同访问及资源控制。其核心组件包括YCK、YCS和YFS,提供金融级RPO=0、RTO<10秒的高可用能力。通过自研“七种武器”(如页内锁、去中心化事务管理等),优化性能并解决读写冲突。相比Oracle RAC,YashanDB在TPC-C测试中性能高出30%,适用于金融、电信等关键领域,推动国产化替代进程。
崖山数据库YashanDB的共享集群机制初探
|
SQL 数据库连接 数据库
在C++的QT框架中实现SQLite数据库的连接与操作
以上就是在C++的QT框架中实现SQLite数据库的连接与操作的基本步骤。这些步骤包括创建数据库连接、执行SQL命令、处理查询结果和关闭数据库连接。在实际使用中,你可能需要根据具体的需求来修改这些代码。
852 14
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
1397 15
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
NoSQL 关系型数据库 分布式数据库
基于PolarDB的图分析:通过DTS将其它数据库的数据表同步到PolarDB的图
本文介绍了使用DTS任务将数据从MySQL等数据源实时同步到PolarDB-PG的图数据库中的步骤.
|
存储 SQL 数据库
数据库知识:了解SQLite或其他移动端数据库的使用
【10月更文挑战第22天】本文介绍了SQLite在移动应用开发中的应用,包括其优势、如何在Android中集成SQLite、基本的数据库操作(增删改查)、并发访问和事务处理等。通过示例代码,帮助开发者更好地理解和使用SQLite。此外,还提到了其他移动端数据库的选择。
490 8
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
558 3
|
Web App开发 SQL 数据库
使用 Python 解析火狐浏览器的 SQLite3 数据库
本文介绍如何使用 Python 解析火狐浏览器的 SQLite3 数据库,包括书签、历史记录和下载记录等。通过安装 Python 和 SQLite3,定位火狐数据库文件路径,编写 Python 脚本连接数据库并执行 SQL 查询,最终输出最近访问的网站历史记录。
487 4

热门文章

最新文章