SQLite3数据库中的文件锁和同步机制

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

SQLite3 提供了一个新的锁和同步机制来提高并发,减少死锁。
  SQLite3的锁和同步有PagerModule(pager.c)负责处理。PagerModue负责SQLite事务的ACID,也提供缓存功能。PagerModue不需要知道BTree,字符编码, 索引的结构, Pager Module用来管理Page, 一个Page对应一个DiskBlock, 大小一般是1024Byte。
  1. SQLite3 数据库的锁状态
  UNLOCKED
  SHARED
  RESERVED 保留锁, 表示数据库将被写, 一个数据库只能有一个保留锁, 保留锁可以和共享锁共存,与PENDING锁的不同之处在于还能获得新的共享锁,PENDING锁被激活时, 不能再获得共享锁。
  PENDING
  EXCLUSIVE
  2. 回滚日志文件
  如果有更新数据库操作, SQLite就会生成回滚日志文件, 以"-journal"的文件名结尾, 与数据库文件存放在同一目录下。如果多个数据库同时工作, 每个数据库都有自己的回滚日志文件, 并且还有一个master journal日志文件。master journal没有数据, 只包含各个回滚日志文件名。每个数据库的回滚日志文件也会包含masterjournal文件名。
  当访问数据库时发现有"hot journal"时, SQLite就会进行回滚工作, 回滚结束就删除回滚日志文件。
  处理"hot journal"
  (1) 尝试获得SHAREDLOCK, 如果失败, 立即结束, 返回SQLITE_BUSY
  (2) 检查是否有"hotjournal", 如果没有立即返回, 否则继续执行以下步骤
  (3) 尝试获得PENDINGLOCK, 然后EXCLUSIVELOCK, 如果失败, 表示其他进程正在做回滚, 释放所有锁, 关闭数据库, 返回SQLITE_BUSY。否则继续执行
  (4) 读回滚日志文件, 回滚数据库文件
  (5) 删除回滚日志文件
  (6) 删除masterjournal 文件
  (7) 释放PENDINGLOCK和EXCLUSIVELOCK, 但是保留SHAREDLOCK
  3. 写数据库文件步骤
  (1) 获得共享锁
  (2) 获得RESERVEDLOCK, 如果失败, 返回SQLITE_BUSY, 否则继续执行
  (3) 生成回滚日志文件, 写入磁盘, 等待写完成继续执行
  如果是单个数据库文件
  (4) 请求获得PENDINGLOCK
  (5) 请求获得EXCLUSIVELOCK
  (6) flush/fsync, 将更新写入磁盘
  (7) 删除回滚日志文件
  (8) 释放EXCLUSIVELOCK, PENDING LOCK, RESERVED LOCK, 获得SHARED LOCK
  如果是多个数据库文件事务
  (4) 请求获得PENDINGLOCK 和EXCLUSIVELOCK, 确保所有数据库都获得EXCLUSIVELOCK
  (5) 生成masterjournal文件和每个数据库的回滚日志文件
  (6) flush/fsync, 将更新写入磁盘
  (7) 先删除masterjournal 文件, 再删除所有的回滚日志文件
  (8) 释放所有数据库上的EXCLUSIVELOCK, PENDING LOCK
  4. SQL事务
  默认SQLite autocommit=true
  BEGIN TRANSACTION - COMMIT 命令使得SQLite不在autocommit下工作。当SQLite执行BEGIN命令时, 不会获得任何锁, 直到执行到第一个SELECT, 才获得一个SHARED LOCK, 执行到UPDATE/INSERT/DELETE才获得REVERSED LOCK, 当缓存满或者COMMIT时才请求获得EXCLUSIVE LOCK。
  COMMIT并非真正的将更新写到磁盘, COMMIT使得SQLITE回到autocommit=true 模式, autocommit会负责将更新写到磁盘。
最新内容请见作者的GitHub页:http://qaseven.github.io/

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度,提出多种解决方案:同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
|
1天前
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
7天前
|
存储 SQL 数据库
数据库知识:了解SQLite或其他移动端数据库的使用
【10月更文挑战第22天】本文介绍了SQLite在移动应用开发中的应用,包括其优势、如何在Android中集成SQLite、基本的数据库操作(增删改查)、并发访问和事务处理等。通过示例代码,帮助开发者更好地理解和使用SQLite。此外,还提到了其他移动端数据库的选择。
18 8
|
10天前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
19 3
|
18天前
|
Web App开发 SQL 数据库
使用 Python 解析火狐浏览器的 SQLite3 数据库
本文介绍如何使用 Python 解析火狐浏览器的 SQLite3 数据库,包括书签、历史记录和下载记录等。通过安装 Python 和 SQLite3,定位火狐数据库文件路径,编写 Python 脚本连接数据库并执行 SQL 查询,最终输出最近访问的网站历史记录。
21 4
|
26天前
|
存储 关系型数据库 数据库
轻量级数据库的利器:Python 及其内置 SQLite 简介
轻量级数据库的利器:Python 及其内置 SQLite 简介
50 3
|
28天前
|
应用服务中间件 PHP Apache
PbootCMS提示错误信息“未检测到您服务器环境的sqlite3数据库扩展...”
PbootCMS提示错误信息“未检测到您服务器环境的sqlite3数据库扩展...”
ly~
|
30天前
|
数据库 数据库管理
数据库的事务处理机制有哪些优点?
数据库的事务处理机制具备多种优势:首先,它能确保数据一致性,通过原子性保证所有操作全成功或全失败,利用完整性约束维护数据的有效性;其次,增强了系统可靠性,提供故障恢复能力和正确处理并发操作的功能;最后,简化了应用程序开发工作,将操作封装为逻辑单元并集中处理错误,降低了开发复杂度。
ly~
30 1
|
2月前
|
存储 API 数据库
QML使用Sqlite数据库存储ListModel数据
本文介绍了在QML中使用Sqlite数据库存储ListModel数据的方法,包括如何创建数据库、读取数据、动态添加和删除数据,以及如何在程序启动和退出时与数据库同步数据。
|
2月前
|
数据库 数据库管理
qt对sqlite数据库多线程的操作
本文总结了在Qt中进行SQLite数据库多线程操作时应注意的四个关键问题,包括数据库驱动加载、加锁、数据库的打开与关闭,以及QsqlQuery变量的使用。