从摩托罗拉、诺基亚再到航空领域应用,这款开源数据库的成功如何成就天才程序员?

简介:   如果说有什么事物能够使男程序员心中的父爱完全觉醒,那我想一定是投身于自己创建的开源项目中去了。在和熊谱翔、黄东旭等储多开源大神的接触中,我可以明显感到他们对于自身开源项目的那份执着与热爱。虽然说贝佐斯、盖茨等IT巨头创始人都能在公司走上正轨后卸任CEO,完成华丽转身,但是为了维护自己的开源项目,程序员们往往都是从一而终,从不始乱终弃。

  如果说有什么事物能够使男程序员心中的父爱完全觉醒,那我想一定是投身于自己创建的开源项目中去了。在和熊谱翔、黄东旭等储多开源大神的接触中,我可以明显感到他们对于自身开源项目的那份执着与热爱。虽然说贝佐斯、盖茨等IT巨头创始人都能在公司走上正轨后卸任CEO,完成华丽转身,但是为了维护自己的开源项目,程序员们往往都是从一而终,从不始乱终弃。

  不过这也带来了一个衍生的问题,那就是开源项目尤其是由初创团队建立的开源项目到底如何赚钱,怎么保持持续活力?我们看到之前Linux的创始人林纳斯就吐槽说现在的社区几乎靠他们这一代年过50的老年程序员维系,年轻人似乎不喜欢内核编程,甚至还有不少大学及企业只热衷于在内核中“注水”去刷KPI,真不知道再过20年Linux会路向何方,可见即使是顶级的开源项目也有着自己的隐忧,更遑论其它小众的开源项目了。

  还有一个现象也特别值得我们注意,那就是很多开源项目承担了巨大的责任,不过其营收却非常惨淡。熟悉信息安全方面的读者肯定知道,很多安全检测所找到的漏洞都来自于开源项目 OpenSSL,这个实现SSL安全加密的C代码库,承载了全球17%的加密流量,不过令人震惊的是这个项目每年却仅能收到2000美元的捐款。

  将心比心像笔者这样经常写文章的程序员也会极力维护自己的文字,虽然也有梦想建立一个开源项目,但是开源到底意味着什么我却根本没有能力思考清楚,不过最近我在无意听到一个名为CoRecursive的播客,并在其中听到了Richard Hipp亲身介绍SQLite成长过程中,初创人员口述的心路历程颇令人触动,Richard在访谈中所做的表述非常真实坦率,接下来就对原文进行了简译,与大家共享SQLite不为人知的故事。

  无处不在的Sqlite

  SQLite目前正在成为世界的核心基础设施,变得无处不在。SQLite存在于网络浏览器中,存在于手机中,存在于汽车中,甚至存在于飞机中。Sqlite几乎垄断了社交软件,不管是iMessages还是微信、WhatsApp,消息存储引擎都是SQLite,哪怕只是在计算机上简单的查找*.db文件,你也会惊讶于为什么电脑中会存在这么多的Sqlite 数据库,它是世界上装机最多的数据库,没有之一。从Richard 的分享中我们看到,SQLite的诞生最早源于他对Informix的失望。

  目前的信息系统像是一艘大且复杂的巨轮,假如行驶过程中出现管道破裂,那么船员通过关闭管道一侧的阀门来隔离损坏,随后还需要打开其他地方的阀门以将工作流体恢复到下游的其他系统中,这样操作的话它们就不会造成重大损失。但想找到这些阀门却越来越复杂,拆了东墙补西墙的情况笔笔皆是。像Informix这样的传统数据库和这样一艘巨轮的情况非常相似,虽然程序员按照操作手册去维护乐器系统可以解决问题,但是手册却越来越厚,查阅手册所需要的时间更是越来越长。

  一般咱们程序员在设计系统时,往往都会在性能可以接受的情况下,先寻求快速的近似解,而不会考虑做极致的优化,虽然程序员们试图编写代码来解决问题,但却很少真正深入的分析问题。

  在创立SQLite之前,Richard正在领导一个致力于极致技术优化的团队,但他们使用的数据库产品Informix却没有获得团队的一致认可。一旦数据库宕机,应用程序就无法运行,由于一般的应用开发者对数据库服务器没有太多控制权,但却对应用的可用性承担绝对责任,因此经常有程序员因为数据的问题而背锅。

  Richard的团队开始用原认知来分析这样的问题,他们一连问了三个问题,为什么我们需要专门的服务器?为什么不直接从磁盘中读取数据?为什么不能尽量减轻数据库服务的依赖项?环顾四周,Richard发现几乎每个数据库产品都附带了一个庞大的产品线,一个个近似解堆砌的结果就是变得异常的低效臃肿。这也让Richard萌生了自己写一个轻量级数据库的想法。

  2000 年的时候,网民们大多还只能选择用电话拨号的方式上网,即使在美国家庭拥有宽带普及率也就只有1%。Richard在创立SQLite之初并没有谷歌等神器来帮忙,只能靠自己动手丰衣足食。在最初的版本中,Richard将每个SQL语句视为一个程序,他们实际上构建了一个编译器,将SQL语句转化成了可执行的汇编代码,这其实就是最早的SQLite了。后来Richard的团队将SQLite发布在互联网上,出乎他们的意料,很多人开始使用这个并不成熟的轻量级数据库产品,并给出了热情洋溢的评价与反馈,可能恰恰就是这些最初的鼓励,SQLite正式开启了开源之路。

  在SQLite诞生一年以后,Richard接到了摩托罗拉的电话,当时摩托罗拉正在设计一个新的手机操作系统,他们希望SQLite成为其手机上的数据库引擎。收到邀请后,Richard立刻给出了肯定的答复。

  经过团队内部的协商,Richard最终给出了8万美元的报价。虽然按照实际的工作量来说,这钱不多,但对于当时那个正在开源方面苦苦找寻方向的初创团队来讲,第一桶金的价值根本无法用金钱衡量。

  在顺利完成摩托罗拉的项目之后,美国在线(AOL)也开始与Richard接触,美国在线与Richard一道,完成了CD当中的数据库需求。

  接下来是诺基亚的Symbian OS团队,在诺基亚的选型中,SQLite打败了其它10个数据库引擎,成为了最终的胜出者。后续在接连得到Mozilla和Adobe的支持后,他们和Symbian共同组成了SQLite联盟,这也为SQLite后续发展壮大添砖加瓦。

  当然SQLite能有今天的成就,最关键的一点在于他们在移动互联网上的眼光非常超前,早在2005年,Richard就开始与Android的开发人员进行了沟通,要知道3年之后Android被谷歌以4亿美元收购后才真正在业界扬名。不仅如此他们还为黑莓与IPhone,Windows Mobile都进行了适配工作,这种押注赛道而非单品的风格也值得我们学习。

  可能是由于同性相吸,在全面进行了验证工作后,SQLite团队选择全力支持同样也是开源项目的Android,因为Richard的团队完全可以在Android的Linux环境下用GDB调试SQLite,这个吸引力太大了。

  在经历了一段颇为顺利的发展期之后,Richard和他的团队开始四处吹嘘 SQLite是一款不存在任何错误可能性的数据库,不过在为航天公司罗克韦尔柯林斯工作的时候,Richard开始明白消费级电子与航空技术对于基础软件的要求,完全不可同日而语。

  罗克韦尔柯林斯向Richard介绍了 DO-178B 标准的概念,由于笔者并没有在网上查到这项航空产品质量标准的原文,所以下面就只能引用访谈原文中的大多介绍了,与许多质量标准不同,DO-178B可读性很强,虽然也有一些官话套话,但只要遵守这个标准就可以真正提高软件的质量,虽然这是一本要花费几百美元却还很薄的书,但Richard认为这笔钱花得很值,达到航空标准的关键在于100% 的 MCDC 测试覆盖率。

  按照笔者的理解MCDC实际是一个形式化验证的过程,有点类似于操作系统SEL4的概念,这个验证标准不但要覆盖所有的分支,还要覆盖达到分支前所有可达的路径,比如代码执行到第4个分支之前可以有1-2-3、3-2-1、3-1-2等等可达路径,那么验证就要100% 覆盖上述所有执行路径,而且这个覆盖还要以汇编语言为基准进行。

  Richard的团队用了整整一年996的代价,完成了数十亿个测试用例,才最终完成MCDC的工作。不过完成了这项工作后,SQLite也升级了,没有重大错误不再是一句空谈的口号。

  第一性构建原则

  个人认为SQLite能够成功最重要的原因还是在于,Richard团队使用第一性来构建产品,随着产品的不断迭代,Richard总是自己动手去实现算法,而不是从网上照搬原有的解决方案。就如Richard所说,在实际工作中,学校里学习的数据结构知识可能早就忘光了,不过在SQLite用到B+树的时候,Richard直接抄起《The Art of Computer Programming》,翻到搜索的章节,找到B+树的伪代码,学习相关思想然后动手实现,光是这份执着就值得我们学习。

  现在的SQLite已经是一个可以自我生长的完整生态了,Richard 的数据库是世界上使用最多的数据库,从某些方面来说,它是SQLite甚至是部署最广泛的软件模块。

  最初的SQLite仅仅源于一个不需要实体服务器,直接与磁盘交互的疯狂想法,如果你当时去问任何数据库方面的专家,得到的结论都会是这种方案永远行不通。不过幸运的是,Richard当时不认识任何专家,后来自己还成了专家,可以说开源最需要的是对梦想的执着,而不是理性的分析,这也是对我最大的启发。

目录
相关文章
|
26天前
|
存储 Oracle 关系型数据库
Oracle数据库的应用场景有哪些?
【10月更文挑战第15天】Oracle数据库的应用场景有哪些?
151 64
|
11天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
7天前
|
缓存 NoSQL 数据库
运用云数据库 Tair 构建缓存为应用提速,完成任务得苹果音响、充电套装等好礼!
本活动将带大家了解云数据库 Tair(兼容 Redis),通过体验构建缓存以提速应用,完成任务,即可领取罗马仕安卓充电套装,限量1000个,先到先得。邀请好友共同参与活动,还可赢取苹果 HomePod mini、小米蓝牙耳机等精美好礼!
|
14天前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
30 3
|
14天前
|
存储 Java 关系型数据库
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践,包括连接创建、分配、复用和释放等操作,并通过电商应用实例展示了如何选择合适的连接池库(如HikariCP)和配置参数,实现高效、稳定的数据库连接管理。
33 2
|
19天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
74 4
|
24天前
|
XML 存储 数据库
XML在数据库中有哪些应用?
【10月更文挑战第17天】XML在数据库中有哪些应用?
23 2
|
25天前
|
供应链 数据库
数据库事务安全性控制有什么应用场景吗
【10月更文挑战第15天】数据库事务安全性控制有什么应用场景吗
|
27天前
|
存储 JSON Ubuntu
时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard
本文介绍了如何结合 Thingsboard 和 TDengine 实现设备管理和数据存储。Thingsboard 中的“设备配置”与 TDengine 中的超级表相对应,每个设备对应一个子表。通过创建设备配置和设备,实现数据的自动存储和管理。具体操作包括创建设备配置、添加设备、写入数据,并展示了车辆实时定位追踪和车队维护预警两个应用场景。
48 3
|
1月前
|
SQL 数据库 数据库管理
数据库SQL函数应用技巧与方法
在数据库管理中,SQL函数是处理和分析数据的强大工具