从摩托罗拉、诺基亚再到航空领域应用,这款开源数据库的成功如何成就天才程序员?

简介:   如果说有什么事物能够使男程序员心中的父爱完全觉醒,那我想一定是投身于自己创建的开源项目中去了。在和熊谱翔、黄东旭等储多开源大神的接触中,我可以明显感到他们对于自身开源项目的那份执着与热爱。虽然说贝佐斯、盖茨等IT巨头创始人都能在公司走上正轨后卸任CEO,完成华丽转身,但是为了维护自己的开源项目,程序员们往往都是从一而终,从不始乱终弃。

  如果说有什么事物能够使男程序员心中的父爱完全觉醒,那我想一定是投身于自己创建的开源项目中去了。在和熊谱翔、黄东旭等储多开源大神的接触中,我可以明显感到他们对于自身开源项目的那份执着与热爱。虽然说贝佐斯、盖茨等IT巨头创始人都能在公司走上正轨后卸任CEO,完成华丽转身,但是为了维护自己的开源项目,程序员们往往都是从一而终,从不始乱终弃。

  不过这也带来了一个衍生的问题,那就是开源项目尤其是由初创团队建立的开源项目到底如何赚钱,怎么保持持续活力?我们看到之前Linux的创始人林纳斯就吐槽说现在的社区几乎靠他们这一代年过50的老年程序员维系,年轻人似乎不喜欢内核编程,甚至还有不少大学及企业只热衷于在内核中“注水”去刷KPI,真不知道再过20年Linux会路向何方,可见即使是顶级的开源项目也有着自己的隐忧,更遑论其它小众的开源项目了。

  还有一个现象也特别值得我们注意,那就是很多开源项目承担了巨大的责任,不过其营收却非常惨淡。熟悉信息安全方面的读者肯定知道,很多安全检测所找到的漏洞都来自于开源项目 OpenSSL,这个实现SSL安全加密的C代码库,承载了全球17%的加密流量,不过令人震惊的是这个项目每年却仅能收到2000美元的捐款。

  将心比心像笔者这样经常写文章的程序员也会极力维护自己的文字,虽然也有梦想建立一个开源项目,但是开源到底意味着什么我却根本没有能力思考清楚,不过最近我在无意听到一个名为CoRecursive的播客,并在其中听到了Richard Hipp亲身介绍SQLite成长过程中,初创人员口述的心路历程颇令人触动,Richard在访谈中所做的表述非常真实坦率,接下来就对原文进行了简译,与大家共享SQLite不为人知的故事。

  无处不在的Sqlite

  SQLite目前正在成为世界的核心基础设施,变得无处不在。SQLite存在于网络浏览器中,存在于手机中,存在于汽车中,甚至存在于飞机中。Sqlite几乎垄断了社交软件,不管是iMessages还是微信、WhatsApp,消息存储引擎都是SQLite,哪怕只是在计算机上简单的查找*.db文件,你也会惊讶于为什么电脑中会存在这么多的Sqlite 数据库,它是世界上装机最多的数据库,没有之一。从Richard 的分享中我们看到,SQLite的诞生最早源于他对Informix的失望。

  目前的信息系统像是一艘大且复杂的巨轮,假如行驶过程中出现管道破裂,那么船员通过关闭管道一侧的阀门来隔离损坏,随后还需要打开其他地方的阀门以将工作流体恢复到下游的其他系统中,这样操作的话它们就不会造成重大损失。但想找到这些阀门却越来越复杂,拆了东墙补西墙的情况笔笔皆是。像Informix这样的传统数据库和这样一艘巨轮的情况非常相似,虽然程序员按照操作手册去维护乐器系统可以解决问题,但是手册却越来越厚,查阅手册所需要的时间更是越来越长。

  一般咱们程序员在设计系统时,往往都会在性能可以接受的情况下,先寻求快速的近似解,而不会考虑做极致的优化,虽然程序员们试图编写代码来解决问题,但却很少真正深入的分析问题。

  在创立SQLite之前,Richard正在领导一个致力于极致技术优化的团队,但他们使用的数据库产品Informix却没有获得团队的一致认可。一旦数据库宕机,应用程序就无法运行,由于一般的应用开发者对数据库服务器没有太多控制权,但却对应用的可用性承担绝对责任,因此经常有程序员因为数据的问题而背锅。

  Richard的团队开始用原认知来分析这样的问题,他们一连问了三个问题,为什么我们需要专门的服务器?为什么不直接从磁盘中读取数据?为什么不能尽量减轻数据库服务的依赖项?环顾四周,Richard发现几乎每个数据库产品都附带了一个庞大的产品线,一个个近似解堆砌的结果就是变得异常的低效臃肿。这也让Richard萌生了自己写一个轻量级数据库的想法。

  2000 年的时候,网民们大多还只能选择用电话拨号的方式上网,即使在美国家庭拥有宽带普及率也就只有1%。Richard在创立SQLite之初并没有谷歌等神器来帮忙,只能靠自己动手丰衣足食。在最初的版本中,Richard将每个SQL语句视为一个程序,他们实际上构建了一个编译器,将SQL语句转化成了可执行的汇编代码,这其实就是最早的SQLite了。后来Richard的团队将SQLite发布在互联网上,出乎他们的意料,很多人开始使用这个并不成熟的轻量级数据库产品,并给出了热情洋溢的评价与反馈,可能恰恰就是这些最初的鼓励,SQLite正式开启了开源之路。

  在SQLite诞生一年以后,Richard接到了摩托罗拉的电话,当时摩托罗拉正在设计一个新的手机操作系统,他们希望SQLite成为其手机上的数据库引擎。收到邀请后,Richard立刻给出了肯定的答复。

  经过团队内部的协商,Richard最终给出了8万美元的报价。虽然按照实际的工作量来说,这钱不多,但对于当时那个正在开源方面苦苦找寻方向的初创团队来讲,第一桶金的价值根本无法用金钱衡量。

  在顺利完成摩托罗拉的项目之后,美国在线(AOL)也开始与Richard接触,美国在线与Richard一道,完成了CD当中的数据库需求。

  接下来是诺基亚的Symbian OS团队,在诺基亚的选型中,SQLite打败了其它10个数据库引擎,成为了最终的胜出者。后续在接连得到Mozilla和Adobe的支持后,他们和Symbian共同组成了SQLite联盟,这也为SQLite后续发展壮大添砖加瓦。

  当然SQLite能有今天的成就,最关键的一点在于他们在移动互联网上的眼光非常超前,早在2005年,Richard就开始与Android的开发人员进行了沟通,要知道3年之后Android被谷歌以4亿美元收购后才真正在业界扬名。不仅如此他们还为黑莓与IPhone,Windows Mobile都进行了适配工作,这种押注赛道而非单品的风格也值得我们学习。

  可能是由于同性相吸,在全面进行了验证工作后,SQLite团队选择全力支持同样也是开源项目的Android,因为Richard的团队完全可以在Android的Linux环境下用GDB调试SQLite,这个吸引力太大了。

  在经历了一段颇为顺利的发展期之后,Richard和他的团队开始四处吹嘘 SQLite是一款不存在任何错误可能性的数据库,不过在为航天公司罗克韦尔柯林斯工作的时候,Richard开始明白消费级电子与航空技术对于基础软件的要求,完全不可同日而语。

  罗克韦尔柯林斯向Richard介绍了 DO-178B 标准的概念,由于笔者并没有在网上查到这项航空产品质量标准的原文,所以下面就只能引用访谈原文中的大多介绍了,与许多质量标准不同,DO-178B可读性很强,虽然也有一些官话套话,但只要遵守这个标准就可以真正提高软件的质量,虽然这是一本要花费几百美元却还很薄的书,但Richard认为这笔钱花得很值,达到航空标准的关键在于100% 的 MCDC 测试覆盖率。

  按照笔者的理解MCDC实际是一个形式化验证的过程,有点类似于操作系统SEL4的概念,这个验证标准不但要覆盖所有的分支,还要覆盖达到分支前所有可达的路径,比如代码执行到第4个分支之前可以有1-2-3、3-2-1、3-1-2等等可达路径,那么验证就要100% 覆盖上述所有执行路径,而且这个覆盖还要以汇编语言为基准进行。

  Richard的团队用了整整一年996的代价,完成了数十亿个测试用例,才最终完成MCDC的工作。不过完成了这项工作后,SQLite也升级了,没有重大错误不再是一句空谈的口号。

  第一性构建原则

  个人认为SQLite能够成功最重要的原因还是在于,Richard团队使用第一性来构建产品,随着产品的不断迭代,Richard总是自己动手去实现算法,而不是从网上照搬原有的解决方案。就如Richard所说,在实际工作中,学校里学习的数据结构知识可能早就忘光了,不过在SQLite用到B+树的时候,Richard直接抄起《The Art of Computer Programming》,翻到搜索的章节,找到B+树的伪代码,学习相关思想然后动手实现,光是这份执着就值得我们学习。

  现在的SQLite已经是一个可以自我生长的完整生态了,Richard 的数据库是世界上使用最多的数据库,从某些方面来说,它是SQLite甚至是部署最广泛的软件模块。

  最初的SQLite仅仅源于一个不需要实体服务器,直接与磁盘交互的疯狂想法,如果你当时去问任何数据库方面的专家,得到的结论都会是这种方案永远行不通。不过幸运的是,Richard当时不认识任何专家,后来自己还成了专家,可以说开源最需要的是对梦想的执着,而不是理性的分析,这也是对我最大的启发。

目录
相关文章
|
6天前
|
SQL Java 关系型数据库
应用DriverManager类创建sqlserver数据库连接实例 JSP中使用数据库
该博客文章介绍了在JSP中使用JDBC连接SQL Server数据库的方法,包括加载数据库驱动、建立数据库连接的过程,并提供了一个使用DriverManager类创建数据库连接的Java示例代码。
|
18天前
|
存储 监控 安全
【计算机三级数据库技术】第1章 数据库应用系统生命周期下知识体系--附思维导图
本文提供了数据库应用系统生命周期下的知识体系概述,并附有思维导图,帮助读者更好地理解数据库技术及应用的第一章内容,涵盖了数据库系统的规划、分析、设计、实现、测试、运行和维护等各个阶段。
34 12
|
12天前
|
SQL 关系型数据库 MySQL
「Go开源」goose:深入学习数据库版本管理工具
「Go开源」goose:深入学习数据库版本管理工具
「Go开源」goose:深入学习数据库版本管理工具
|
20天前
|
SQL canal Serverless
Serverless 应用引擎使用问题之每次记录的数据很少,如何不使用外链数据库储存数据
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
18天前
|
数据可视化 架构师 测试技术
【计算机三级数据库技术】第5章 UML与数据库应用系统--附思维导图
本文提供了UML在数据库应用系统设计中的应用概览,包括UML建模框架、视图、四大图的介绍,以及如何使用活动图、用例图、类图、顺序图等UML图来表达业务流程、系统需求和内部结构,最后还涉及了系统微观和宏观设计的UML表达方式。
25 4
|
16天前
|
人工智能 NoSQL 关系型数据库
现代数据库技术发展趋势与应用前景探析
在当今数字化时代,数据库技术正日益成为信息管理与应用开发的核心。本文从现代数据库技术的发展趋势出发,探讨了关系型数据库、NoSQL数据库以及新兴的分布式数据库技术,分析它们在各自领域的优势与挑战。结合实际应用场景,探索现代数据库技术的应用前景,为技术从业者提供思路与参考。
|
18天前
|
存储 安全 测试技术
【计算机三级数据库技术】第4章 数据库应用系统功能设计与实现--附思维导图
重点介绍了数据库应用系统(DBAS)的功能设计和实现。
11 1
|
3天前
|
存储 NoSQL 关系型数据库
Web中的数据库:原理、应用与代码实现
Web中的数据库:原理、应用与代码实现
|
16天前
|
存储 NoSQL 关系型数据库
现代数据库技术的演进与应用
本文探讨了现代数据库技术在面对日益复杂和庞大的数据需求时的演进路径及其应用实例。从传统关系型数据库到NoSQL和NewSQL,再到分布式数据库系统,我们分析了每种技术的特点、优势和适用场景,并讨论了它们在大数据处理、实时分析和云计算环境中的应用案例。通过本文的阐述,读者将能够深入理解不同数据库技术的选择依据及其在现代技术架构中的关键作用。
|
18天前
|
SQL Oracle 关系型数据库
.NET 开源快捷的数据库文档查询和生成工具
【8月更文挑战第1天】推荐几款.NET开源数据库文档工具:1. DBDocumentor,支持多类型数据库,快速生成详尽文档;2. SqlDoc,界面简洁,自定义内容与格式;3. DBInfo,强大查询功能,支持多种导出格式。这些工具有效提升文档管理效率与质量。