互联网分层架构之-DAO与服务化

简介: 互联网分层架构演进的核心原则,是让上游更高效的获取与处理数据,让下游能屏蔽掉数据的复杂性获取细节。

互联网分层架构的本质,是数据的移动。

互联网分层架构演进的核心原则:

  • 让上游更高效的获取与处理数据,复用
  • 让下游能屏蔽数据的获取细节,封装

这些在上一篇《互联网分层架构的本质》中有详尽的描述,在实际系统架构演进过程中,如何利用这两个原则,对系统逐步进行分层抽象呢?咱们先从后端系统开始讲解。

本文主要解答两个问题:

  • 后端架构,什么时候进行DAO层的抽象
  • 后端架构,什么时候进行数据服务层的抽象

image.png

核心问题一:什么时候进行DAO层的抽象

一个业务系统最初的后端结构如上:

  • web-server层从db层获取数据并进行加工处理
  • db层存储数据

此时,web-server层如何获取底层的数据呢?

image.png

web-server层获取数据的一段伪代码如上,不用纠结代码的细节,也不用纠结不同编程语言与不同数据库驱动的差异,其获取数据的过程大致为:

  • 创建一个与数据库的连接,初始化资源
  • 根据业务拼装一个SQL语句
  • 通过连接执行SQL语句,并获得结果集
  • 通过游标遍历结果集,取出每行数据,亦可从每行数据中取出属性数据
  • 关闭数据库连接,回收资源

如果业务不复杂,这段代码写1次2次还可以,但如果业务越来越复杂,每次都这么获取数据,就略显低效了,有大量冗余、重复、每次必写的代码。

如何让数据的获取更加高效快捷呢?

image.png

通过技术手段实现:

  • 表与类的映射
  • 属性与成员的映射
  • SQL与函数的映射

绝大部分公司正在用的ORM,DAO等技术,就是一种分层抽象,可以提高数据获取的效率,屏蔽连接,游标,结果集这些复杂性。

image.png

结论

当手写代码从DB中获取数据,成为通用痛点的时候,就应该抽象出DAO层,简化数据获取过程,提高数据获取效率,向上游屏蔽底层的复杂性。

核心问题二:什么时候要进行数据服务层的抽象
抽象出DAO层之后,系统架构并不会一成不变:

  • 随着业务越来越复杂,业务系统会不断进行垂直拆分
  • 随着数据量越来越大,数据库会进行水平切分
  • 随着读并发的越来越大,会增加缓存降低数据库的压力

于是系统架构变成了这个样子:

image.png

业务系统垂直拆分,数据库水平切分,缓存这些都是常见的架构优化手段。

此时,web-server层如何获取底层的数据呢?

根据楼主的经验,以用户数据为例,流程一般是这样的:

  • 先查缓存:先用uid尝试从缓存获取数据,如果cache hit,数据获取成功,返回User实体,流程结束
  • 确定路由:如果cache miss,先查询路由配置,确定uid落在哪个数据库实例的哪个库上
  • 查询DB:通过DAO从对应库获取uid对应的数据实体User
  • 插入缓存:将kv(uid, User)放入缓存,以便下次缓存查询数据能够命中缓存

如果业务不复杂,这段代码写1次2次还可以,但如果业务越来越复杂,每次都这么获取数据,就略显低效了,有大量冗余、重复、每次必写的代码。

特别的,业务垂直拆分成非常多的子系统之后:

  • 一旦底层有稍许变化,所有上游的系统都需要升级修改
  • 子系统之间很可能出现代码拷贝
  • 一旦拷贝代码,出现一个bug,多个子系统都需要升级修改

不相信业务会垂直拆分成多个子系统?举两个例子:

  • 58同城有招聘、房产、二手、二手车、黄页等5大头部业务,都需要访问用户数据
  • 58到家有月嫂、保姆、丽人、速运、平台等多个业务,也都需要访问用户数据
  • 如果每个子系统都需要关注缓存,分库,读写分离的复杂性,调用层会疯掉的。

如何让数据的获取更加高效快捷呢?

服务化,数据服务层的抽象势在必行。

image.png

通过抽象数据服务层:

  • web-server层可以通过RPC接口,像调用本地函数一样调用远端的数据
  • 数据服务层,只有这一处需要关注缓存,分库,读写分离这些复杂性

服务化这里就不展开,更详细的可参考《互联网架构为什么要做服务化?》。

image.png

结论

当业务越来越复杂,垂直拆分的系统越来越多,数据库实施了水平切分,数据层实施了缓存加速之后,底层数据获取复杂性成为通用痛点的时候,就应该抽象出数据服务层,简化数据获取过程,提高数据获取效率,向上游屏蔽底层的复杂性。

互联网分层架构是一个很有意思的问题,服务化的引入,并不是越早越好:

  • c请求处理时间可能会增加
  • 运维可能会更加复杂
  • 定位问题可能会更加麻烦

千万别鲁莽的在“微服务”大流之下,草率的进行微服务改造,看似“高大上架构”的背后,隐藏着更多并未接触过的“大坑”。还是那句话,架构和业务的特点和阶段有关:一切脱离业务的架构设计,都是耍流氓。

这一篇先到这里,分层架构,还有很多内容要和大家聊:

  • 后端架构,是否需要抽取中台业务,什么时机抽取
  • 后端架构,是否需要前后端分离,什么时机分离
  • 前端架构,如何进行分层实践

末了,再次强调下,互联网分层架构的本质,是数据的移动。

互联网分层架构演进的核心原则,是让上游更高效的获取与处理数据,让下游能屏蔽掉数据的复杂性获取细节。

目录
相关文章
|
2月前
|
人工智能 前端开发 JavaScript
前端架构思考 :专注于多框架的并存可能并不是唯一的方向 — 探讨大模型时代前端的分层式微前端架构
随着前端技术的发展,微前端架构成为应对复杂大型应用的流行方案,允许多个团队使用不同技术栈并将其模块化集成。然而,这种设计在高交互性需求的应用中存在局限,如音视频处理、AI集成等。本文探讨了传统微前端架构的不足,并提出了一种新的分层式微前端架构,通过展示层与业务层的分离及基于功能的横向拆分,以更好地适应现代前端需求。
|
2月前
|
JSON 前端开发 Java
Spring Boot框架中的响应与分层解耦架构
在Spring Boot框架中,响应与分层解耦架构是两个核心概念,它们共同促进了应用程序的高效性、可维护性和可扩展性。
54 3
|
2月前
|
存储 前端开发 API
DDD领域驱动设计实战-分层架构
DDD分层架构通过明确各层职责及交互规则,有效降低了层间依赖。其基本原则是每层仅与下方层耦合,分为严格和松散两种形式。架构演进包括传统四层架构与改良版四层架构,后者采用依赖反转设计原则优化基础设施层位置。各层职责分明:用户接口层处理显示与请求;应用层负责服务编排与组合;领域层实现业务逻辑;基础层提供技术基础服务。通过合理设计聚合与依赖关系,DDD支持微服务架构灵活演进,提升系统适应性和可维护性。
|
2月前
|
消息中间件 运维 NoSQL
基础架构组件选型及服务化
【10月更文挑战第15天】本文概述了分布式系统中常见的基础架构组件及其选型与服务化的重要性。
|
2月前
|
消息中间件 运维 NoSQL
基础架构组件选型及服务化
【10月更文挑战第2天】本文介绍了常见的分布式基础架构组件,包括分布式服务化框架(如Dubbo、Spring Cloud)、分布式缓存(如Redis、Memcached)、数据库及分布式数据库框架(如MySQL、TiDB)、消息中间件(如Kafka、RabbitMQ)和前端接入层(如LVS、Nginx)。文中探讨了组件选型问题,强调统一标准的重要性,避免重复劳动与维护难题。最后,提出基础架构服务化的必要性,通过标准化和平台化提升运维效率
|
3月前
|
边缘计算 运维 安全
服务化架构 (SBA) 在 5G 核心网中的关键作用
服务化架构 (SBA) 在 5G 核心网中的关键作用
100 0
|
4月前
|
数据库 Java 数据库连接
Hibernate 实体监听器竟如魔法精灵,在 CRUD 操作中掀起自动化风暴!
【8月更文挑战第31天】在软件开发中,效率与自动化至关重要。Hibernate 通过其强大的持久化框架提供了实体监听器这一利器,自动处理 CRUD 操作中的重复任务,如生成唯一标识符、记录更新时间和执行清理操作,从而大幅提升开发效率并减少错误。下面通过示例代码展示了如何定义监听器类,并在实体类中使用 `@EntityListeners` 注解来指定监听器,实现自动化任务。这不仅简化了开发流程,还能根据具体需求灵活应用,满足各种业务场景。
40 0
|
4月前
|
NoSQL API 数据库
揭秘!Flask如何一键解锁RESTful API高效微服务?打造未来互联网架构的隐形力量!
【8月更文挑战第31天】本文介绍如何使用 Flask 构建高效且易维护的 RESTful 微服务,涵盖环境搭建、基本应用创建及代码详解。通过示例展示用户管理系统的 CRUD 操作,并讨论数据库集成、错误处理、认证授权、性能优化及文档生成等高级主题,助力开发者打造强大的后端支持。
63 0
|
4月前
|
边缘计算 安全 物联网
未来互联网架构的演变
【8月更文挑战第16天】随着科技的不断进步,互联网作为现代社会不可或缺的基础设施,其架构也在不断地发展与演变。本文将探讨未来互联网架构可能的变化方向,包括边缘计算、软件定义网络(SDN)、网络功能虚拟化(NFV)等技术趋势,以及这些技术如何影响互联网的稳定性、安全性和效率。同时,文章还将讨论这些变革对用户隐私保护和数据治理的潜在影响,并展望互联网架构的未来发展趋势。
|
4月前
|
设计模式 安全 网络安全