框架组件,究竟要不要自研?

简介: 初期建议:不自研,用熟悉的,业务快速迭代为优先,需要一定技术视野。长远建议:统一技术栈、浅浅封装一层、适当造轮子。

一、问题的提出

询问框架组件,是否需要自研?

18年规划系统介绍58到家的技术体系,15年加盟58到家后,架构部正好也是负责范围的一部分,故谈一谈自己的想法,个人观点:

  • 如果公司业务不复杂,研发人数比较少,技术实力相对有限,一定不要自研框架组件

  • 如果公司业务复杂,研发人数比较多,技术能力能够胜任,建议自研部分框架组件

 

二、为什么早期不建议自研?

早期研发人数较少,公司也不确定能走多远,业务相对简单,业务以“快速迭代”为最高优先级,此时一般会选择“自己熟悉的技术”作为选型:

  • 研发语言:熟PHP选PHP,熟Java选Java

  • 数据库:熟MySQL选MySQL,熟SQL-server选SQL-server

  • 框架组件:熟Ruby on Rails选ROR,熟ThinkPHP选ThinkPHP,熟SSH选SSH

此时千万不要纠结选型,选自己熟悉的,业务以快速迭代为最优先,公司得先生存下来。

 

多说一句,此时对于技术合伙人的技术视野就有一定要求,如果早期方向不对,例如选择了IOE或者微软技术体系,等公司发展若干年,数据量并发量上涨很多倍,成本以及未来的技术应对恐怕会有麻烦。

 

58同城早期选型是微软技术体系,后来数据量增大,并发量增大,机器数据库越来越多,性能扛不住,成本也扛不住(你猜一个SQL-server的licence一年多少钱?),后来老崔带领大家转型开源阵营:

  • Windows -> Linux

  • SQL-server -> MySQL

  • C# -> Java

虽然短痛了1-2年,但长远来说,绝对是正确的决策。

 

如今,如果你再创业,选云,选LAMP或者SSH,八成不会走太大的弯路。

 

三、随着规模的扩大,为什么要控制技术栈?

随着业务越来越复杂,研发人数越来越多,如果每个leader都选择自己擅长的框架,就会出现这样的情况:

  • 站点框架,team A用着SSH,team B用着Spring+SpringMVC+Mybatis

  • 服务框架,team C用着REST,team D用着dubbo,team E用着thrift

  • 数据库访问,team X用着mybatis,team Y用着DAO,team Z用着jdbc

 

对于整体而言,跨部门的调用越来越麻烦,重复造的轮子越来越多,技术效率会逐步降低,研发+测试+运维成本都越来越高。

 

第一个观点即使不自研,技术栈也请尽量统一

 

四、统一了技术栈,为什么建议浅浅的封装一层?

统一了技术栈以后,如果不封装,redis官方Java客户端Jedis可能有这样一些接口:

String Memcache::get(String key)

String Memcache::set(String key, Stringvalue)

String Memcache::del(String key)

 

浅浅的封装一层,会变成这样:

String 58DaojiaKV::get(String key) {

         String result = Memcache::get(key);

         return result;

}

String 58DaojiaKV::set(String key, Stringvalue) {

         String result = Memcache::set(key, value);

         return result;

}

String 58DaojiaKV::del(String key) {

         String result = Memcache::del(key);

         return result;

}

 

这有什么好处呢?

  • 对上游屏蔽底层实现的细节,调用方不用关注缓存是memcache还是redis,调用方只关注58DaojiaKV

  • 底层变化的时候,对上游透明,当memcache不能满足需求,要切换为redis时,所有调用方不需要大的变化,升级一个最新的58DaojiaKV即可,58DaojiaKV的接口不变,实现变为

String 58DaojiaKV::get(String key) {

         String result = Jedis::get(key);

         return result;

}

String 58DaojiaKV::set(String key, Stringvalue) {

         String result = Jedis::set(key, value);

         return result;

}

String 58DaojiaKV::del(String key) {

         String result = Jedis::del(key);

         return result;

}

  • 统一实现一些通用的功能,就不需要每一个上游升级了,例如,要实现一个缓存访问时间统计的功能,所有调用方不需要大的变化,升级一个最新的58DaojiaKV即可

String 58DaojiaKV::get(String key) {

         Long startTime = now();

         String result = Jedis::get(key);

         Long endTime = now();

         reportKVTime(startTime- endTime);

         return result;

}

String 58DaojiaKV::set(String key, Stringvalue) {

         Long startTime = now();

         String result = Jedis::set(key, value);

         Long endTime = now();

         reportKVTime(startTime- endTime);

         return result;

}

String 58DaojiaKV::del(String key) {

         Long startTime = now();

         String result = Jedis::del(key);

         Long endTime = now();

         reportKVTime(startTime- endTime);

         return result;

}

同理,如果要实现统一的告警,调用链跟踪,SQL执行时间,也可以用类似的方法。

 

第二个观点第三方库,不但要统一,还可以浅浅的封装一层,预留未来的扩展性

 

五、随着规模的进一步扩大,为什么需要适当的造一些轮子?

业务进一步发展,研发团队进一步扩张,虽然使用了统一的技术栈,但不同研发团队的痛点是极其类似的:

  • 有站点,监控服务的可用性,处理时间监控需求

  • 有告警需求

  • 有自动化发布,自动化运维需求

  • 有服务治理,服务自动发现需求

  • 有调用链跟踪需求

  • 有SQL监控需求

  • 有系统层面数据收集与可视化展现的需求

 

此时,开源的框架可能满足不了需求了:

  • 开源框架/组件太重了,我们需要的可能只是一个轻量级的框架/组件

  • 开源框架/组件,只能满足我们的一部分需求

  • 不了解开源框架/组件的设计理念,要二次开发成本更高(维护dubboX的同学,维护数据库中间件Atlas的同学可以出来说两句)

  • 有些通用的需求是和业务紧密结合的,开源框架/组件可能满足不了

 

此时,如果技术实力具备,可以统一研发一些框架和组件,解决所有技术团队的通用痛点,满足所有技术团队的通用需求。

 

未来介绍监控平台、服务治理、调用链跟踪系统、数据收集中心的时候,大家能够更深刻的理解到“造一些轮子”的好处。


第三个观点适当造一些轮子

 

六、58到家自研的框架组件有哪些?

通用框架+服务

  • WEB框架,Daojia-Web-Framework,DWF

  • Service框架,Daojia-Service-Framework,DSF

  • 消息队列,Daojia-Msg-Queue,DMQ

 

基础组件

  • 缓存访问组件DMemcacheDJedis

  • 数据库访问组件DAO

  • 分库分表组件DShard

 

还有一些日志,消息的组件,这些组件的架构与细节,未来再和大家细聊。

 

七、总结

框架组件,是否需要自研?

初期建议:不自研,用熟悉的,业务快速迭代为优先,需要一定技术视野。

长远建议

  • 统一技术栈

  • 浅浅封装一层

  • 适当造轮子

    本文转自“架构师之路”公众号,58沈剑提供。

目录
相关文章
|
SQL 安全 数据库
SQL-Server 数据库部署
SQL-Server 数据库部署
364 0
|
vr&ar
垃圾分类模型想上maixpy(2)
1-1 关于模型部署,MaixPy文档的这一部分中可能有些有用的参考:部署模型到 Maix-I(M1) K210 系列开发板 - Sipeed Wiki 。 实际用数字图片进行测试时,手写数字识别的模型无法产生正确的输出。
318 1
|
前端开发 JavaScript API
2025年前端框架是该选vue还是react?有了大模型-例如通义灵码辅助编码,就不用纠结了!vue用的多选react,react用的多选vue
本文比较了Vue和React两大前端框架,从状态管理、数据流、依赖注入、组件管理等方面进行了详细对比。当前版本和下载量数据显示React更为流行,但Vue在国内用户量增长迅速。Vue 3通过组合式API提供了更灵活的状态管理和组件逻辑复用,适合中小型项目;React则更适合大型项目和复杂交互逻辑。文章还给出了选型建议,强调了多框架学习的重要性,认为技术问题已不再是选型的关键,熟悉各框架的最佳实践更为重要。
7857 1
|
监控 网络协议 Java
Tomcat源码解析】整体架构组成及核心组件
Tomcat,原名Catalina,是一款优雅轻盈的Web服务器,自4.x版本起扩展了JSP、EL等功能,超越了单纯的Servlet容器范畴。Servlet是Sun公司为Java编程Web应用制定的规范,Tomcat作为Servlet容器,负责构建Request与Response对象,并执行业务逻辑。
Tomcat源码解析】整体架构组成及核心组件
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(三):成熟AI模型与自研如何选择?
本文为AI训练师提供选型指南,探讨使用成熟模型还是自研算法。内容涵盖NLP、CV和多模态场景下主流模型推荐,如DeepSeek-Chat、GPT-4o、ResNet-50等,以及自研模型的应用场景与技术实现。同时提供懒人四步决策法和避雷口诀,帮助快速选择适合的工具。新手建议从预训练模型入手,逐步深入魔改或自研,避免常见坑点。附带场景化对比表,助力高效决策。
420 5
|
8月前
|
消息中间件 缓存 NoSQL
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
缓存与数据库的一致性方案,Redis与Mysql一致性方案,大厂P8的终极方案(图解+秒懂+史上最全)
|
API Python Windows
python3应用windows api对后台程序窗口及桌面截图并保存的方法
python3应用windows api对后台程序窗口及桌面截图并保存的方法
1028 1
|
存储 安全 开发工具
oss客户端加密
阿里云OSS支持客户端加密,允许用户在本地加密数据后上传,确保数据在传输和存储时的隐私安全。用户管理主密钥,控制数据密钥加密与解密,增强数据控制和合规性。此机制适用于高安全需求场景,如金融、医疗等,但用户需负责密钥管理和加密操作。
525 8
|
监控 安全 网络协议
一文看懂Socks5代理IP:优势与应用场景
Socks5代理IP因其匿名性、安全性和跨平台支持成为2024年热门选择。它支持IPv4/IPv6及多种协议,提供身份验证,降低网络延迟。适用于安全上网、突破地理限制、优化游戏流媒体体验。选择代理服务时关注速度、安全、价格和用户支持。在数字化时代,Socks5代理满足了用户对网络安全和隐私的需求。
|
网络协议 安全 Unix
VSFTP超详细安装教程
VSFTP超详细安装教程