一个20年技术老兵的2020年度技术总结

简介: 一个20年技术老兵的2020年度技术总结

大家好!我是 go-zero 作者 Kevin。充满惊吓的 2020 快要过去了,看到掘金上的技术人年度征文,忍不住文字记录一下艰辛而又充满收获的 2020 ✍️

疫情开始

春节假期疫情突然升级,我们面临着自身平台的转型升级。作为 CTO,有两个重点工作:

  • 保证大规模使用场景下平台的稳定性
  • 保证转型所需的新业务能够快速交付

团队压力巨大的同时也感受到了前所未有的战斗热情,养兵千日用兵一时,不经历战与火的洗礼,怎么知道团队的技术能力是否能够经受得住流量洪峰的考验。

战斗开始,迅速落实业务团队进行急需功能的开发,并行安排架构团队进行技术隐患排查、演练、攻关。

在大概两个月的时间里,我们基本一日三餐都在电脑桌前,困了就睡觉,醒来写代码(当然还有必要的开会),这真是人生一段非常难忘的特殊经历。。。

开始踩坑

随着所需功能的极速上线,我们马上开始了大规模压测,大坑如下:

  • 大量请求失败,然而服务端压力一切正常,一顿排查,发现原来是进到内网的请求被 nginx 转发时又打到外网了,而外网我们是启动了 WAF(Web Access Firewall),WAF 会认为所有用户都来自我们内网的那些 IP,这“明显”是攻击嘛,于是 drop 了大量请求,由此,我们指定了规则:进到内网的请求不允许转发到外网。
  • 为了快速实现功能,有同学用 nodejs 实现了部分功能,部署到 k8s 集群里,流量一起来,nodejs pod 立马扛不住,再加上难以控制的内存泄露,让我们迅速决定不再允许使用 nodejs 做后端,使用 nodejs 纯属“意外”。
  • 某云厂商 oss 存储用的 LSM Tree 方式实现,在小文件突发增加时无法及时分裂,导致我们访问量大时出现两次 oss 访问故障。后来我们自己多申请了几个 bucket 来从代码层分散文件存储请求。

实战效果

经过前后一个月开发、压测和开学前演练,我们的系统基本满足开学需求了,接下来就是接受实战检验了。

开学第一天,我们遇到的第一个问题部分服务供应商无法承载流量压力,虽然我们之前盘算过,也充分交流过,但还是未能预料到洪峰流量的凶猛,服务商紧急增加资源得以解决。

然后我们消息分类服务的 ElasticSearch 集群压力过大,扩容的同时,发现调用代码未加熔断保护,直接把 ElasticSearch 集群压死了,里面加上熔断保护,几行代码就好了,自适应熔断保护工具包见 这里

经过第一周的密集爆发式流量的考验,我们总体很稳定。为此还得到了有关部门的感谢信,相比友商,我们的服务稳定性还是相当不错的。后续服务稳定性上基本可以用波澜不惊来形容。至此,go-zero (虽然此时还不叫 go-zero)算是经受了充分的实战检验 💪

走向开源

7月份在跟集团技术通道老师的交流过程中得到了充分的肯定,集团开源通道推动和帮助我把底层微服务支撑框架对外开源。

在8.7日深夜,我完成了 github 代码的第一次提交,此时文档仅有我临时写出来的一页 readme,为啥只有一页 readme 就选择开源了呢?我觉得万事开头难,如果决定把文档都写完再开源出来的话,可能这事就搁置了,所以还是先让球滚起来吧!

一经开源,社区立马给了我们比较热烈的反馈,更推动了我们去快速完成文档。我们在一个周末就补充了大量的使用文档,提供了比较完整的示例 shorturlbookstore。后面大部分开发者都通过这两个例子感受到了 go-zero 的便捷和工程效率。感谢大家给了我们很多对示例的改进意见。

8月16日,go夜读的分享 系统的讲述了 go-zero 背后的故事和设计思考,获得了很多观众的留言认可。至今依然有不少人针对这个视频给我积极的反馈。感谢大家的认可!

8月24日,gocn 的 报道,让 gopherchina 社区第一次大规模的了解了 go-zero。社区开始有大量 gopher 的加入,微信群人数迅速增长。

9月开始,go-zero 多次出现在 github Go 语言日榜月榜顶部,如图:

日榜 月榜

同时不少家公司将 go-zero 用于生产,并跟我反馈上线后一直平稳运行,其中不乏日活过百万的平台。

10月获得了 gitee 最有价值项目(GVP),并接着获得了开源中国年度 最佳人气项目奖项。

11月22日,我在 gopherchina 大会做了『云原生go-zero微服务框架的设计思考』的主题分享,现场气氛非常热烈,据说门口堵满了进不来了,获得了很多资深开发者的认可,知乎评论见 这里,其中提到的我的年龄不对哈👀,部分现场图如下:

分享 观众

12月20日,应邀参加腾讯云开发者大会,做了『转型之后 - 面对流量洪峰,微服务架构如何进行弹性设计?』的分享,如下:

开始 大纲

『微服务实践』公众号发了多篇 go-zero 系列文章,细分享了微服务框架设计的原理和实现

社区的认可

近 3000 人的微信社区,每天热烈的技术讨论和用户之间的相互帮助,已经形成了良好的社区氛围。我们也从中获得很多的用户反馈,为我们进一步加强 go-zero 指明了方向!👏

github star 正常每月增长 1000 左右,平均每天 33+ stars,现在 4700+,增长曲线如下:

再次复盘

  1. 用户到底想要什么样的框架?
  • 首先,能够写更少代码解决业务需求。更少的代码意味着更快的产出,更少的bug。
  • 其次,框架是否稳定,有没经过实战检验。毕竟很少人愿意当小白鼠的。
  • 再次,社区是否活跃,遇到问题是否能够快速得到解决。
  1. 用户为什么喜欢 go-zero?
  • 全面的微服务治理能力
  • 内置 goctl 工具帮助用户尽可能只关注业务代码
  • go-zero 经过了我们线上海量并发实战检验
  • 活跃的社区,用户的互相解答,go-zero 团队的及时跟进

2021年技术展望

  • 研发团队工程效率带上新台阶,期望让大家产出更高的同时也能有更好的能力提升
  • 期望进一步加强 go-zero 的工程效率提升,让开发者编写更少的代码(业务代码)就能拥有稳定的微服务系统
  • 一个小目标:一年一万星 💪

项目地址

https://github.com/tal-tech/go-zero

欢迎大家使用 go-zero 并 star 支持我们!👏

致谢

真心感谢一直支持我们的大佬们,以及众多使用 go-zero 的 gopher 们,之所以不列名单,实在是帮助过我们的人太多了,生怕一不小心就遗漏了某位大佬 🤝

相关文章
|
3月前
|
供应链 物联网 区块链
未来已来:探索新兴技术的潮流与实践
【8月更文挑战第31天】 随着科技的不断进步,新兴技术如区块链、物联网(IoT)、虚拟现实(VR)等正在重塑我们的世界。本文将深入探讨这些技术背后的发展趋势和应用场景,通过实际代码示例揭示它们如何从理论走向实践。我们将一起见证技术如何推动社会进步,并思考我们如何在这个快速变化的世界中保持同步。
|
3月前
|
人工智能 量子技术 知识图谱
技术与创新的交响曲
【8月更文挑战第16天】在技术迭代的时代,每一次创新都如同交响乐中的一段乐章,它们交织着复杂而美妙的旋律。本文将探讨技术创新背后的动力、挑战及其对社会发展的影响,旨在揭示技术进步如何塑造我们的未来。
|
存储 人工智能 量子技术
中国芯的技术
中国芯的技术
276 0
|
安全 搜索推荐 vr&ar
体育赛事技术演进史,开发未来技术的发展趋势
体育赛事传媒已经走过了一个丰富多彩的历史,伴随着科技的不断进步,观众们的体验也日益丰富和多元化。从早期的广播到如今的虚拟现实,我们一同探索体育赛事传媒的演进史。
|
传感器 监控 安全
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—信睿网络:专注物联网安全,让人们生活更安心
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—信睿网络:专注物联网安全,让人们生活更安心
201 0
|
人工智能 监控 算法
【年终特辑】看见科技创新力量 洞见时代创业精神—智能制造—安趋智能:打造每个企业都能用得上的工业软件平台
【年终特辑】看见科技创新力量 洞见时代创业精神—智能制造—安趋智能:打造每个企业都能用得上的工业软件平台
172 0
|
数据可视化 算法 Oracle
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—GridMarkets:云上可视化应用将创造力推向“民主化”
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—GridMarkets:云上可视化应用将创造力推向“民主化”
|
智能设计 运维 并行计算
扛起国产工业仿真的大旗,适创科技的“专精特新”之路
适创科技是一家基于算法的工业数字化研究企业,主要投入在计算机辅助工程(CAE)、自动缺陷识别和智能设计等领域,服务的是高端制造业企业。
347 0
扛起国产工业仿真的大旗,适创科技的“专精特新”之路
|
移动开发 监控 前端开发
耕耘大前端技术七年,我的九点思考总结
58 大前端技术服务体系开发七年有余,目前已成为 58 前端的顶梁柱,那么这一顶梁柱是如何是搭建起来的?又将朝向哪个方向发展呢? 本期,我们采访了 58 集团前端技术部负责人李祎,他分享了 58 集团大前端技术服务体系的建设经验,以及他对未来大前端趋势的思考。本文为采访整理文,期待你有所收获~
523 0
耕耘大前端技术七年,我的九点思考总结
|
存储 人工智能 资源调度
浪漫又务实的华为自研之路: 始于情怀,终于智能
浪漫又务实的华为自研之路: 始于情怀,终于智能
浪漫又务实的华为自研之路: 始于情怀,终于智能