B站高性能微服务架构

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 本文内容来源于任伟在【沪江技术沙龙】-漫谈微服务架构实践上的主题演讲,IT大咖说为沪江技术沙龙独家视频知识分享平台。

ca65fc559eb0f8b971383eb285e2000c3e982dae

编辑 IT大咖说阅读字数: 2672 用时:8分钟

本文内容来源于任伟【沪江技术沙龙】-漫谈微服务架构实践上的主题演讲,IT大咖说为沪江技术沙龙独家视频知识分享平台。

8106ab2bdbdff83720ef52874c9503ccdc63b47c

内容摘要

Bilibili作为一个大型弹幕视频网站,在竞争日益激烈的互联网行业中,开始重视技术生态的演进,探索寻求适合企业本身的一个微服务架构。本次分享主要讲述了B站高性能微服务架构的演进。


大家好,我是来自bilibili的任伟。今天的分享分为三个部分内容: 

  • 曾经的价格体系。 

  • 面临的一些痛点问题。 

  • 高性能微服务架构在B站的落地。


曾经的价格体系


B站从成立至今已经有将近八年的时间了,但是从前两年我们才开始重视整个的技术生态的演进。在整个B站的代码体系里面,我们曾经也把B站的老代码称之为全家桶。因为它是一套代码,涵盖了几乎所有bilibili里面的业务体系。我们现在的引进方向以科研为主,整个B站光是网站这一块,就有很多的分支,而整个的分支对应的域名也很多。


41b3bb367d0dd9dd625981ab65fa7281bc1cba80


B站以前代码的体系从安全体系上来讲,我们进行了一系列的拆分。整个的代码仓库主要分为三个部分,一是主站的业务逻辑,还有一个是分发管理的逻辑,以及配置文件。配置文件整体的发布是一套非常繁杂的流程,它用脚本的方式把整个配置文件慢慢的生成,而这些跟本身主张的代码逻辑是隔离开来的。


我是一个工作很多年的PHP研发。在接触B站之前,我一直认为PHP的业务结构开发速度会非常快。但是了解了B站的代码就会发现,其实用PHP语言体系来做的事情非常多。就目前而言,整个B站的运维体系的工具都是由PHP来完成的。因为我们是一个视频类的网站,最重要的就是视频资源的管理,而这个调度其实一开始也是由PHP来完成的。


下面图片是一个我们的业务集群,主要分三大块,一块是面向移动端的服务集群,一个是面向PC端的服务集群,还有一个就是面向弹幕的。


55a8ef8352db02141b5d04ab0c6d3e8cf2e63c52


面临的一些痛点问题


整个B站曾经的体系是非常庞杂的,这么大的一个系统面临着很多问题。


代码和文档问题

就代码来说,维护的难度非常大。对于研发而言,如果我们只是关注某一块的业务逻辑,就好像管中窥豹。而且最重要的是它文档缺失。虽说一个好的编码习惯就是一个好的文档,但在业务量或整个体系比较庞大的情况下,文档和代码还是有本质区别的。


B站是基于各种网站慢慢成长起来的一个企业,所以当时在做这块的时候没有特别重视,文档一直有比较大的缺失,导致代码维护非常麻烦。

基础架构

整个的基础架构是基于织梦CMS,是一个比较流行的开源的内容管理系统。绝大多数业务逻辑我们做了一些深度的定制,导致一般研发很难搞定前面底层里的一些逻辑。


业务机会聚合在一起,不易被扩展和拆分。B站在发展到前两年的时候,让运维独立去搭一套整个B站的扩展体系并不是那么容易,B站的运行环境基本上只能通过创始人来扩展我们的负载。

运维复杂

运维复杂,因为配置也是相当复杂。后来已经不允许在运维再增加业务上的一些重写逻辑,只有让代码这边自己去处理。所以重构优化,我们已经提上了日程。


我们公司成立的基础是一个天才型选手,以前在那套系统加入了一些黑科技的东西,但同时就限制了公司团队的发展。

1a1bdba49747f3fb50e4749dc4d786121f526822


基于这样的一些重点问题,我们在去年开始思考怎么来解决B站目前面临的这些问题。因为B站发展速度非常快,业务的发展导致团队也会不停的增长,我们需要考虑各方面的因素。我们需要有一部分的业务要参与进来,然后梳理出来,再进行一系列架构方面的重组。


高性能微服务如何在B站落地


2e038e82cbe14c58baf18ae3ea620fd24286c07d


通过整个的服务体系我们可以看到,基本上以命名规则可以看到service里面的一些内部服务。对于终端和PC端,我们都是以show和interface作为作为项目向外透露接口,他们的区别就在于show是一个单纯的业务,它有紧急预案和service。但是interface会做一些数据的聚合。服务间的依赖标准主要是RPC。


介绍完大体框架之后,我们先看一下为什么当时B站会选择go语言作为技术站。我们选择go主要是因为它的执行和开发效率非常的高效。相比其他语言,优势还是挺明显的。比如我们主站的首页的动态图,每五秒钟需要获取各个分区里面的最新稿件,订单访问量是非常大的。利用go服务可以明显地感觉到移动端的访问量占整个B站的访问量已经达到了60%以上,但是他那边基本上所有的服务接口都不走CDN,直接打到元,他们那边量也是非常大,但是也没有出过什么错。


B站go语言成长非常迅速,因为它的背景是google,生态也比较丰富,支持kafka、canel、hbase这些比较流行的风格式管理框架。鉴于此,我们就选择了go语言作为我们整个公司的在技术上的统一。而且相对而言,它的调用效率要比http比较高,就是我们不走apI接口接收内部的RPC。


为什么说B站微服务在整个经营效率上会这么高呢,除了它本身语言体系上没有其他语言那么臃肿之外,我们还做了一些努力。比如在整个的对外服务的这一层上,基本上没有任何的请求可以直接打到DB,全部是缓存。我们都是通过多层缓存机制来保障的。


86231804aea5b45114b1d2162ebd4a99935b6ff2


我觉得微服务最重要的一点就是服务隔离。在实际项目中我们也遇到很多问题。因为公共资源,导致某一个服务和资源挂钩,会拖垮相应的服务,所以说服务隔离非常重要。


选择go的另外一个重要原因就是它本身跟docker的结合有天然的优势。因为go语言的运行环境非常的精良,它不需要依赖于任何的其他的环境。所以我们动态的管理相对于其他项目来讲的,是整个公司里面最干净的docker。我们的团队也会做服务巡查。某一个服务如果出现问题都能第一时间来反馈到我们的平台里。

go语言的几个基础


数据总线中间件

数据总线中间件,叫Databus。它是一个面向redis协议背靠kafka的消息中间件,它是基于内地市场放上的行为,主要目的就是用来deal。

数据库deal

我们主张直接更新缓存,并把消息推送到数据总线,然后由数据总线来更新数据库。


我们这边本身也有一些稿件的时候,比如说用户提交的一些视频,在我们这边的话会有一个基于canal的go服务,这个服务的主要作用就是在于监听数据库日志,来解析出数据库里面的更新和参数方程,来更新缓存。


我们自己魔改了twproxy,这是一个开源的想法。我们自己做了一些二次的开发。因为以前bilitw是单进程,我们这个是一个多进程的魔改负载均衡的组件。


配置中心disconf也是我们自己研发。基本上我们以自己造文字为主了。也做了一套自己的小文件存储系统BFS。这套系统跟当前比较流行的一些云存储还是很像的,它的吞吐量足够大,扩展性也足够好。


fe6192e5c0cd4aecd12b10f6dd90ac2de9a26f34


B站发展到现在,微服务还只是一个刚起步的阶段,我们也在微服务这条路上慢慢探索适合我们的一个微服务架构。我认为适合企业本身的微服务就是最好的。


我今天要分享的就这么多,谢谢!


640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

原文地址:http://www.itdks.com/dakashuo/detail/1179

目录
相关文章
|
14天前
|
Kubernetes Cloud Native Docker
云原生之旅:从容器到微服务的架构演变
【8月更文挑战第29天】在数字化时代的浪潮下,云原生技术以其灵活性、可扩展性和弹性管理成为企业数字化转型的关键。本文将通过浅显易懂的语言和生动的比喻,带领读者了解云原生的基本概念,探索容器化技术的奥秘,并深入微服务架构的世界。我们将一起见证代码如何转化为现实中的服务,实现快速迭代和高效部署。无论你是初学者还是有经验的开发者,这篇文章都会为你打开一扇通往云原生世界的大门。
|
14天前
|
负载均衡 应用服务中间件 持续交付
微服务架构下的Web服务器部署
【8月更文第28天】随着互联网应用的不断发展,传统的单体应用架构逐渐显露出其局限性,特别是在可扩展性和维护性方面。为了解决这些问题,微服务架构应运而生。微服务架构通过将应用程序分解成一系列小型、独立的服务来提高系统的灵活性和可维护性。本文将探讨如何在微服务架构中有效部署和管理Web服务器实例,并提供一些实际的代码示例。
46 0
|
3天前
|
监控 负载均衡 应用服务中间件
探索微服务架构下的API网关设计与实践
在数字化浪潮中,微服务架构以其灵活性和可扩展性成为企业IT架构的宠儿。本文将深入浅出地介绍微服务架构下API网关的关键作用,探讨其设计原则与实践要点,旨在帮助读者更好地理解和应用API网关,优化微服务间的通信效率和安全性,实现服务的高可用性和伸缩性。
13 3
|
6天前
|
存储 Java Maven
从零到微服务专家:用Micronaut框架轻松构建未来架构
【9月更文挑战第5天】在现代软件开发中,微服务架构因提升应用的可伸缩性和灵活性而广受欢迎。Micronaut 是一个轻量级的 Java 框架,适合构建微服务。本文介绍如何从零开始使用 Micronaut 搭建微服务架构,包括设置开发环境、创建 Maven 项目并添加 Micronaut 依赖,编写主类启动应用,以及添加控制器处理 HTTP 请求。通过示例代码展示如何实现简单的 “Hello, World!” 功能,并介绍如何通过添加更多依赖来扩展应用功能,如数据访问、验证和安全性等。Micronaut 的强大和灵活性使你能够快速构建复杂的微服务系统。
26 5
|
15天前
|
消息中间件 Java 网络架构
AMQP与微服务架构的集成策略
【8月更文第28天】在微服务架构中,各个服务通常通过HTTP/REST、gRPC等协议进行交互。虽然这些方法在很多场景下工作得很好,但在需要高并发、低延迟或需要处理大量消息的情况下,传统的同步调用方式可能无法满足需求。此时,AMQP作为异步通信的一种标准协议,可以提供一种更为灵活和高效的消息传递机制。
18 1
|
20天前
|
Kubernetes 安全 微服务
使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战
在5G电信领域,Kubernetes集群中部署微服务至关重要,但也带来了重大的安全挑战。Istio作为一个强大的开源服务网格,能有效地管理这些微服务间的通信,通过其控制平面自动将Sidecar代理注入到各微服务Pod中,确保了安全且高效的通信。Istio的架构由数据平面和控制平面组成,其中Sidecar代理作为Envoy代理运行在每个Pod中,拦截并管理网络流量。此外,Istio支持多种Kubernetes发行版和服务,如EKS等,不仅增强了安全性,还提高了应用性能和可观测性。
43 0
使用 Istio 缓解电信 5G IoT 微服务 Pod 架构的安全挑战
|
22天前
|
Java Docker 微服务
微服务架构的概念、特点以及如何在Java Web开发中实现微服务。
微服务架构的概念、特点以及如何在Java Web开发中实现微服务。
47 1
|
23天前
|
Java Docker 微服务
微服务架构已成为Java Web开发的新趋势,它通过将应用分解为独立、可部署的服务单元,提升了系统的灵活性与可维护性。
微服务架构已成为Java Web开发的新趋势,它通过将应用分解为独立、可部署的服务单元,提升了系统的灵活性与可维护性。每个服务负责特定功能,通过轻量通信机制协作。利用Spring Boot与Spring Cloud等框架可简化开发流程,支持模块化设计、独立部署、技术多样性和容错性,适应快速迭代的需求。
59 1
|
11天前
|
数据库 Java 数据库连接
Hibernate 实体监听器竟如魔法精灵,在 CRUD 操作中掀起自动化风暴!
【8月更文挑战第31天】在软件开发中,效率与自动化至关重要。Hibernate 通过其强大的持久化框架提供了实体监听器这一利器,自动处理 CRUD 操作中的重复任务,如生成唯一标识符、记录更新时间和执行清理操作,从而大幅提升开发效率并减少错误。下面通过示例代码展示了如何定义监听器类,并在实体类中使用 `@EntityListeners` 注解来指定监听器,实现自动化任务。这不仅简化了开发流程,还能根据具体需求灵活应用,满足各种业务场景。
21 0
|
11天前
|
前端开发 微服务 API
微服务浪潮下的JSF革新:如何在分散式架构中构建统一而强大的Web界面
【8月更文挑战第31天】随着微服务架构的兴起,企业将应用拆分成小型、独立的服务以提高系统可维护性和可扩展性。本文探讨如何在微服务架构下构建和部署JavaServer Faces (JSF) 应用,通过RESTful服务实现前后端分离,提升灵活性和适应性。
29 0