Dragonwell特性: Wisp

简介: 协程与异步编程 使用Wisp提升微服务性能

1、协程与异步编程 

1、多线程和事件模型 

Web Server领域,早像Apache Server大家都是使用多线程模型处理并发下图左边这张图是通过多个进程去处理多个用户不同的请求,可能在一个单核系统上也可以去创建多个进程来处理这些请求,但这实际上操作系统给大家一个假象操作系统通过分时互动机制去不停的切换线程,表现出一种正在同时执行的假象。 

image.png 

实际上这个切换是非常消耗资源的,然后我们看右边这张图NGINX,他率先使用了事件模型,让大家科学认知到在单个线程里通过业务代码去切换不同的上下文,这样可以大大减少操作系统里面限制切换开销,很好的提高性能。 

 

2、上下文切换 

上下文切换会吃掉宝贵的CPU资源,大家很多情况下对上下文误区,进出内核和调度之间其实很大差异的。假如像刚才这种场景,我们看到多个线程来回调用那一个线程当它资源耗尽或者比较阻塞的时候,下个线程选谁?其实操作系统需要进行调度真正的损耗远大于想象 

image.png 

我们可以看到进出内核是上图左边灰色这一列,它的耗时是很小的,可能在几十到一百纳秒级别。然后假如这一次系统调用它触发了切换,比如读一个程序里面有数据,信令要挂起会触发上下文切换,如果希望有调度,开销就会很大,会达到40倍左右。 

 

3、使用异步编程 

所以如果在编程中引发调度切换开销是很大的,我们应该尽量避免。怎么避免呢?答案就是异步编程,在node.js里面,我们可以使用大量callback区域处理业务逻辑。当使用callback以后,代码可能会变成这样一种三角形,因为每一个组织方式,它后面返回值都要带callback调用,都会缩进去一层。这样业务逻辑非常难以维护 

其次是即便我使用了异步编程,但可能还是不小心在现实里面使用了一段阻塞代码,下图NGINX官网所提供的图片,虽然我自己去切换不同的请求处理,但是中间可能还是不小心调用了操作系统的一个阻塞方法。 

image.png 

为了解决这个问题,NGINX虽然是一个号称纯异步事件驱动的模型,但是它最近也引入了线程处理这种可能阻塞现实的情况 

 

4、引入协程 

其实最早在操作系统里没有协程概念,大家都是通过协程逻辑上抽象来帮助我们写并发代码。 

image.png   image.png 

比如说这里有两code,一段是解压code,一段 parsercode。大家要从解压数据结构里面去解析数据,这里对数据进行简单的encode,如char普通字符,会直接返回。若是特殊字符,可能就进行一个长度encode用协程来组织逻辑emit() 和 parser::getchar()会切换到另一个协程如果没有协程需两个线程结合pipe来组织但如果协程,我们可以在 frame里面直接控制逻辑清晰且性能高 

我们看怎么实现协程协程执行上下文其实包括这几个部分,当前的站、局部变量代码位置,这些其实都可以通过数据表示 

 image.png 

与OS内的线程切换方式一致 

(1) 保存pc 

(2) 保存sp 

(3) 保存callee-save寄存器 

保存完这些后,将来想回去,只要通过反向计算器pop出来,就会回到之前上下协程场景下,emitgetchar都是通过这种方式去实现的 

 

5、现代编程语言中的协程 

image.png 

左边是VERT.X Java里面最近比较流行的框架,想要制作的就是Java里的node.js的生态,我们可以看到官方所提供的连接数据库例子。 

Client.getConnection,来获取数据库连接,但它不是说立马返回一个连接给到我们,而是提供callback,然后这个result里面表示执行是否成功,如果成功的话,我们可以通过result去拿到 connection这就是通过义务编的方式,去让我们在线程里面处理大的逻辑NGINX就是这样的一种方式。这样代码其实看起来是非常难以维护的,比如在里面需要通过result set去把数据放到缓存里面,又是一个远程调用需要阻塞,可能又是一种callback,这个嵌套会非常深,非常难处理,由于我们都是callback,所以这个就没法被维持,假如在这个地方异常非常难以处理 

现代编程语言是怎么解决这个问题,我们给的答案是ES7C# 他们都提供帮助解决这类问题。我们以一段Kotlin代码为例怎么帮助代码改写成非常直观的代码,Kotlin里面通过suspend关键字来表示,函数是可以被挂起的,然后它也可以在 client上新加的方法,新的方法叫Agetconnection里面调用Kotlin提供的非常 medical的方法,他会获取一个当前执行上下文的connection,让我们getConnection直接调用。getConnectioncallback是恢复当前执行,并且把拿到connection作为返回值。这样实际上不用一直占 CPU资源,实际上调度器会继续去调度其他执行,一旦进行这类封装以后,我们看到代码可以被简化为下面这种形式。 

image.png 

Conn=clinet. AGetConnection(); 

然后 rs= Conn .aQurerythat(“SELECT * FROM ...”) 

这段代码相比左边这段代码那就是大大简化了,但我们要做对这种回调形式进行封装。 

6、Dragonwell: Wisp 原理 

image.png 

既然要对这么多回调形式进行封装,工作量是非常大的,能不能在更底层去解决,为什么就提供了这一层帮助?因为jdk提供所有的阻塞方式都是在jdk里面提供的。比如说Java.lang.Threadj.u.cjava.iosynchronized这些都是有可能阻塞API。在这些API上我们都做了封装, Wisp把这些脏活苦活全部给做掉了. Wisp对现成模型进行一个映射。我们知道Java里面的Java thread和操作系统pthread1:1的映射关系,大量线程使用的话就会导致前面提到的上下切换问题。但是在Wisp下我们每一个线都被映射到一个Wispwisp执行过程中可能阻塞CPU,然后这时候就可以让pthread调动其他Wisp调度效率非常高,可以免费提高应用的性能。 

 

二、使用Wisp提升微服务性能 

Dragonwell: Wisp demo 

下面Dragonwell下用 使用Wisp提高性能的例子 

image.png image.png 

左边这张图是不开Wisp使用wrk压测工具去压这台机器,192.168.1.1018080端口,平均的延迟是522秒,QBS是不到5万,在同个应用完全不改代码情况下,我们调整一下界面参数把Wisp打开,然后线程就被完全意识到协程latency降低到270秒, QBS变成了6万多,大概有20%多的性能提升,这不需要修改任何应用代码是一个免费的性能午餐,所以推荐大家可以通过Wisp提高我们微服务性能表现。 

相关文章
|
Java Shell 数据安全/隐私保护
部署基于Dragonwell的Java运行环境
本场景介绍如何部署和使用Dragonwell运行环境。
|
弹性计算 Oracle Cloud Native
免费体验!部署基于Dragonwell的Java运行环境
阿里云开发者学堂全员开课计划上线!为开发者提供超多免费Java精品课!阿里云开发者学堂是开发者学习成长的一站式学习平台,为开发者构建完善的学习成长体系、技术赋能。
免费体验!部署基于Dragonwell的Java运行环境
|
NoSQL Ubuntu Java
RISC-V 中开发 Java 是一种什么体验? 让 Dragonwell JDK 来回答
由于搭载 RVV-1.0 版本的芯片现阶段实际上很少,所以 Dragonwell 可能是目前唯一能够在硬件上运行 RVV 的 JDK。
|
运维 Kubernetes Cloud Native
让 Java Agent 在 Dragonwell 上更好用
本文是《容器中的Java》系列文章之 3/n,欢迎关注后续连载 :) 。
让 Java Agent 在 Dragonwell 上更好用
|
运维 Kubernetes Cloud Native
MSE结合Dragonwell,让Java Agent更好用
MSE 自动注入 “DRAGONWELL_JAVA_TOOL_OPTIONS_JDK_ONLY=true” 配置,透明地优化了用户体验。
MSE结合Dragonwell,让Java Agent更好用
|
运维 Kubernetes Cloud Native
让 Java Agent 在 Dragonwell 上更好用
本文是《容器中的Java》系列文章之 3/n,欢迎关注后续连载 :) 。
让 Java Agent 在 Dragonwell 上更好用
|
运维 Kubernetes Cloud Native
MSE 结合 Dragonwell,让 Java Agent 更好用
阿里云微服务引擎(MSE)通过 Java Agent/SDK/Service Mesh 等方式,给您带来零接入成本、无侵入的、全生命周期的微服务治理能力。
MSE 结合 Dragonwell,让 Java Agent 更好用
|
Java Anolis
《Alibaba Dragonwell 基于Anolis OS的企业级Java应用规模化实践》电子版地址
Alibaba Dragonwell 基于Anolis OS的企业级Java应用规模化实践
127 0
《Alibaba Dragonwell 基于Anolis OS的企业级Java应用规模化实践》电子版地址
|
Java Shell
基于Dragonwell的Java运行环境-3
基于Dragonwell的Java运行环境-3
112 0
基于Dragonwell的Java运行环境-3
|
运维 Kubernetes Cloud Native
MSE结合Dragonwell,让Java Agent更好用
微服务引擎MSE面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持Nacos/ZooKeeper/Eureka)、云原生网关(原生支持Ingress/Envoy)、微服务治理(原生支持Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。
MSE结合Dragonwell,让Java Agent更好用