设计mooon调度器遇到的难题

简介: mooon的设计进入关键时刻,有几个决策点还没有定下来,如下:1.是否同时支持进程和线程模型进程模型是指内核为一个独立的进程,而每个业务又为独立的一个进程,业务可以为多线程,同时内核会产生相应个数的内核线程与业务线程一一对应,内核线程和业务进程在创建业务时产生。
mooon的设计进入关键时刻,有几个决策点还没有定下来,如下:

1.是否同时支持进程和线程模型
进程模型是指内核为一个独立的进程,而每个业务又为独立的一个进程,业务可以为多线程,同时内核会产生相应个数的内核线程与业务线程一一对应,内核线程和业务进程在创建业务时产生。
线程模型是业务和内核运行在相同的进程中,内核线程即为业务线程,在创建业务时产生。

2.service和线程不绑定(即不建立亲和关系),而session和线程建立绑定关系是否合理?
这么做重要的原因是考虑效率和保持简单,service不绑定,可以保证随机调度,这样就可以在随机的线程中创建session,并由这个线程调度和管理session(创建和销毁);同时由于session只会被一个线程调度,会使得真对单个session的编程不需要考虑线程安全;另外,不同session运行在不同线程中,又可保证一定的并发性,但线程和session是一对多的关系,因为session数量允许超过10万个。

3.一个session是否要支持可以有子session,子session下是否还要有子session
这个主要是考虑多方会话和群组类需求。

4.如果父session和线程是绑定关系,那子session是否和父session绑定到相同的session?
这个主要影响到复杂度,最好是可以相同,但是否会影响实用性了?

目前的计划:同时支持线程和进程模型,并且对于同一节点的进程模型业务,会使用pipe通讯绕过网络,影响最大的是第4点。

孤独,希望可以看到更多的讨论,计划端午三天完成设计图。
相关文章
|
21天前
|
负载均衡 算法 Linux
深度解析:Linux内核调度器的演变与优化策略
【4月更文挑战第5天】 在本文中,我们将深入探讨Linux操作系统的核心组成部分——内核调度器。文章将首先回顾Linux内核调度器的发展历程,从早期的简单轮转调度(Round Robin)到现代的完全公平调度器(Completely Fair Scheduler, CFS)。接着,分析当前CFS面临的挑战以及社区提出的各种优化方案,最后提出未来可能的发展趋势和研究方向。通过本文,读者将对Linux调度器的原理、实现及其优化有一个全面的认识。
|
6月前
|
分布式计算 资源调度 Kubernetes
大数据问题排查系列 - SPARK STANDALONE HA 模式的一个缺陷点与应对方案
大数据问题排查系列 - SPARK STANDALONE HA 模式的一个缺陷点与应对方案
|
9月前
|
Go 调度
Go并发调度-调度器设计理念从何而来?为何如此高效?
Go并发调度-调度器设计理念从何而来?为何如此高效?
|
9月前
|
存储 缓存 算法
Go并发调度进阶-GMP和调度器的主要结构,只有接触到底层你才更有底气
Go并发调度进阶-GMP和调度器的主要结构,只有接触到底层你才更有底气
|
SQL 资源调度 NoSQL
DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块
在Taier1.3新版本中,我们融合了「DataSourceX 模块」。这是十分重要的一个变化,移除Taier外部插件依赖,新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。本篇文章,就带大家详细了解一下DataSourceX 的作用及设计。感兴趣的朋友欢迎点击正文阅读~
272 0
DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块
|
资源调度 分布式计算 并行计算
分布式调度系统现状|学习笔记
快速学习分布式调度系统现状
431 0
分布式调度系统现状|学习笔记
|
存储 Kubernetes 监控
大规模运行 Apache Airflow 的经验和教训
Sam Wheating,来自加拿大不列颠哥伦比亚省温哥华的高级开发人员。供职于 Shopify 的数据基础设施和引擎基础团队。他是开源软件的内部倡导者,也是 Apache Airflow 项目的贡献者。
1025 0
大规模运行 Apache Airflow 的经验和教训
|
弹性计算 运维 Devops
崔力强:Dev无感Ops,如何做到高效软件交付
在2018第二届研发效能嘉年华上,阿里巴巴云效技术专家崔力强带来了如何做到高效软件交付的精彩演讲,首先介绍了阿里巴巴在近几年在交付平台上的技术经验,以及目前云上工具平台交易的趋势,其次分享了阿里巴巴内部交付平台如何帮助我们统一步调、并行工作,最后详细讲述了Dev无感Ops可以解决DevOps遇到的一些问题。
3578 0
|
算法 Linux 调度
Linux进程核心调度器之主调度器schedule--Linux进程的管理与调度(十九)【转】
转自:http://blog.csdn.net/gatieme/article/details/51872594 日期 内核版本 架构 作者 GitHub CSDN 2016-06-30 Linux-4.
1269 0