大白组件实现余额宝超大规模基金文件处理-阿里云开发者社区

开发者社区> 开发与运维> 正文

大白组件实现余额宝超大规模基金文件处理

简介: 本文PPT来自蚂蚁金服财富线技术专家叶恺于10月14日在2016年杭州云栖大会上发表的演讲,分享主题为《余额宝超大规模基金文件处理——分布式调度组件:余额宝大白组件》。

本文PPT来自蚂蚁金服财富线技术专家叶恺于10月14日在2016年杭州云栖大会上发表的演讲,分享主题为《余额宝超大规模基金文件处理——分布式调度组件:余额宝大白组件》。

基于单元化部署上的分布式环境无法充分利用机器资源等客观因素的存在,余额宝大白组件应运而生。今天技术专家叶恺为我们分享关于余额宝大白组件的相关知识。这次分享主要包括了四个部分:组件背景、组件功能、技术实现和未来展望。

组件背景。余额宝现有几十种任务类型,每日生成上百个文件,多种批量任务,几十种核对任务。然而,现有分布式调度中心不能区分资源类别,无法合理利用资源。大量类似的文件导入、导出任务,但文件格式多样,基础流程复用性低。此外,任务之间业务依赖关系,无统一通用的解决方案。这些都影响到余额宝的性能表现,也孕育出大白组件。

组件功能包含大文件导出,自适应调整及任务配置。大文件导出的思路概括为并行生成小文件后,合并成大文件;任务调度,任务执行独立。自适应调整创建高时效任务单独线程池,忙时集群内单机自发调度,自发调度开关自适应。任务配置建立任务模板,配置业务参数,建立任务依赖……

大白组件的技术实现分为实时任务管理、文件任务管理、文件读写、实时调度、定时调度和运维多个模块。每个模块各司其职。这其中,分布式调度和集中调度的实现机制尤为受人关注。对于未来的展望,大白组件会实现任务调度加资源调度的两级调度,更加合理使用集群资源。

462a662c5d71f3520da94b7cdb6aa335a3f208ba1186b901b230cb50f935786a35ebe3e95a5d1f3a3cba6f9bc61be9ea5fdf6257387ab82a318ab1545fd711c12f14e0af16cb28bfba5e640f4871d9ea498a49882c9c3066c38244aeb2334a23c777e6c7b2fc5d84ec3b4d1c8c8ce1e2db9e506c6d087d913af56b5f3a015f8d64e0be10b87b745be494724c3e42f2896b11b3d48a12ed8ea1d1ae71c8e63aff2a96f4a2d70456a1381b25b72842e36c1beb2deb4cb7574667ae27093b04661dc6f5ee0e309bf2b02eb097b141efccf05fe1850f667e1e29206c6cdb41c96fee874162c6d89231a2b97b3cf04dacc474

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章