分布式工作流任务调度系统Easy Scheduler正式开源
Easy Scheduler是一个分布式工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。
zookeeper集群搭建及java程序测试
下载官网:http://zookeeper.apache.org/releases.html
下载:zookeeper-3.4.8.tar.gz
安装因为资源有限,所以我在同一个服务器上面创建3个目录 server1、server2、server3 来模拟3台服务器集群。
整理收集的一些常用java工具类
1.json转换工具
[java] view plain copy
package com.taotao.utils;
import java.util.List;
import com.
Apache Flink 漫谈系列(02) - 概述
Apache Flink 的命脉
"命脉" 即生命与血脉,常喻极为重要的事物。系列的首篇,首篇的首段不聊Apache Flink的历史,不聊Apache Flink的架构,不聊Apache Flink的功能特性,我们用一句话聊聊什么是 Apache Flink 的命脉?我的答案是:Apache Flink 是以"批是流的特例"的认知进行系统设计的。
怎么做服务器压力测试?
项目做好了,能不能顺利上线?
一般来说我们需要做一下压力测试来判断。比如该项目上线后预计每天一百万的接口访问量,并且访问时段主要集中在早八点到晚八点,那么平均下来 RPS 大约是 22 次左右·····