暂无个人介绍
Jary:参看一下这个 mvn clean install -DskipTests -Drat.skip=true -Dcheckstyle.skip=true
有时候网络问题 多试几次
眭少剑:3个。同机架一个,不同机架一个。这是我的做法,不知道大神们什么思路
高颜:
本地,同一个交换机,同数据中心,不同数据中心
3-4, 一级一个副本,如果只考虑可用性
伪分布式下会出现这个问题,完全分布式模式没有这个问题了。
分离式吧!客户端启动后,它就不在属于yarn cluster 的一部分了。生产single job 会用的多,即用Flink run 直接提交
问:简单来说就是 如果用 分离式模式 ,那么在启动的时候会在yarn中常驻一个进程,并且已经确定了之后提交的job的内存等资源的大小,比如8G内存,如果某一个job把8G内存全部占完了,只能是第一个job执行完成把资源释放了,第二个job才能继续执行。
如果是 客户端模式,那么提交后,资源的大小是由yarn的队列所决定的,多个job提交,资源的占用和竞争都是由yarn所控制。
火锅:Offsets 从外部参数传入? 还是你checkpoint 里面有
问:外部
火锅:你在 initializeState 里面去实现下呢,启动的时候,这里初始化你的offset ,根据你的值处理。你只初始化参数,从open 方法也行
张迪(雷诺):StreamExecutionEnvironment
鲁尼:取决于你的连接池对象是在哪里初始化的,如果是构造函数里就初始化好了,那在客户端就做了,连接池对象会被尝试序列化并分发到多个分布式worker。如果是在类似open的时候才初始化,那就一个task一个(除非这个连接池对象做了一些进程级别的共享,刚好你有多个task调度到了同一个进程)
问:那你说的这2种情况,A:初始化了在序列化分发,B:分别在worker/tasker里自己初始化。对于连接数最大限制来说,其实连接数最大限制都是只在worker/tasker里有限制,而不是在整个范围内限制了对吗?也就是我定最大连接数限制1000,不是所有的worker/tasker加起来不超过1000,而是每个worker/tasker不超过1000?
鲁尼:看你的连接数限制是连接池这的限制还是数据库server那边的限制了,连接池这边的话,确实就是单task内限制了
于博:如果任务失败了,就没法子自动启动了,可以配置自动拉起服务
Tom:不会。并行度和taskmanager没有关系