赵慧@ApacheFlink中文社区
赵慧@ApacheFlink中文社区_个人页
赵慧@ApacheFlink中文社区
文章
17
问答
350
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
暂无更多信息
-
发表了文章
2019-01-05
Apache Flink，流计算？不仅仅是流计算！
-
发表了文章
2018-11-30
Apache Flink 干货合集打包好了，速来下载
-
发表了文章
2018-11-06
取之开源，用之开源-深度剖析阿里巴巴对Flink的优化与改进
-
发表了文章
2018-10-16
阿里巴巴为什么选择Apache Flink？
-
发表了文章
2018-10-15
Flink在唯品会的实践
-
发表了文章
2018-10-15
Flink在美团的实践与应用
-
发表了文章
2018-10-15
Flink 靠什么征服饿了么工程师？（Flink在饿了么实时计算平台的应用）
-
发表了文章
2018-10-15
携程基于Flink的实时特征平台
-
发表了文章
2018-10-15
下：比拼生态和未来，Spark和Flink哪家强？
-
发表了文章
2018-10-15
Flink状态管理和容错机制介绍
-
发表了文章
2018-10-15
Jstorm到Flink 在今日头条的迁移实践
-
发表了文章
2018-10-15
Flink在美团的实践与应用
-
发表了文章
2018-10-15
上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？
-
发表了文章
2018-10-15
携程基于Flink的实时特征平台
-
发表了文章
2018-10-15
Flink在唯品会的实践
-
发表了文章
2018-10-15
G7在实时计算的探索与实践
-
发表了文章
2018-10-15
Flink 的新方向在哪里？这场顶级盛会给出了答案
滑动查看更多
-
回答了问题
2019-07-17
-
提交了问题
2019-02-21
有没有flink实时计算的demo，集群方式的
-
回答了问题
2019-07-17
各位大牛下午好，请问在编译Blink时，发生如下异常： 我的maven版本：3.2.5，请问该如何解决 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project flink-table_2.11: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error
Jary：参看一下这个 mvn clean install -DskipTests -Drat.skip=true -Dcheckstyle.skip=true
有时候网络问题 多试几次赞0 踩0 评论0 -
提交了问题
2019-02-21
各位大牛下午好，请问在编译Blink时，发生如下异常： 我的maven版本：3.2.5，请问该如何解决 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project flink-table_2.11: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error
-
回答了问题
2019-07-17
大神们，你们一般hadoop设置几个副本啊？
眭少剑：3个。同机架一个，不同机架一个。这是我的做法，不知道大神们什么思路
高颜：
本地，同一个交换机，同数据中心，不同数据中心
3-4， 一级一个副本，如果只考虑可用性赞0 踩0 评论0 -
提交了问题
2019-02-21
大神们，你们一般hadoop设置几个副本啊？
-
回答了问题
2019-07-17
编译完Blink源码，启动集群时报这个警告。哪位大佬知道在哪里设置？
伪分布式下会出现这个问题，完全分布式模式没有这个问题了。
赞0 踩0 评论0 -
提交了问题
2019-02-21
编译完Blink源码，启动集群时报这个警告。哪位大佬知道在哪里设置？
-
回答了问题
2019-07-17
Flink on Yarn 有两种模式 分离模式 和 客户端模式 ，我现在在做调研，没有大规模的使用，我想知道的是，这两种模式具体适用的场景是什么，对于我现在来说，两种模式我感觉区别不是很大，有人说 客户端模式的隔离性更好，但是我想知道这个这个在实际应用起来，所谓的隔离性影响大吗？或者说这两者有什么其他的较大的区别，有朋友了解吗？
分离式吧！客户端启动后，它就不在属于yarn cluster 的一部分了。生产single job 会用的多，即用Flink run 直接提交
问：简单来说就是 如果用 分离式模式 ，那么在启动的时候会在yarn中常驻一个进程，并且已经确定了之后提交的job的内存等资源的大小，比如8G内存，如果某一个job把8G内存全部占完了，只能是第一个job执行完成把资源释放了，第二个job才能继续执行。
如果是 客户端模式，那么提交后，资源的大小是由yarn的队列所决定的，多个job提交，资源的占用和竞争都是由yarn所控制。赞0 踩0 评论0 -
提交了问题
2019-02-21
Flink on Yarn 有两种模式 分离模式 和 客户端模式 ，我现在在做调研，没有大规模的使用，我想知道的是，这两种模式具体适用的场景是什么，对于我现在来说，两种模式我感觉区别不是很大，有人说 客户端模式的隔离性更好，但是我想知道这个这个在实际应用起来，所谓的隔离性影响大吗？或者说这两者有什么其他的较大的区别，有朋友了解吗？
-
回答了问题
2019-07-17
flink + rocketmq从指定Offsets启动有人做过吗
火锅：Offsets 从外部参数传入？ 还是你checkpoint 里面有
问：外部
火锅：你在 initializeState 里面去实现下呢，启动的时候，这里初始化你的offset ，根据你的值处理。你只初始化参数，从open 方法也行
赞0 踩0 评论0 -
提交了问题
2019-02-21
flink + rocketmq从指定Offsets启动有人做过吗
-
回答了问题
2019-07-17
Job倒了如何自动重新启动呢？
张迪（雷诺）：StreamExecutionEnvironment
赞0 踩0 评论0 -
提交了问题
2019-02-21
Job倒了如何自动重新启动呢？
-
回答了问题
2019-07-17
请教大牛，我自己写了一个SinkFunction，继承了RichSinkFunction，初始化这个SinkFunction时，我传进去了一个数据库连接池对象，在SinkFunction的invoke里，调用数据库连接池对象来写数据库。我的问题是，当SinkFunction被partition到多个机器的vm执行时，这个数据库连接池对象是在程序入口的JobClient（程序提交所在的机器VM），还是这个对象也被复制了好多份，有多少个SinkFunction在运行就有多少个数据库连接池对象？
鲁尼：取决于你的连接池对象是在哪里初始化的，如果是构造函数里就初始化好了，那在客户端就做了，连接池对象会被尝试序列化并分发到多个分布式worker。如果是在类似open的时候才初始化，那就一个task一个（除非这个连接池对象做了一些进程级别的共享，刚好你有多个task调度到了同一个进程）
问：那你说的这2种情况，A：初始化了在序列化分发，B：分别在worker/tasker里自己初始化。对于连接数最大限制来说，其实连接数最大限制都是只在worker/tasker里有限制，而不是在整个范围内限制了对吗？也就是我定最大连接数限制1000，不是所有的worker/tasker加起来不超过1000，而是每个worker/tasker不超过1000？
鲁尼：看你的连接数限制是连接池这的限制还是数据库server那边的限制了，连接池这边的话，确实就是单task内限制了
赞0 踩0 评论0 -
提交了问题
2019-02-21
请教大牛，我自己写了一个SinkFunction，继承了RichSinkFunction，初始化这个SinkFunction时，我传进去了一个数据库连接池对象，在SinkFunction的invoke里，调用数据库连接池对象来写数据库。我的问题是，当SinkFunction被partition到多个机器的vm执行时，这个数据库连接池对象是在程序入口的JobClient（程序提交所在的机器VM），还是这个对象也被复制了好多份，有多少个SinkFunction在运行就有多少个数据库连接池对象？
-
回答了问题
2019-07-17
flink可以通过代码自动重启job程序嘛？
于博：如果任务失败了，就没法子自动启动了，可以配置自动拉起服务
赞0 踩0 评论0 -
提交了问题
2019-02-21
flink可以通过代码自动重启job程序嘛？
-
回答了问题
2019-07-17
设置了flink source的 parallelism 为4，会直接造成flink启动4个taskmanager吗？
Tom：不会。并行度和taskmanager没有关系
赞0 踩0 评论0 -
提交了问题
2019-02-21
设置了flink source的 parallelism 为4，会直接造成flink启动4个taskmanager吗？
滑动查看更多
暂无更多信息