赵慧@ApacheFlink中文社区
赵慧@ApacheFlink中文社区_个人页
赵慧@ApacheFlink中文社区
文章
17
问答
350
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
提交了问题
2019-02-21
有没有flink实时计算的demo，集群方式的
-
提交了问题
2019-02-21
各位大牛下午好，请问在编译Blink时，发生如下异常： 我的maven版本：3.2.5，请问该如何解决 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project flink-table_2.11: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error
-
提交了问题
2019-02-21
大神们，你们一般hadoop设置几个副本啊？
-
提交了问题
2019-02-21
编译完Blink源码，启动集群时报这个警告。哪位大佬知道在哪里设置？
-
提交了问题
2019-02-21
Flink on Yarn 有两种模式 分离模式 和 客户端模式 ，我现在在做调研，没有大规模的使用，我想知道的是，这两种模式具体适用的场景是什么，对于我现在来说，两种模式我感觉区别不是很大，有人说 客户端模式的隔离性更好，但是我想知道这个这个在实际应用起来，所谓的隔离性影响大吗？或者说这两者有什么其他的较大的区别，有朋友了解吗？
-
提交了问题
2019-02-21
flink + rocketmq从指定Offsets启动有人做过吗
-
提交了问题
2019-02-21
Job倒了如何自动重新启动呢？
-
提交了问题
2019-02-21
请教大牛，我自己写了一个SinkFunction，继承了RichSinkFunction，初始化这个SinkFunction时，我传进去了一个数据库连接池对象，在SinkFunction的invoke里，调用数据库连接池对象来写数据库。我的问题是，当SinkFunction被partition到多个机器的vm执行时，这个数据库连接池对象是在程序入口的JobClient（程序提交所在的机器VM），还是这个对象也被复制了好多份，有多少个SinkFunction在运行就有多少个数据库连接池对象？
-
提交了问题
2019-02-21
flink可以通过代码自动重启job程序嘛？
-
提交了问题
2019-02-21
设置了flink source的 parallelism 为4，会直接造成flink启动4个taskmanager吗？
-
提交了问题
2019-02-21
blink有开发文档么
-
提交了问题
2019-02-21
State Backend中backend是什么意思，是存储的意思吗
-
提交了问题
2019-02-21
请问flink on yarn模式, 怎么使用REST API接口对作业进行监控? 我想集成到自己的后台里 而不是在原本的web UI上查看
-
提交了问题
2019-02-21
flink on yarn任务失败了之后，错误日志从哪看有人知道吗？
-
提交了问题
2019-02-21
blink中是否已经实现了HBase表的维表JOIN功能？有的话，具体体现在哪个包里？
-
提交了问题
2019-02-21
请问Flink on Yarn的模式是否需要部署Flink 集群？个人理解下来，Flink on Yarn会从启动session的节点上传jar和配置文件，但是每次想到spark on yarn部署了集群心里总是不安。还请在生产中使用Flink的前辈确认一下，谢谢！
-
提交了问题
2019-02-21
谁有flink的学习资料
-
提交了问题
2019-02-21
现在blink能用在生产环境吗
-
提交了问题
2019-02-21
flink每分钟滚动和滑动窗口能不能join在一起啊？
-
提交了问题
2019-02-21
blink是不是支持hadoop3？
-
提交了问题
2019-02-21
kafka导入数据到hdfs，怎么比较方便
-
提交了问题
2019-02-21
blink功能什么时候合并进flink有roadmap吗？
-
提交了问题
2019-02-21
我的程序在flink 1.7.0中使用是ok的，而在blink 1.5.1中跑，meter会出现类加载的问题，大家有没有出现过这个问题
-
提交了问题
2019-02-21
请教个问题，blink在提交sql作业时，并发可以不同吗？比如，我想join两个hive表，但是两个表大小差很多，所以一个表的并发需要大一些，另外一个表的并发需要小一些，但是直接使用sql提交时，设置并发后，所有的节点都是一样的并发。有没有什么办法可以调的啊
-
提交了问题
2019-02-14
blink贡献给flink了吗？
-
提交了问题
2019-02-14
min和minBy区别到底是什么，看文档没理解，跑代码发现输出也是一样的
-
提交了问题
2019-02-14
使用GlobalWindows.create() 窗口，然后在自定义的trigger 中 操作按照自定义时间触发计算或清空操作 这样靠谱吗。
-
提交了问题
2019-02-14
cep在一个模式链的中间环节加within会失效吗？
-
提交了问题
2019-02-14
blink有支持CEP sql么？有文档吗
-
提交了问题
2019-02-14
我在 IDEA 中执行 mvn clean install -DskipTests ，成功后没找到 .tar.gz ，编译成功的朋友有了解的吗？
-
提交了问题
2019-02-14
blink支持维表与流表join吗？
-
提交了问题
2019-02-14
Blink resourceSpec的作用是什么,我看这个是到算子粒度
-
提交了问题
2019-02-14
1.5.1的flink on yarn的部署模式下，使用eventtime做处理时间，flink的jobmanger界面里为啥看不见wartermark的值
-
提交了问题
2019-02-14
请问一下本地可以通过blink连接远程的hive吗？
-
提交了问题
2019-02-14
连接hive，hive执行引擎是 MR 还是 Flink ？
-
提交了问题
2019-02-14
taskmanager.numberOfTaskSlots 大小配置，flink默认3，blink默认1。实际配置中依据并发度和服务器内存吗？一个Slots一般多大内存较合适？
-
提交了问题
2019-02-14
Blink streaming 不支持print(), 那为什么又有这样的api呢 val sql1 = "SELECT a, c FROM sourceTable" tEnv.sqlQuery(sql1).print() // org.apache.flink.table.api.TableException: collect is not supported.
-
提交了问题
2019-02-14
flink 1.8-SNAPSHOT 是在 阿里的 blink 上出的版本吗？
-
提交了问题
2019-02-14
flink中文的maillist有归档页面吗
-
提交了问题
2019-02-14
各位flink是用java还是scala开发的？
-
提交了问题
2019-02-14
在自己的linux虚拟机下编译blink源码，在 [INFO] Running 'npm install --cache-max=0 --no-save' in /opt/gitrepo/flink-runtime-web/web-dashboard 后就没有反应了，ctrl+c 才退出来
-
提交了问题
2019-02-14
请教一下,我想让两个流join, 但是希望每条数据触发join的时候就进行计算,不用等到窗口结束,怎么做啊?
-
提交了问题
2019-02-14
flink社区大群的入群方式有哪些？
-
提交了问题
2019-02-14
blink开源这次 支持的是MicroBatch 还是 MiniBatch
-
提交了问题
2019-02-14
请问在Flink里面，UDAF不能返回null值吗？ 在自定义的UDAF latest_value_long_test里面，如果返回了null值，会在checkpoint的时候报序列化的错误 select DRAFT_ORDER_ID, latest_value_long_test(LAST_UPDATE_TIME) from CRD5_DRAFT_ORDER group by DRAFT_ORDER_ID
-
提交了问题
2019-02-14
UDAF实际调用时传入int类型，定义时是long类型，运行时报参数不匹配，int不能转成long类型吗？发现Flink-SQL在编写的时候需要写很多的CAST
-
提交了问题
2019-02-14
flink 有timewindow 还有 countwindow 是否可以自定义实现 countTimeWindow 如果先满足count 就出发 不然就出发时间window
-
提交了问题
2019-02-14
flink 入库hbase，请问有查阅的文档吗？
-
提交了问题
2019-02-14
请教老师，flink job已经用flink cancel命令取消了。但是代码里创建的子线程仍在运行，这个要怎么解决呢？谢谢。
-
提交了问题
2019-02-14
想做一个作业配置平台,就是通过选择数据源,算子等生成flink作业, 但是没有思路如何去生成这个作业, 难道要使用字符串拼接吗, 请问有没有可以实现这种功能的工具啊
暂无更多信息
-
发表了文章
2019-01-05
Apache Flink，流计算？不仅仅是流计算！
-
发表了文章
2018-11-30
Apache Flink 干货合集打包好了，速来下载
-
发表了文章
2018-11-06
取之开源，用之开源-深度剖析阿里巴巴对Flink的优化与改进
-
发表了文章
2018-10-16
阿里巴巴为什么选择Apache Flink？
-
发表了文章
2018-10-15
Flink在唯品会的实践
-
发表了文章
2018-10-15
Flink在美团的实践与应用
-
发表了文章
2018-10-15
Flink 靠什么征服饿了么工程师？（Flink在饿了么实时计算平台的应用）
-
发表了文章
2018-10-15
携程基于Flink的实时特征平台
-
发表了文章
2018-10-15
下：比拼生态和未来，Spark和Flink哪家强？
-
发表了文章
2018-10-15
Flink状态管理和容错机制介绍
-
发表了文章
2018-10-15
Jstorm到Flink 在今日头条的迁移实践
-
发表了文章
2018-10-15
Flink在美团的实践与应用
-
发表了文章
2018-10-15
上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？
-
发表了文章
2018-10-15
携程基于Flink的实时特征平台
-
发表了文章
2018-10-15
Flink在唯品会的实践
-
发表了文章
2018-10-15
G7在实时计算的探索与实践
-
发表了文章
2018-10-15
Flink 的新方向在哪里？这场顶级盛会给出了答案
滑动查看更多
-
回答了问题
2019-07-17
-
提交了问题
2019-02-21
有没有flink实时计算的demo，集群方式的
-
回答了问题
2019-07-17
各位大牛下午好，请问在编译Blink时，发生如下异常： 我的maven版本：3.2.5，请问该如何解决 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project flink-table_2.11: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error
Jary：参看一下这个 mvn clean install -DskipTests -Drat.skip=true -Dcheckstyle.skip=true
有时候网络问题 多试几次赞0 踩0 评论0 -
提交了问题
2019-02-21
各位大牛下午好，请问在编译Blink时，发生如下异常： 我的maven版本：3.2.5，请问该如何解决 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project flink-table_2.11: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error
-
回答了问题
2019-07-17
大神们，你们一般hadoop设置几个副本啊？
眭少剑：3个。同机架一个，不同机架一个。这是我的做法，不知道大神们什么思路
高颜：
本地，同一个交换机，同数据中心，不同数据中心
3-4， 一级一个副本，如果只考虑可用性赞0 踩0 评论0 -
提交了问题
2019-02-21
大神们，你们一般hadoop设置几个副本啊？
-
回答了问题
2019-07-17
编译完Blink源码，启动集群时报这个警告。哪位大佬知道在哪里设置？
伪分布式下会出现这个问题，完全分布式模式没有这个问题了。
赞0 踩0 评论0 -
提交了问题
2019-02-21
编译完Blink源码，启动集群时报这个警告。哪位大佬知道在哪里设置？
-
回答了问题
2019-07-17
Flink on Yarn 有两种模式 分离模式 和 客户端模式 ，我现在在做调研，没有大规模的使用，我想知道的是，这两种模式具体适用的场景是什么，对于我现在来说，两种模式我感觉区别不是很大，有人说 客户端模式的隔离性更好，但是我想知道这个这个在实际应用起来，所谓的隔离性影响大吗？或者说这两者有什么其他的较大的区别，有朋友了解吗？
分离式吧！客户端启动后，它就不在属于yarn cluster 的一部分了。生产single job 会用的多，即用Flink run 直接提交
问：简单来说就是 如果用 分离式模式 ，那么在启动的时候会在yarn中常驻一个进程，并且已经确定了之后提交的job的内存等资源的大小，比如8G内存，如果某一个job把8G内存全部占完了，只能是第一个job执行完成把资源释放了，第二个job才能继续执行。
如果是 客户端模式，那么提交后，资源的大小是由yarn的队列所决定的，多个job提交，资源的占用和竞争都是由yarn所控制。赞0 踩0 评论0 -
提交了问题
2019-02-21
Flink on Yarn 有两种模式 分离模式 和 客户端模式 ，我现在在做调研，没有大规模的使用，我想知道的是，这两种模式具体适用的场景是什么，对于我现在来说，两种模式我感觉区别不是很大，有人说 客户端模式的隔离性更好，但是我想知道这个这个在实际应用起来，所谓的隔离性影响大吗？或者说这两者有什么其他的较大的区别，有朋友了解吗？
-
回答了问题
2019-07-17
flink + rocketmq从指定Offsets启动有人做过吗
火锅：Offsets 从外部参数传入？ 还是你checkpoint 里面有
问：外部
火锅：你在 initializeState 里面去实现下呢，启动的时候，这里初始化你的offset ，根据你的值处理。你只初始化参数，从open 方法也行
赞0 踩0 评论0 -
提交了问题
2019-02-21
flink + rocketmq从指定Offsets启动有人做过吗
-
回答了问题
2019-07-17
Job倒了如何自动重新启动呢？
张迪（雷诺）：StreamExecutionEnvironment
赞0 踩0 评论0 -
提交了问题
2019-02-21
Job倒了如何自动重新启动呢？
-
回答了问题
2019-07-17
请教大牛，我自己写了一个SinkFunction，继承了RichSinkFunction，初始化这个SinkFunction时，我传进去了一个数据库连接池对象，在SinkFunction的invoke里，调用数据库连接池对象来写数据库。我的问题是，当SinkFunction被partition到多个机器的vm执行时，这个数据库连接池对象是在程序入口的JobClient（程序提交所在的机器VM），还是这个对象也被复制了好多份，有多少个SinkFunction在运行就有多少个数据库连接池对象？
鲁尼：取决于你的连接池对象是在哪里初始化的，如果是构造函数里就初始化好了，那在客户端就做了，连接池对象会被尝试序列化并分发到多个分布式worker。如果是在类似open的时候才初始化，那就一个task一个（除非这个连接池对象做了一些进程级别的共享，刚好你有多个task调度到了同一个进程）
问：那你说的这2种情况，A：初始化了在序列化分发，B：分别在worker/tasker里自己初始化。对于连接数最大限制来说，其实连接数最大限制都是只在worker/tasker里有限制，而不是在整个范围内限制了对吗？也就是我定最大连接数限制1000，不是所有的worker/tasker加起来不超过1000，而是每个worker/tasker不超过1000？
鲁尼：看你的连接数限制是连接池这的限制还是数据库server那边的限制了，连接池这边的话，确实就是单task内限制了
赞0 踩0 评论0 -
提交了问题
2019-02-21
请教大牛，我自己写了一个SinkFunction，继承了RichSinkFunction，初始化这个SinkFunction时，我传进去了一个数据库连接池对象，在SinkFunction的invoke里，调用数据库连接池对象来写数据库。我的问题是，当SinkFunction被partition到多个机器的vm执行时，这个数据库连接池对象是在程序入口的JobClient（程序提交所在的机器VM），还是这个对象也被复制了好多份，有多少个SinkFunction在运行就有多少个数据库连接池对象？
-
回答了问题
2019-07-17
flink可以通过代码自动重启job程序嘛？
于博：如果任务失败了，就没法子自动启动了，可以配置自动拉起服务
赞0 踩0 评论0 -
提交了问题
2019-02-21
flink可以通过代码自动重启job程序嘛？
-
回答了问题
2019-07-17
设置了flink source的 parallelism 为4，会直接造成flink启动4个taskmanager吗？
Tom：不会。并行度和taskmanager没有关系
赞0 踩0 评论0 -
提交了问题
2019-02-21
设置了flink source的 parallelism 为4，会直接造成flink启动4个taskmanager吗？
滑动查看更多
暂无更多信息