apache_flink个人页面-阿里云开发者社区

个人头像照片 apache_flink TA的个人档案
13
12

个人介绍

Apache Flink China是经过Apache Flink官方授权的中文社区。是旨在向国内宣传和普及Flink相关技术,输出技术博文、译作、资讯等内容,推动国内大数据技术发展的开源社区。

擅长的技术

  • 数据库
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多

2019年06月

  • 06.25 17:09:44
    发表了文章 2019-06-25 17:09:44

    社区活动 | Apache RocketMQ × Apache Flink Meetup · 上海站

    社区活动 | Apache RocketMQ × Apache Flink Meetup · 上海站
  • 06.20 13:56:28
    发表了文章 2019-06-20 13:56:28

    谈谈流计算中的『Exactly Once』特性

    谈谈流计算中的『Exactly Once』特性
  • 06.20 12:02:41
    发表了文章 2019-06-20 12:02:41

    原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

    原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理
  • 06.20 11:47:37
    发表了文章 2019-06-20 11:47:37

    从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

    从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进
  • 06.14 15:28:55
    发表了文章 2019-06-14 15:28:55

    如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!

    如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!
  • 06.06 14:40:45
    发表了文章 2019-06-06 14:40:45

    Apache Flink Meetup · 北京站

    Apache Flink Meetup · 北京站
正在加载, 请稍后...
滑动查看更多
  • 发表了文章 2019-06-25

    社区活动 | Apache RocketMQ × Apache Flink Meetup · 上海站

  • 发表了文章 2019-06-20

    谈谈流计算中的『Exactly Once』特性

  • 发表了文章 2019-06-20

    原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

  • 发表了文章 2019-06-20

    从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

  • 发表了文章 2019-06-14

    如何从小白进化成 Apache Flink 技术专家?9节基础课程免费公开!

  • 发表了文章 2019-06-14

    Blink 有何特别之处?菜鸟供应链场景最佳实践

  • 发表了文章 2019-06-06

    Apache Flink Meetup · 北京站

  • 发表了文章 2019-05-14

    OPPO数据中台之基石:基于Flink SQL构建实数据仓库

  • 发表了文章 2019-04-17

    为什么说流处理即未来?

  • 发表了文章 2018-12-25

    阿里重磅开源 Blink:为什么我们等了这么久?

  • 发表了文章 2018-11-22

    超燃!Apache Flink 全球顶级盛会强势来袭

  • 发表了文章 2018-11-09

    Apache Flink China Meetup 北京站 - 计算之美,何止于快

  • 发表了文章 2018-10-30

    Flink China 社区运营成果报告(7月-9月)

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    flink啥时候出 hadoop3.0版本的呀

    成阳:
    blink内部版本使用hadoop 3.0版本的client,从而能使用到一些yarn 3.x才有功能(比如placement constraint)。
    但如果使用hadoop 3.0特有的api后,会导致flink在低版本的hadoop集群中不能正常运行。
    目前大部分yarn用户还是以hadoop 2.6为主,所以目前blink开源版对于hadoop的依赖是2.6及以上版本的。
    如果flink用户不需要hadoop 3.0特有的api的话,编译flink时用hadoop 2.6版本即可。
    我们已经测试过基于hadoop 2.6.5的flink能够正常运行在hadoop 3.x的集群中。

    踩0 评论0
  • 提交了问题 2019-02-14

    flink啥时候出 hadoop3.0版本的呀

  • 回答了问题 2019-07-17

    用 RocksDBStateBackend 时出现了这个错误

    邱从贤:用 RocksDBStateBackend 时出现了这个错误
    追问:incremental 模式 这个没有,用的是 RocksDBStateBackend 他就是增量哈

           ![4](https://yqfile.alicdn.com/e66112b6d4109a020a299af421eda60a431b7ce0.png)
    

    邱从贤:那需要看下哪个 task 超时了,然后看下日志找找看为啥超时了
    追问:这个是错误日志,问了问度娘说:因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。 查看了下 dfs.datanode.max.xcievers 为 4096,难道这个值还是小了嘛

         ![5](https://yqfile.alicdn.com/e6d4f6acc722b153e19e9e45c30991404339ed66.png)
    

    茶干:你这个错误实际上是expire 的checkpoint清理导致的task failover,root cause还是为啥你的checkpoint会超时,相关错误汇报可以参考 FLINK-10615和FLINK-10930

    踩0 评论0
  • 提交了问题 2019-02-14

    用 RocksDBStateBackend 时出现了这个错误

  • 回答了问题 2019-07-17

    yarn运行yarn-session报错,有大神知道吗

    无题:
    你看看 hdfs 那边的日志,我遇到的时候,是虚拟内存太底,导致不成功。

    踩0 评论0
  • 提交了问题 2019-02-14

    yarn运行yarn-session报错,有大神知道吗

  • 回答了问题 2019-07-17

    如图,ture ? false? 是什么意思?

    澄水:
    false表示是撤回消息,true是插入或更新消息,这条query包含agg操作,从93->94需要先把93的结果撤回,然后发送更新结果94
    这控制台的已经是输出数据了,不用你控制

    踩0 评论0
  • 提交了问题 2019-02-14

    如图,ture ? false? 是什么意思?

  • 回答了问题 2019-07-17

    blink使用streaming的runtime实现batch,效率会降低吗?

    在享受到流式处理优势的同时不会以牺牲吞吐位代价,首先checkpoint是增量异步的,overhead比较小对正常数据处理的影响很小,网络层的shuffle是以buffer为单位进行的,相当于micro batch吞吐很好,相比batch模式,下游提前启动了参与拉数据和处理,所以整体性能上会更好,除了资源占用会更多一些


    绝顶:
    可以看一下FFC上蒋晓伟研究员讲的keynote,上面有tpc-ds和spark的对比数据
    https://files.alicdn.com/tpsservice/62fa5ebcd23ea0b8a956f2a06197b57a.pdf

    踩0 评论0
  • 提交了问题 2019-02-14

    blink使用streaming的runtime实现batch,效率会降低吗?

  • 回答了问题 2019-07-17

    有一个作业跑一段时间后总是挂,查nodemanager日志发现是内存不够了,但是堆内存使用情况正常

    智笙:可以把gc日志打出来分析下
    墨简:堆内ok的话 堆外呢 有没有jni直接走malloc,new一类的

    踩0 评论0
  • 提交了问题 2019-02-14

    有一个作业跑一段时间后总是挂,查nodemanager日志发现是内存不够了,但是堆内存使用情况正常

正在加载, 请稍后...
滑动查看更多