备案控制台

apache_flink_个人页

个人头像照片 apache_flink
个人头像照片
文章
13
问答
12
视频
1

个人介绍

Apache Flink China是经过Apache Flink官方授权的中文社区。是旨在向国内宣传和普及Flink相关技术，输出技术博文、译作、资讯等内容，推动国内大数据技术发展的开源社区。

擅长的技术

  • 数据库
获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息
  • 发表了文章 2019-06-25

    社区活动 | Apache RocketMQ × Apache Flink Meetup · 上海站

  • 发表了文章 2019-06-20

    谈谈流计算中的『Exactly Once』特性

  • 发表了文章 2019-06-20

    原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

  • 发表了文章 2019-06-20

    从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

  • 发表了文章 2019-06-14

    如何从小白进化成 Apache Flink 技术专家？9节基础课程免费公开！

  • 发表了文章 2019-06-14

    Blink 有何特别之处？菜鸟供应链场景最佳实践

  • 发表了文章 2019-06-06

    Apache Flink Meetup · 北京站

  • 发表了文章 2019-05-14

    OPPO数据中台之基石：基于Flink SQL构建实数据仓库

  • 发表了文章 2019-04-17

    为什么说流处理即未来？

  • 发表了文章 2018-12-25

    阿里重磅开源 Blink：为什么我们等了这么久？

  • 发表了文章 2018-11-22

    超燃！Apache Flink 全球顶级盛会强势来袭

  • 发表了文章 2018-11-09

    Apache Flink China Meetup 北京站 - 计算之美，何止于快

  • 发表了文章 2018-10-30

    Flink China 社区运营成果报告（7月-9月）

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    flink啥时候出 hadoop3.0版本的呀

    成阳：
    blink内部版本使用hadoop 3.0版本的client，从而能使用到一些yarn 3.x才有功能（比如placement constraint）。
    但如果使用hadoop 3.0特有的api后，会导致flink在低版本的hadoop集群中不能正常运行。
    目前大部分yarn用户还是以hadoop 2.6为主，所以目前blink开源版对于hadoop的依赖是2.6及以上版本的。
    如果flink用户不需要hadoop 3.0特有的api的话，编译flink时用hadoop 2.6版本即可。
    我们已经测试过基于hadoop 2.6.5的flink能够正常运行在hadoop 3.x的集群中。

    踩0 评论0
  • 提交了问题 2019-02-14

    flink啥时候出 hadoop3.0版本的呀

  • 回答了问题 2019-07-17

    用 RocksDBStateBackend 时出现了这个错误

    邱从贤：用 RocksDBStateBackend 时出现了这个错误
    追问：incremental 模式 这个没有，用的是 RocksDBStateBackend 他就是增量哈

           ![4](https://yqfile.alicdn.com/e66112b6d4109a020a299af421eda60a431b7ce0.png)

    邱从贤：那需要看下哪个 task 超时了，然后看下日志找找看为啥超时了
    追问：这个是错误日志，问了问度娘说：因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。 查看了下 dfs.datanode.max.xcievers 为 4096，难道这个值还是小了嘛

         ![5](https://yqfile.alicdn.com/e6d4f6acc722b153e19e9e45c30991404339ed66.png)

    茶干：你这个错误实际上是expire 的checkpoint清理导致的task failover，root cause还是为啥你的checkpoint会超时，相关错误汇报可以参考 FLINK-10615和FLINK-10930

    踩0 评论0
  • 提交了问题 2019-02-14

    用 RocksDBStateBackend 时出现了这个错误

  • 回答了问题 2019-07-17

    yarn运行yarn-session报错，有大神知道吗

    无题：
    你看看 hdfs 那边的日志，我遇到的时候，是虚拟内存太底，导致不成功。

    踩0 评论0
  • 提交了问题 2019-02-14

    yarn运行yarn-session报错，有大神知道吗

  • 回答了问题 2019-07-17

    如图，ture ? false? 是什么意思？

    澄水：
    false表示是撤回消息，true是插入或更新消息，这条query包含agg操作，从93->94需要先把93的结果撤回，然后发送更新结果94
    这控制台的已经是输出数据了，不用你控制

    踩0 评论0
  • 提交了问题 2019-02-14

    如图，ture ? false? 是什么意思？

  • 回答了问题 2019-07-17

    blink使用streaming的runtime实现batch，效率会降低吗？

    在享受到流式处理优势的同时不会以牺牲吞吐位代价，首先checkpoint是增量异步的，overhead比较小对正常数据处理的影响很小，网络层的shuffle是以buffer为单位进行的，相当于micro batch吞吐很好，相比batch模式，下游提前启动了参与拉数据和处理，所以整体性能上会更好，除了资源占用会更多一些

    绝顶：
    可以看一下FFC上蒋晓伟研究员讲的keynote，上面有tpc-ds和spark的对比数据
    https://files.alicdn.com/tpsservice/62fa5ebcd23ea0b8a956f2a06197b57a.pdf

    踩0 评论0
  • 提交了问题 2019-02-14

    blink使用streaming的runtime实现batch，效率会降低吗？

  • 回答了问题 2019-07-17

    有一个作业跑一段时间后总是挂，查nodemanager日志发现是内存不够了，但是堆内存使用情况正常

    智笙：可以把gc日志打出来分析下
    墨简：堆内ok的话 堆外呢 有没有jni直接走malloc，new一类的

    踩0 评论0
  • 提交了问题 2019-02-14

    有一个作业跑一段时间后总是挂，查nodemanager日志发现是内存不够了，但是堆内存使用情况正常

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
滑动查看更多