个人头像照片
开发者小助手_LS
已加入开发者社区395
勋章 更多
成就
已发布283篇文章
21条评论
已回答628个问题
0条评论
github地址
我关注的人 更多
粉丝 更多
游客a6kssddbk774a
游客a6kssddbk774a
游客fu4f46dgxcdfw
游客fu4f46dgxcdfw
游客z3sf3q2rrstwu
游客z3sf3q2rrstwu
技术能力
兴趣领域
擅长领域
技术认证

暂时未有相关云产品技术能力~

暂无个人介绍
  • 精选
  • 高分内容
  • 最新动态
  • 文章
  • 问答
暂无精选文章
正在加载, 请稍后...
滑动查看更多

2021年12月

  • 12.02 21:44:37
    发表了文章 2021-12-02 21:44:37

    云原生数据仓库AnalyticDB支撑双11,大幅提升分析实时性和用户体验

    云原生数据仓库AnalyticDB支撑双11,大幅提升分析实时性和用户体验
  • 12.01 18:06:37
    发表了文章 2021-12-01 18:06:37

    开源微服务编排框架:Netflix Conductor

    开源微服务编排框架:Netflix Conductor

2021年11月

  • 11.30 17:27:31
    发表了文章 2021-11-30 17:27:31

    并发场景下的幂等问题——分布式锁详解

    并发场景下的幂等问题——分布式锁详解
  • 11.30 13:52:21
    发表了文章 2021-11-30 13:52:21

    双11实时物流订单最佳实践

    双11实时物流订单最佳实践
  • 11.26 16:56:24
    发表了文章 2021-11-26 16:56:24

    一文理解 K8s 容器网络虚拟化

    一文理解 K8s 容器网络虚拟化
  • 11.26 16:42:09
    发表了文章 2021-11-26 16:42:09

    零信任策略下云上安全信息与事件管理最佳实践

    零信任策略下云上安全信息与事件管理最佳实践
正在加载, 请稍后...
滑动查看更多
  • 发表了文章 2021-12-02

    云原生数据仓库AnalyticDB支撑双11,大幅提升分析实时性和用户体验

  • 发表了文章 2021-12-01

    开源微服务编排框架:Netflix Conductor

  • 发表了文章 2021-11-30

    并发场景下的幂等问题——分布式锁详解

  • 发表了文章 2021-11-30

    双11实时物流订单最佳实践

  • 发表了文章 2021-11-26

    一文理解 K8s 容器网络虚拟化

  • 发表了文章 2021-11-26

    零信任策略下云上安全信息与事件管理最佳实践

  • 发表了文章 2021-11-24

    打通JAVA与内核系列之一ReentrantLock锁的实现原理

  • 发表了文章 2021-11-23

    代理网关设计与实现(基于NETTY)

  • 发表了文章 2021-11-23

    重拾面向对象软件设计

  • 发表了文章 2021-11-19

    基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现

  • 发表了文章 2021-11-18

    阿里可观测性数据引擎的技术实践

  • 发表了文章 2021-11-17

    阿里巴巴集团首席技术官程立:未来12年 科技从更高到更好

  • 发表了文章 2021-11-16

    Kubernetes 入门教程

  • 发表了文章 2021-11-15

    Spring Cloud Gateway一次请求调用源码解析

  • 发表了文章 2021-11-15

    函数计算GB镜像秒级启动:下一代软硬件架构协同优化揭秘

  • 发表了文章 2021-11-12

    从更高到更好 揭秘2021阿里双11背后的技术亮点

  • 发表了文章 2021-11-11

    今年双11,阿里业务100%上云!

  • 发表了文章 2021-11-09

    一种命令行解析的新思路(Go 语言描述)

  • 发表了文章 2021-11-08

    庖丁解InnoDB之UNDO LOG

  • 发表了文章 2021-11-05

    并发编程实践之公平有界阻塞队列实现

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2021-11-24

    《Apache Flink-实时计算正当时》介绍了哪些内容?

    本书主要介绍了Apache Flink技术与时间精解,下载链接:https://developer.aliyun.com/topic/download?id=7884

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg 的文件组织格式是什么?

    从上往下看,最上层是snapshot模块,其次是manifest,第三层是DataFiles。

    踩0 评论0
  • 回答了问题 2021-11-24

    《Apache Flink-实时计算正当时》在哪里下载?

    这本电子书收录开发者藏经阁,下载连接:https://developer.aliyun.com/topic/download?id=7884

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg 的snapshot模块有什么作用?

    Iceberg 里面的 snapshot 是一个用户可读取的基本 的数据单位,也就是说用户每次读取一张表里面的所有数据,都是一个 snapshot 下的数据。

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg 的manifest如何组成?

    一个 snapshot 下面会有多个 manifest,如图 snapshot-0 有两个 manifest,而 snapshot-1 有三个 manifest,每个 manifest 下面会管理一个至 多个 DataFiles 文件。

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg 的当前时刻新增的数据如何获取?

    可以根据 Iceberg 的 snapshot 的回溯机制,仅读取 snapshot1 到 snapshot2 的增量数据。

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg commit 操作的时间周期设成多少比较合适?

    为了要保证数据的时效性,一般会把Iceberg commit 操作的时间周期设成 30 秒或者是一分钟。

    踩0 评论0
  • 回答了问题 2021-11-24

    为何说Iceberg 是一个优秀的表格式?

    既支持 Streaming reader, 又可以支持 Streaming sink.

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg 替换 Kafka 的优势主要包括?

    实现存储层的流批统一,完美支持高效回溯,中间层支持 OLAP 分析,存储成本降低。

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg 替换 Kafka 的缺陷是什么?

    数据延迟从实时变成近实时,对接其他数据系统需要额外开发工作。

    踩0 评论0
  • 回答了问题 2021-11-24

    Iceberg如何实现数据湖加速?

    未来在 Iceberg 底层支持 Alluxio 这样一个缓存,借助于缓存的能力可以实现数据湖的加速。

    踩0 评论0
  • 回答了问题 2021-11-24

    如何在Iceberg里面进行实时小文件合并?

    在 table properties 里面可以设置一些小文件合并的参数。

    踩0 评论0
  • 回答了问题 2021-11-24

    Flink SQL 适合的场景?

    状态值不能太大,最好不要超过 1G。ETL、数据转发等非常适合。

    踩0 评论0
  • 回答了问题 2021-11-24

    什么是 Flink SQL CDC Connectors ?

    Flink CDC Connectors 是ApacheFlink 的一组源连接器,是可以从MySQL、 PostgreSQL 数据直接读取全量数据和增量数据的 Source Connectors。

    踩0 评论0
  • 回答了问题 2021-11-24

    Flink CDC connectors 替换 Debezium+Kafka 的数据采集模块, 实现

    开箱即用,简单易上手;减少维护的组件,简化实时链路,减轻部署成本;减小端到端延迟;Flink 自身支持 Exactly Once 的读取和计算 数据不落地,减少存储成本 支持全量和增量流式读取;binlog 采集位点可回溯。

    踩0 评论0
  • 回答了问题 2021-11-17

    当有任务出现错误时,JobMaster 的解决步骤有那几步?

    • 第一步,停止相关任务,包括出错失败任务和可能受其影响任务,失败任务可能已经是FAILED的,然后其它受影响任务会被Cancel最终进到Canceled状态;
    • 第二步,重置任务回 Created 状态;
    • 第三步,通知调度策略重新调度这些任务。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    踩0 评论0
  • 回答了问题 2021-11-17

    当任务出错,谁来决定哪些任务会受到影响?

    哪些任务会受到影响是由出错恢复策略(FailoverStrategy)来决定的。

    踩0 评论0
  • 回答了问题 2021-11-17

    当任务出错,出错恢复策略如何解决问题?

    目前 Flink 默认的 FailoverStrategy 是 RestartPipelinedRegionFailoverStrategy。采用了这个策略后,如果一个 Task 失败了就会重启它所在的 region。这其实跟 Pipelined 数据交换有关系。在 Pipelined 数据交换的节点之间,如果任意一个节点失败了,其相关联的其它节点也会跟着失败。这是为了防止出现数据的不一致。因此为了避免单个 Task 导致多次 Failover,一般的操作是在收到第一个Task failed 时,就把其他的一起 cancel 掉,再一起重启。

    RestartPipelinedRegion 策略除了重启失败任务所在的 Region 外,还会重启它的下游Region 。 原因是任务的产出很多时候是非确定性的,比如说一个record,分发到下游的第一个并发,重跑一次;分发到下游的第二个并发时,一旦这两个下游在不同 region 中,就可能会导致 record 丢失,甚至产生不一样的数据。为了避免这种情况,采用PipelinedRegionFailoverStrategy 会重启失败任务所在的Region 以及它的所有的下游 Region。

    还有一个 RestartAllFailoverStrategy 策略,它会在任意 Task fail 的时候,重启作业中的所有任务。一般情况,这个策略并不被经常用到,但是在一些特殊情况下,比如当任务失败,用户不希望局部运行而是希望所有任务都结束并整体进行恢复,可以用这个策略。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    踩0 评论0
  • 回答了问题 2021-11-17

    TaskExecutor 是什么意思?

    TaskExecutor 是任务运行器的意思,为了运行任务它具有各种各样的资源,如图示。所有内存资源都是可以单独配置的。

    14.png

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    踩0 评论0
  • 回答了问题 2021-11-17

    任务运行器中的Memory资源有几种,分别是做什么的?

    有Process Memory、Task Heap Memory、Task Off-Heap Memory、Netork Memory 等等。

    TaskManager 也对它们的配置进行了分层的管理,最外层是 Process Memory,对应的是整个 TaskExecutor JVM 的总资源。这份内存又包含了 JVM 自身占有的内存以及 Flink 占有内存。而 Flink 占用内存又包含了框架占有的内存和任务的内存。

    任务占用内存包括了 Task Heap Memory,即任务的 Java 对象占有的内存;Task Off-Heap Memory 一般用于 native 的第三方库;Network Memory 是用来创建Network Buffer 用来服务于任务的输入和输出; Managed Memory 则是受管控的Off-Heap Memory,它会被一些组件用到,比如算子和 StateBackend。这些 Task资源会被它分成一个一个的 Slot,Slot 是任务运行的逻辑容器。当前,Slot 大小是直接把 整个 TasExecutor 的资源,按照 Slot 的数量进行均分得到的。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    踩0 评论0
正在加载, 请稍后...
滑动查看更多