开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

离线写入与查询有哪些潜在问题?

离线写入与查询有哪些潜在问题?

展开
收起
Medusa 2021-11-12 16:15:20 285 0
1 条回答
写回答
取消 提交回答
  • 首先是统计信息缺失。Hologres 本身是一个分布式引擎,它要把用户写的 SQL 运行在分布式引擎上,因此需要去优化器生成一个执行计划,优化器需要统计信息来帮助它生成一个比较好的执行计划。 当遇到用户统计信息缺失,优化器相当于丧失了输入,无法生成执行计划,这是我们在线上遇到最大也是最多的一个问题。

    第二个很大的问题是建表不优,当遇到建表跟查询不一致的情况,就会导致整个查询的性能非常差。 除此之外,Hologres 是一个自研的引擎,但是为了兼容 Postgres 的开源生态,所以会有一个联邦查询的机制,使得用户能在 Postgres 运行的 Query 也能在 Hologres 运行,但是它会带来一些额外的性能损失。

    资料来源:《实时数仓“王炸组合”-实时计算》,下载链接:https://developer.aliyun.com/topic/download?id=7944

    2021-11-12 18:34:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
FLINK在大规模实时无效广告流量检测中的应用 立即下载
百度大规模时序指标自动异常检测实战 立即下载
360病毒样本大规模异构实时扫描平台 立即下载