Quick 引擎-抽取性能提升

简介: 本文介绍了一种通过并发抽取方案提升 Quick BI 数据抽取性能的方法,利用 DataX 进行二次开发,实现数据同步至高性能 OLAP 引擎。通过指定分区键或配置多条 SQL 实现任务拆分,显著减少了数据抽取时间,优化效果得到客户认可。

(一)前言

本文旨在描述如何通过并发抽取的方案提升引擎的数据抽取性能,从而减少任务耗时。


(二)方案

原理

Quick BI 抽取加速,基于开源 DataX 做二次开发,将客户数据源中的数据源同步产品内置高性能 OLAP 引擎中。

配置 DataX 任务时,支持以下两种方案,对数据同步任务进行拆分:


  • 对于单表数据同步,指定分区键(splitPk,  一般是作为主键或索引的整形字段),会根据 splitPk 的值进行任务拆分
  • 对于 SQL 数据同步,允许在同步配置中配置多条 SQL, 达到任务拆分的目的


改造

1.Quick BI 提前探测数据集,提供可以作为 splitPk 的数据集字段供用户选择;

2.根据数据集是否单表,决定任务拆分方式。单表直接在 DataX 同步模板配置 splitPk, 其他模型都由 Quick BI 自动生成多条 SQL。






产品透出






(三)效果

深圳某客户,Presto数据源中有近2000W万行数据,对比支持多线程抽取前后,抽取耗时从 3300秒缩减到1900秒,抹平了和竞品的差距。优化结果获得了客户和前线认可。








相关文章
|
SQL 人工智能 数据挖掘
Quick BI V6.0发布:让人人都能拥有的「超级数据分析师」到底强在哪?
阿里巴巴发布首个数据分析Agent“智能小Q”,集成问数、解读、报告生成与报表搭建能力,基于AI实现一句话获取数据洞察。Quick BI 6.0深度融合AI与BI,升级多源数据接入、自动化分析与协同办公,让企业人人拥有“超级数据分析师”。
|
9月前
|
SQL 存储 人工智能
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
Quick BI 5.5版本应运而生,围绕"AI赋能+全场景提效",助力企业加速释放数据价值。此次升级,不仅让复杂分析"开箱即用",更通过智能工具与场景化能力,助力企业实现从数据洞察到决策落地的全流程闭环。
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
|
7月前
|
人工智能 自然语言处理 数据可视化
聊聊多维表格与BI产品|AI+数据产品的发展趋势
1、Quick BI已于24年支持接入飞书多维表格,多维表格作为轻量级aPaaS工具,擅长数据管理与应用搭建,而BI则专注跨系统深度数据分析与可视化,二者定位不同,优势互补。 2、AI时代,数据应用产品将会朝着低门槛、多场景、更实用的方向发展。
|
25天前
|
安全 应用服务中间件 网络安全
2026年OpenClaw Docker生产环境部署指南:附阿里云1分钟安装OpenClaw+单机架构全流程
2026年,由奥地利开发者Peter Steinberger主导开发的OpenClaw AI执行引擎(曾用名Clawdbot、Moltbot)凭借“从给建议到做事情”的核心能力爆火开源领域,GitHub星标数突破18.6万,成为全球增速最快的开源项目之一。与传统对话式AI不同,OpenClaw定位“本地运行、可自托管的数字员工”,支持接入Claude、GPT、Ollama等主流大模型,兼容钉钉、飞书等十余种通讯渠道,通过技能插件无限扩展能力边界,覆盖办公自动化、代码辅助、跨应用协同等全场景,且基于MIT协议开源,支持免费使用与私有化部署。
2056 1
|
监控 DataX
DataX教程(09)- DataX是如何做到限速的?
DataX教程(09)- DataX是如何做到限速的?
1116 0
DataX教程(09)- DataX是如何做到限速的?
|
存储 算法 C语言
C 408—《数据结构》算法题基础篇—链表(上)
408考研——《数据结构》算法题基础篇之链表(上)。
680 25
|
监控 机器人 数据挖掘

热门文章

最新文章