Quick 引擎-抽取性能提升

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: 本文介绍了一种通过并发抽取方案提升 Quick BI 数据抽取性能的方法,利用 DataX 进行二次开发,实现数据同步至高性能 OLAP 引擎。通过指定分区键或配置多条 SQL 实现任务拆分,显著减少了数据抽取时间,优化效果得到客户认可。

(一)前言

本文旨在描述如何通过并发抽取的方案提升引擎的数据抽取性能,从而减少任务耗时。


(二)方案

原理

Quick BI 抽取加速,基于开源 DataX 做二次开发,将客户数据源中的数据源同步产品内置高性能 OLAP 引擎中。

配置 DataX 任务时,支持以下两种方案,对数据同步任务进行拆分:


  • 对于单表数据同步,指定分区键(splitPk,  一般是作为主键或索引的整形字段),会根据 splitPk 的值进行任务拆分
  • 对于 SQL 数据同步,允许在同步配置中配置多条 SQL, 达到任务拆分的目的


改造

1.Quick BI 提前探测数据集,提供可以作为 splitPk 的数据集字段供用户选择;

2.根据数据集是否单表,决定任务拆分方式。单表直接在 DataX 同步模板配置 splitPk, 其他模型都由 Quick BI 自动生成多条 SQL。






产品透出






(三)效果

深圳某客户,Presto数据源中有近2000W万行数据,对比支持多线程抽取前后,抽取耗时从 3300秒缩减到1900秒,抹平了和竞品的差距。优化结果获得了客户和前线认可。








相关文章
|
SQL 人工智能 数据挖掘
Quick BI V6.0发布:让人人都能拥有的「超级数据分析师」到底强在哪?
阿里巴巴发布首个数据分析Agent“智能小Q”,集成问数、解读、报告生成与报表搭建能力,基于AI实现一句话获取数据洞察。Quick BI 6.0深度融合AI与BI,升级多源数据接入、自动化分析与协同办公,让企业人人拥有“超级数据分析师”。
|
11月前
|
SQL 存储 人工智能
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
Quick BI 5.5版本应运而生,围绕"AI赋能+全场景提效",助力企业加速释放数据价值。此次升级,不仅让复杂分析"开箱即用",更通过智能工具与场景化能力,助力企业实现从数据洞察到决策落地的全流程闭环。
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
|
9月前
|
人工智能 自然语言处理 数据可视化
聊聊多维表格与BI产品|AI+数据产品的发展趋势
1、Quick BI已于24年支持接入飞书多维表格,多维表格作为轻量级aPaaS工具,擅长数据管理与应用搭建,而BI则专注跨系统深度数据分析与可视化,二者定位不同,优势互补。 2、AI时代,数据应用产品将会朝着低门槛、多场景、更实用的方向发展。
|
监控 DataX
DataX教程(09)- DataX是如何做到限速的?
DataX教程(09)- DataX是如何做到限速的?
1150 0
DataX教程(09)- DataX是如何做到限速的?
|
9月前
|
数据采集 人工智能 自然语言处理
让AI读懂代码需求:模块化大模型微调助力高效代码理解与迁移
本文介绍了一种解决开源项目代码升级中“用户需求关联相应代码”难题的创新方法。面对传统Code RAG和Code Agent在召回率、准确率和稳定性上的不足,以及领域“黑话”和代码风格差异带来的挑战,作者团队提出并实践了一套以大模型微调(SFT)为核心的解决方案。
1298 21
|
缓存 监控 数据挖掘
亿级数据如何实现秒级响应?
本文详细介绍了瓴羊Quick BI的性能架构、性能工具和性能保障,旨在帮助企业更好地理解和使用这一商业智能工具。文章首先概述了BI产品在企业中的重要性,随后深入探讨了Quick BI的性能架构,包括应用架构、分析引擎和渲染引擎,以及其优势和测试效果。接着,文章介绍了性能工具,包括性能分析和性能诊断,帮助用户精准诊断和优化性能瓶颈。最后,文章阐述了性能保障措施,如线上监控、版本巡检和定期报告,确保系统的稳定性和高效运行。通过这些设计,Quick BI能够满足企业在不同场景下的性能需求,提升数据分析效率和决策能力。
570 3
|
运维 监控 数据可视化
产品测评 | 大模型时代下全场景数据消费平台的智能BI—Quick BI深度解析
Quick BI是阿里云旗下的全场景数据消费平台,助力企业实现数据驱动决策。用户可通过连接多种数据源(如本地文件、数据库等)进行数据分析,并借助智能小Q助手以对话形式查询数据或搭建报表。平台支持数据可视化、模板快速构建视图等功能,但目前存在不支持JSON格式文件、部分功能灵活性不足等问题。整体而言,Quick BI在数据分析与展示上表现出强大能力,适合业务类数据处理,未来可在智能化及运维场景支持上进一步优化。
|
数据采集 机器学习/深度学习 数据挖掘
清洗数据的魔法:让你的数据干净又整洁
清洗数据的魔法:让你的数据干净又整洁
1088 2
|
安全 数据挖掘 BI
欢迎使用Quick BI,开启您的智能数据分析之旅!
欢迎选择Quick BI作为您的数据分析伙伴!本文将为您介绍一个月全功能免费试用教程,帮助您轻松上手。请确保在PC环境下操作。
1156 6