新一代数据质量平台datavines

本文涉及的产品
数据可视化DataV,5个大屏 1个月
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: 新一代数据质量平台datavines

在我实习的第一家公司的时候,有幸参与Apache Griffin的开发,也先后在一起其他公司使用过数据质量平台,同时也调研过一些开源的数据质量平台。

最近和朋友一起参与开发了datavines数据质量平台,随着在数据行业越呆越久,我想再聊一聊数据质量,以及 我眼中的开源项目 datavines。

Griffin

优点:开源早,有一些成熟的公司借鉴和使用,核心领域主要在数据质量监控

缺点:部署依赖非常多,ElasticSearch、Hadoop、Livy、Spark等,离线处理主要依赖spark、实时处理主要以将流转成微批,采用Spark Streaming为主,技术栈 java、scala 前端 angular。横向可扩展功能较差、作业容错处理较差。

datavines

优点:核心功能包括:数据质量监控、数据探查、数据对比,功能明细优于 Griffin;部署依赖非常简单,只需要依赖 Mysql 就可以完成任务的调度。支持数据源丰富,横向扩展能力强、支持作业容错处理。

缺点:开源较迟,具有前景

 

Qualitis

优点:微众开源的数据质量平台(因为调研使用不多,所以不展开描述)

缺点:底层执行引擎依赖Linkis


相关实践学习
DataV Board用户界面概览
本实验带领用户熟悉DataV Board这款可视化产品的用户界面
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
相关文章
|
24天前
|
监控 关系型数据库 MySQL
数据治理平台Datavines
【10月更文挑战第20天】随着数据量的增长和数字化转型的推进,数据治理成为关键议题。Datavines是一个开源的数据治理平台,提供数据目录、概览及质量检查等功能,帮助用户全面了解和管理数据,确保数据的准确性和有效性。通过简单的部署和配置,即可快速启动使用,支持数据源配置、质量监控及作业管理等核心功能。
106 10
|
运维 算法 安全
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——4. 特色研发能力
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——4. 特色研发能力
357 1
|
存储 安全
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——一、数据建设与治理的现状与诉求
151 0
|
数据采集 数据安全/隐私保护 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——5. 资产治理:高价值数据,助力企业高质量发展
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——5. 资产治理:高价值数据,助力企业高质量发展
372 0
|
数据采集 存储 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
659 0
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
|
存储 数据中心
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》—— 一、数据建设与治理:用中台方法论治理企业级好数据
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》—— 一、数据建设与治理:用中台方法论治理企业级好数据
376 0
|
运维 资源调度 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(7)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(7)
463 0
|
SQL 数据采集 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)
534 0
|
数据采集 SQL 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)
532 0
|
运维 监控 机器人
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(6)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(6)
482 0