Apache Linkis 数据可视化实践

简介: Apache Linkis 数据可视化实践

个人介绍

大数据架构,CSDN博客专家,Apache Linkis committer。

背景

数据可视化(Data Visualization)是一种将数据以图形或图像形式展现的技术。通过使用数据可视化,用户可以更直观地理解数据中的模式、趋势和关联。数据可视化将复杂的数据集转换为易于理解的视觉表示,帮助人们更快地洞察数据的价值。数据可视化的目标是简化数据分析,提高决策质量,并提升数据故事的讲述能力。

Apache Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。我这边以Apache Linkis 为计算底座,用Apache Doris 引擎 ,上层为(SolidUI)数据可视化工具。

功能

业务

背景思想

交互思想是,视觉预览参考PPT,图层皆为幻灯片,设计交互思想参考PS,配置模块化。
一个开源产品是建立在三维数据基础上集简洁化支持2D,3D体验,与多种计算结合(cpu/gpu)

功能清单

  • 2D图例
  • 3D场景
  • OLAP
  • AI绘画
  • 容器化

实现

架构

image.png

UI

  • 编辑器整体布局分为五个区域:图层/页面(Layer/Page),当前设计页面的组件列表区(SolidView List),SolidEditor编辑区(中间),组件配置区域(Configuration),组件选择区域(SolidViews Select List)。
  • 图层/页面(Layer/Page):图层主要是配置场景,页面UI层是配置设计自己的组件。
  • 组件列表区:方便选择要配置的组件,对组件做删除,锁定等管理操作。
  • SolidEditor编辑区:作为一个高内聚的组件,对外通过 EventBus 来完成事件的订阅、发布。组件内部由 RulerGuides、InfiniteView、Moveable、Selecto、Viewport 来搭配完成整个编辑区域的交互、操作逻辑。
  • 配置区域:对选中的 SolidView 做所见即所得的样式、数据源、事件交互等配置。
  • 组件选择区域:在顶部提供一个选择放置各个组件的按钮区域。

服务端

  • SolidUI-API 提供API接口,实现业务逻辑。
  • SolidUI-Plugin 根据不同的任务类型,数据源类型,分发到不同的插件执行任务。
  • Apache Linkis 计算中间件
  • Apache Doris 引擎,提供最终执行OlAP
  • JDBC Apache Linkis 提供引擎协议。

设计页面

image.png

小结

SolidUI 放到GitHub上了,正在开发中,感兴趣的朋友关注下。

工具清单

https://github.com/CloudOrc/SolidUI
https://github.com/apache/linkis
https://github.com/apache/doris

目录
相关文章
|
3月前
|
消息中间件 存储 大数据
快手基于Apache Hudi的实践
快手基于Apache Hudi的实践
42 0
|
2月前
|
存储 SQL BI
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
|
1月前
|
SQL 存储 关系型数据库
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
数字化转型的浪潮中,高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库,实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提升 3 倍,为智能化、高效化转型指明了方向。
计算效率提升 30 倍、存储资源节省 90%,雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
|
1月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
IoTDB是专为物联网(IoT)设计的开源时间序列数据库,提供数据收集、存储、管理和分析。它支持高效的数据写入、查询,适用于处理大规模物联网数据,包括流数据、时间序列等。IoTDB采用轻量级架构,可与Hadoop和Spark集成,支持多种存储策略,确保数据安全和高可用性。此外,它还具有InfluxDB协议适配器,允许无缝迁移和兼容InfluxDB的API和查询语法,简化物联网项目的数据管理。随着物联网设备数量的快速增长,选择适合的数据库如IoTDB对于数据管理和分析至关重要。
77 12
|
21天前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
The article introduces IoTDB, an open-source time-series database designed for efficient management of IoT-generated data. It addresses challenges like real-time integration of massive datasets and security. IoTDB supports high-performance storage,
67 0
Apache IoTDB进行IoT相关开发实践
|
4天前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
31 0
|
2月前
|
存储 运维 OLAP
抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。
抖音集团基于 SelectDB 内核 Apache Doris 的实时数据仓库实践
|
2月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
IoTDB是面向物联网的时序数据库,专注于时间序列数据管理,提供高效的数据处理、集成Hadoop和Spark生态、支持多目录存储策略。它还具有InfluxDB协议适配器,允许无缝迁移原本使用InfluxDB的业务。文章讨论了IoTDB的体系结构,包括数据文件、系统文件和预写日志文件的存储策略,并介绍了如何配置数据存储目录。此外,还提及了InfluxDB版本和查询语法的支持情况。IoTDB在物联网数据管理和分析中扮演关键角色,尤其适合处理大规模实时数据。
55 5
|
2月前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
物联网技术带来数据库管理挑战,特别是实时数据整合与安全性。IoTDB是一个专为时间序列数据设计的数据库,提供数据收集、存储和分析服务,适用于海量物联网数据。其架构包括数据文件、系统文件和预写日志文件的管理,并支持多目录存储策略。此外,IoTDB还开发了InfluxDB协议适配器,使得用户能无缝迁移原有InfluxDB业务。此适配器基于IoTDB的Java服务接口,转换InfluxDB的元数据格式,实现与IoTDB的数据交互。目前,适配器支持InfluxDB 1.x版本及部分查询语法。
128 5
|
2月前
|
存储 大数据 分布式数据库
使用Apache HBase进行大数据存储:技术解析与实践
【6月更文挑战第7天】Apache HBase,一个基于HDFS的列式存储NoSQL数据库,提供高可靠、高性能的大数据存储。其特点是列式存储、可扩展至PB级数据、低延迟读写及多版本控制。适用场景包括大规模数据存储、实时分析、日志存储和推荐系统。实践包括集群环境搭建、数据模型设计、导入、查询及性能优化。HBase在大数据存储领域扮演关键角色,未来有望在更多领域发挥作用。

推荐镜像

更多