HStreamDB Newsletter 2022-06|新集群机制、可视化监控、Python 客户端发布…

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 本月,HStreamDB 团队专注于 v0.9 的开发工作,完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并发布了首个可用的 Python 客户端。

本月,HStreamDB 团队专注于 v0.9 的开发工作,目前已经完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并带来了新的 Grafana 监控集成以及正式发布了首个可用的 Python 客户端。另外,还与 EMQX 团队协作完成了 HStreamDB 与 EMQX 的集成。

HServer 采用新的集群机制

目前我们已经初步完成将 HServer 集群机制从基于 ZooKeeper 的中心化方案切换到基于 SWIM[1] 的去中心化方案,其主要目的是为了支持更大的集群和更好的扩展性,同时减少对外部系统的依赖。后续我们将继续对新集群机制进行更多测试和完善,这一特性将在 v0.9 中正式发布。

HStream IO 支持 CDC Source

HStream IO 是 HStreamDB v0.9 即将发布一个内部数据集成框架,包含 source connectors、sink connectors、IO Runtime 等组件,它能够实现 HStreamDB 和多种外部系统的互联互通,从而助力促进数据在整个企业数据栈内的高效流转以及实时价值释放。

本月我们完成了 Embedded IO Runtime 以及多种数据库的 CDC Source Connector 的开发,包括:MySQL、PostgreSQL、SQL Server 等,能够高效实现将这些数据库的数据增量、实时地同步到 HStreamDB。

新增 Grafana 监控集成

为了方便用户运维和管理 HStreamDB 集群,我们新增了基于 Prometheus 和 Grafana 的监控支持,这也是目前业界主流的监控方案。HStreamDB 内部的监控数据会通过 Exporter 存储到 Prometheus,然后通过 Grafana 的面板进行可视化展示,当前效果如下图所示。

关于监控相关的更多内容请参考文档 https://hstream.io/docs/en/latest/monitoring/grafana.html

HStream Grafana.png

Python 客户端正式发布

本月我们正式发布了 HStreamDB 的 Python 客户端 hstreamdb-py https://github.com/hstreamdb/hstreamdb-pyy v0.1.0,支持 HStreamDB v0.8,目前已经具备数据批量写入、订阅消费以及资源管理等核心功能,欢迎大家使用并反馈建议。

相关安装指令可参考 https://pypi.org/project/hstreamdb/ ,更多使用文档参见 https://hstreamdb.github.io/hstreamdb-py/

支持与 EMQX 集成

EMQX 是由 EMQ 开发的全球领先的开源 MQTT 消息服务器,在物联网领域有着广泛应用。本月通过与 EMQX 研发团队合作,我们完成了 EMQX 与 HStreamDB 的高效集成,这将助力用户实现一站式的物联网设备连接、数据接入、持久化存储和实时分析。具体可参考 https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb

[1]:Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In Proceedings International Conference on Dependable Systems and Networks (pp. 303-312). IEEE.

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
2月前
|
数据采集 数据可视化 数据挖掘
基于Python的数据分析与可视化实战
本文将引导读者通过Python进行数据分析和可视化,从基础的数据操作到高级的数据可视化技巧。我们将使用Pandas库处理数据,并利用Matplotlib和Seaborn库创建直观的图表。文章不仅提供代码示例,还将解释每个步骤的重要性和目的,帮助读者理解背后的逻辑。无论你是初学者还是有一定基础的开发者,这篇文章都将为你提供有价值的见解和技能。
209 0
|
15天前
|
数据可视化 编译器 Python
Manim:数学可视化的强大工具 | python小知识
Manim(Manim Community Edition)是由3Blue1Brown的Grant Sanderson开发的数学动画引擎,专为数学和科学可视化设计。它结合了Python的灵活性与LaTeX的精确性,支持多领域的内容展示,能生成清晰、精确的数学动画,广泛应用于教育视频制作。安装简单,入门容易,适合教育工作者和编程爱好者使用。
77 7
|
29天前
|
存储 数据可视化 数据挖掘
使用Python进行数据分析和可视化
本文将引导你理解如何使用Python进行数据分析和可视化。我们将从基础的数据结构开始,逐步深入到数据处理和分析的方法,最后通过实际的代码示例来展示如何创建直观的数据可视化。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和技巧。让我们一起探索数据的世界,发现隐藏在数字背后的故事!
|
1月前
|
UED 开发者 Python
Python中的异常处理机制
Python中的异常处理机制
39 2
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第42天】本文将介绍如何使用Python进行数据分析和可视化。我们将从数据导入、清洗、探索性分析、建模预测,以及结果的可视化展示等方面展开讲解。通过这篇文章,你将了解到Python在数据处理和分析中的强大功能,以及如何利用这些工具来提升你的工作效率。
|
1月前
|
数据可视化 搜索推荐 Shell
Python与Plotly:B站每周必看榜单的可视化解决方案
Python与Plotly:B站每周必看榜单的可视化解决方案
|
2月前
|
Python
Socket学习笔记(二):python通过socket实现客户端到服务器端的图片传输
使用Python的socket库实现客户端到服务器端的图片传输,包括客户端和服务器端的代码实现,以及传输结果的展示。
165 3
Socket学习笔记(二):python通过socket实现客户端到服务器端的图片传输
|
2月前
|
JSON 数据格式 Python
Socket学习笔记(一):python通过socket实现客户端到服务器端的文件传输
本文介绍了如何使用Python的socket模块实现客户端到服务器端的文件传输,包括客户端发送文件信息和内容,服务器端接收并保存文件的完整过程。
174 1
Socket学习笔记(一):python通过socket实现客户端到服务器端的文件传输
|
2月前
|
机器学习/深度学习 数据可视化 Python
Python实用记录(三):通过netron可视化模型
使用Netron工具在Python中可视化神经网络模型,包括安装Netron、创建文件和运行文件的步骤。
48 2
Python实用记录(三):通过netron可视化模型
|
1月前
|
监控 Java 开发者
Python的垃圾收集机制有哪些?
Python的垃圾收集机制有哪些?