HStreamDB Newsletter 2022-06|新集群机制、可视化监控、Python 客户端发布…

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 本月,HStreamDB 团队专注于 v0.9 的开发工作,完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并发布了首个可用的 Python 客户端。

本月,HStreamDB 团队专注于 v0.9 的开发工作,目前已经完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并带来了新的 Grafana 监控集成以及正式发布了首个可用的 Python 客户端。另外,还与 EMQX 团队协作完成了 HStreamDB 与 EMQX 的集成。

HServer 采用新的集群机制

目前我们已经初步完成将 HServer 集群机制从基于 ZooKeeper 的中心化方案切换到基于 SWIM[1] 的去中心化方案,其主要目的是为了支持更大的集群和更好的扩展性,同时减少对外部系统的依赖。后续我们将继续对新集群机制进行更多测试和完善,这一特性将在 v0.9 中正式发布。

HStream IO 支持 CDC Source

HStream IO 是 HStreamDB v0.9 即将发布一个内部数据集成框架,包含 source connectors、sink connectors、IO Runtime 等组件,它能够实现 HStreamDB 和多种外部系统的互联互通,从而助力促进数据在整个企业数据栈内的高效流转以及实时价值释放。

本月我们完成了 Embedded IO Runtime 以及多种数据库的 CDC Source Connector 的开发,包括:MySQL、PostgreSQL、SQL Server 等,能够高效实现将这些数据库的数据增量、实时地同步到 HStreamDB。

新增 Grafana 监控集成

为了方便用户运维和管理 HStreamDB 集群,我们新增了基于 Prometheus 和 Grafana 的监控支持,这也是目前业界主流的监控方案。HStreamDB 内部的监控数据会通过 Exporter 存储到 Prometheus,然后通过 Grafana 的面板进行可视化展示,当前效果如下图所示。

关于监控相关的更多内容请参考文档 https://hstream.io/docs/en/latest/monitoring/grafana.html

HStream Grafana.png

Python 客户端正式发布

本月我们正式发布了 HStreamDB 的 Python 客户端 hstreamdb-py https://github.com/hstreamdb/hstreamdb-pyy v0.1.0,支持 HStreamDB v0.8,目前已经具备数据批量写入、订阅消费以及资源管理等核心功能,欢迎大家使用并反馈建议。

相关安装指令可参考 https://pypi.org/project/hstreamdb/ ,更多使用文档参见 https://hstreamdb.github.io/hstreamdb-py/

支持与 EMQX 集成

EMQX 是由 EMQ 开发的全球领先的开源 MQTT 消息服务器,在物联网领域有着广泛应用。本月通过与 EMQX 研发团队合作,我们完成了 EMQX 与 HStreamDB 的高效集成,这将助力用户实现一站式的物联网设备连接、数据接入、持久化存储和实时分析。具体可参考 https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb

[1]:Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In Proceedings International Conference on Dependable Systems and Networks (pp. 303-312). IEEE.

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
目录
相关文章
|
25天前
|
监控 算法 安全
深度洞察内网监控电脑:基于Python的流量分析算法
在当今数字化环境中,内网监控电脑作为“守城卫士”,通过流量分析算法确保内网安全、稳定运行。基于Python的流量分析算法,利用`scapy`等工具捕获和解析数据包,提取关键信息,区分正常与异常流量。结合机器学习和可视化技术,进一步提升内网监控的精准性和效率,助力企业防范潜在威胁,保障业务顺畅。本文深入探讨了Python在内网监控中的应用,展示了其实战代码及未来发展方向。
|
16天前
|
并行计算 安全 Java
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
在Python开发中,GIL(全局解释器锁)一直备受关注。本文基于CPython解释器,探讨GIL的技术本质及其对程序性能的影响。GIL确保同一时刻只有一个线程执行代码,以保护内存管理的安全性,但也限制了多线程并行计算的效率。文章分析了GIL的必要性、局限性,并介绍了多进程、异步编程等替代方案。尽管Python 3.13计划移除GIL,但该特性至少要到2028年才会默认禁用,因此理解GIL仍至关重要。
84 16
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
|
27天前
|
缓存 JSON 数据处理
Python进阶:深入理解import机制与importlib的妙用
本文深入解析了Python的`import`机制及其背后的原理,涵盖基本用法、模块缓存、导入搜索路径和导入钩子等内容。通过理解这些机制,开发者可以优化模块加载速度并确保代码的一致性。文章还介绍了`importlib`的强大功能,如动态模块导入、实现插件系统及重新加载模块,展示了如何利用这些特性编写更加灵活和高效的代码。掌握这些知识有助于提升编程技能,充分利用Python的强大功能。
28 4
|
2月前
|
存储 运维 监控
探索局域网电脑监控软件:Python算法与数据结构的巧妙结合
在数字化时代,局域网电脑监控软件成为企业管理和IT运维的重要工具,确保数据安全和网络稳定。本文探讨其背后的关键技术——Python中的算法与数据结构,如字典用于高效存储设备信息,以及数据收集、异常检测和聚合算法提升监控效率。通过Python代码示例,展示了如何实现基本监控功能,帮助读者理解其工作原理并激发技术兴趣。
68 20
|
2月前
|
数据可视化 编译器 Python
Manim:数学可视化的强大工具 | python小知识
Manim(Manim Community Edition)是由3Blue1Brown的Grant Sanderson开发的数学动画引擎,专为数学和科学可视化设计。它结合了Python的灵活性与LaTeX的精确性,支持多领域的内容展示,能生成清晰、精确的数学动画,广泛应用于教育视频制作。安装简单,入门容易,适合教育工作者和编程爱好者使用。
558 7
|
3月前
|
存储 数据可视化 数据挖掘
使用Python进行数据分析和可视化
本文将引导你理解如何使用Python进行数据分析和可视化。我们将从基础的数据结构开始,逐步深入到数据处理和分析的方法,最后通过实际的代码示例来展示如何创建直观的数据可视化。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和技巧。让我们一起探索数据的世界,发现隐藏在数字背后的故事!
145 5
|
3月前
|
UED 开发者 Python
Python中的异常处理机制
Python中的异常处理机制
59 2
|
3月前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第42天】本文将介绍如何使用Python进行数据分析和可视化。我们将从数据导入、清洗、探索性分析、建模预测,以及结果的可视化展示等方面展开讲解。通过这篇文章,你将了解到Python在数据处理和分析中的强大功能,以及如何利用这些工具来提升你的工作效率。
|
3月前
|
数据可视化 搜索推荐 Shell
Python与Plotly:B站每周必看榜单的可视化解决方案
Python与Plotly:B站每周必看榜单的可视化解决方案
|
3月前
|
数据采集 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第33天】本文将介绍如何使用Python编程语言进行数据分析和可视化。我们将从数据清洗开始,然后进行数据探索性分析,最后使用matplotlib和seaborn库进行数据可视化。通过阅读本文,你将学会如何运用Python进行数据处理和可视化展示。

热门文章

最新文章