HStreamDB Newsletter 2022-06|新集群机制、可视化监控、Python 客户端发布…

简介: 本月,HStreamDB 团队专注于 v0.9 的开发工作,完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并发布了首个可用的 Python 客户端。

本月,HStreamDB 团队专注于 v0.9 的开发工作,目前已经完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并带来了新的 Grafana 监控集成以及正式发布了首个可用的 Python 客户端。另外,还与 EMQX 团队协作完成了 HStreamDB 与 EMQX 的集成。

HServer 采用新的集群机制

目前我们已经初步完成将 HServer 集群机制从基于 ZooKeeper 的中心化方案切换到基于 SWIM[1] 的去中心化方案,其主要目的是为了支持更大的集群和更好的扩展性,同时减少对外部系统的依赖。后续我们将继续对新集群机制进行更多测试和完善,这一特性将在 v0.9 中正式发布。

HStream IO 支持 CDC Source

HStream IO 是 HStreamDB v0.9 即将发布一个内部数据集成框架,包含 source connectors、sink connectors、IO Runtime 等组件,它能够实现 HStreamDB 和多种外部系统的互联互通,从而助力促进数据在整个企业数据栈内的高效流转以及实时价值释放。

本月我们完成了 Embedded IO Runtime 以及多种数据库的 CDC Source Connector 的开发,包括:MySQL、PostgreSQL、SQL Server 等,能够高效实现将这些数据库的数据增量、实时地同步到 HStreamDB。

新增 Grafana 监控集成

为了方便用户运维和管理 HStreamDB 集群,我们新增了基于 Prometheus 和 Grafana 的监控支持,这也是目前业界主流的监控方案。HStreamDB 内部的监控数据会通过 Exporter 存储到 Prometheus,然后通过 Grafana 的面板进行可视化展示,当前效果如下图所示。

关于监控相关的更多内容请参考文档 https://hstream.io/docs/en/latest/monitoring/grafana.html

HStream Grafana.png

Python 客户端正式发布

本月我们正式发布了 HStreamDB 的 Python 客户端 hstreamdb-py https://github.com/hstreamdb/hstreamdb-pyy v0.1.0,支持 HStreamDB v0.8,目前已经具备数据批量写入、订阅消费以及资源管理等核心功能,欢迎大家使用并反馈建议。

相关安装指令可参考 https://pypi.org/project/hstreamdb/ ,更多使用文档参见 https://hstreamdb.github.io/hstreamdb-py/

支持与 EMQX 集成

EMQX 是由 EMQ 开发的全球领先的开源 MQTT 消息服务器,在物联网领域有着广泛应用。本月通过与 EMQX 研发团队合作,我们完成了 EMQX 与 HStreamDB 的高效集成,这将助力用户实现一站式的物联网设备连接、数据接入、持久化存储和实时分析。具体可参考 https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb

[1]:Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In Proceedings International Conference on Dependable Systems and Networks (pp. 303-312). IEEE.

目录
相关文章
|
5月前
|
存储 监控 算法
监控电脑屏幕的帧数据检索 Python 语言算法
针对监控电脑屏幕场景,本文提出基于哈希表的帧数据高效检索方案。利用时间戳作键,实现O(1)级查询与去重,结合链式地址法支持多条件检索,并通过Python实现插入、查询、删除操作。测试表明,相较传统列表,检索速度提升80%以上,存储减少15%,具备高实时性与可扩展性,适用于大规模屏幕监控系统。
194 5
|
6月前
|
数据可视化 搜索推荐 大数据
基于python大数据的北京旅游可视化及分析系统
本文深入探讨智慧旅游系统的背景、意义及研究现状,分析其在旅游业中的作用与发展潜力,介绍平台架构、技术创新、数据挖掘与服务优化等核心内容,并展示系统实现界面。
|
8月前
|
存储 运维 监控
基于跳表数据结构的局域网上网记录监控时序查询优化算法研究与 Python 实现
本文探讨跳表(Skip List)在局域网上网记录监控中的应用,分析其在快速范围查询、去重与异常检测中的优势,并提供 Python 实现示例,为高效处理海量时序数据提供参考。
173 0
|
6月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
6月前
|
机器学习/深度学习 搜索推荐 数据可视化
基于python大数据的音乐可视化与推荐系统
本研究基于Python实现音乐数据采集、清洗、分析与可视化,并结合协同过滤算法构建个性化推荐系统。通过Echarts展示音乐热度及用户偏好,提升用户体验,助力音乐产业智能化发展。
|
6月前
|
搜索推荐 算法 大数据
基于python大数据的旅游景点可视化与推荐系统
本系统基于大数据与网络技术,构建个性化旅游推荐平台。通过收集用户偏好及行为数据,结合机器学习算法,提供精准的旅游目的地、住宿及交通推荐,旨在优化旅游信息传递,提升用户决策效率与旅行体验。
|
7月前
|
数据采集 数据可视化 API
驱动业务决策:基于Python的App用户行为分析与可视化方案
驱动业务决策:基于Python的App用户行为分析与可视化方案
|
8月前
|
存储 数据采集 数据可视化
Python自动化分析知网文献:爬取、存储与可视化
Python自动化分析知网文献:爬取、存储与可视化

推荐镜像

更多