HStreamDB Newsletter 2022-06|新集群机制、可视化监控、Python 客户端发布…

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 本月,HStreamDB 团队专注于 v0.9 的开发工作,完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并发布了首个可用的 Python 客户端。

本月,HStreamDB 团队专注于 v0.9 的开发工作,目前已经完成了 HServer 去中心化集群的切换、HStream IO Embedded Runtime 和 CDC Source Connector 的开发, 并带来了新的 Grafana 监控集成以及正式发布了首个可用的 Python 客户端。另外,还与 EMQX 团队协作完成了 HStreamDB 与 EMQX 的集成。

HServer 采用新的集群机制

目前我们已经初步完成将 HServer 集群机制从基于 ZooKeeper 的中心化方案切换到基于 SWIM[1] 的去中心化方案,其主要目的是为了支持更大的集群和更好的扩展性,同时减少对外部系统的依赖。后续我们将继续对新集群机制进行更多测试和完善,这一特性将在 v0.9 中正式发布。

HStream IO 支持 CDC Source

HStream IO 是 HStreamDB v0.9 即将发布一个内部数据集成框架,包含 source connectors、sink connectors、IO Runtime 等组件,它能够实现 HStreamDB 和多种外部系统的互联互通,从而助力促进数据在整个企业数据栈内的高效流转以及实时价值释放。

本月我们完成了 Embedded IO Runtime 以及多种数据库的 CDC Source Connector 的开发,包括:MySQL、PostgreSQL、SQL Server 等,能够高效实现将这些数据库的数据增量、实时地同步到 HStreamDB。

新增 Grafana 监控集成

为了方便用户运维和管理 HStreamDB 集群,我们新增了基于 Prometheus 和 Grafana 的监控支持,这也是目前业界主流的监控方案。HStreamDB 内部的监控数据会通过 Exporter 存储到 Prometheus,然后通过 Grafana 的面板进行可视化展示,当前效果如下图所示。

关于监控相关的更多内容请参考文档 https://hstream.io/docs/en/latest/monitoring/grafana.html

HStream Grafana.png

Python 客户端正式发布

本月我们正式发布了 HStreamDB 的 Python 客户端 hstreamdb-py https://github.com/hstreamdb/hstreamdb-pyy v0.1.0,支持 HStreamDB v0.8,目前已经具备数据批量写入、订阅消费以及资源管理等核心功能,欢迎大家使用并反馈建议。

相关安装指令可参考 https://pypi.org/project/hstreamdb/ ,更多使用文档参见 https://hstreamdb.github.io/hstreamdb-py/

支持与 EMQX 集成

EMQX 是由 EMQ 开发的全球领先的开源 MQTT 消息服务器,在物联网领域有着广泛应用。本月通过与 EMQX 研发团队合作,我们完成了 EMQX 与 HStreamDB 的高效集成,这将助力用户实现一站式的物联网设备连接、数据接入、持久化存储和实时分析。具体可参考 https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb

[1]:Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In Proceedings International Conference on Dependable Systems and Networks (pp. 303-312). IEEE.

目录
相关文章
|
3月前
|
数据采集 数据可视化 搜索推荐
Python数据分析全流程指南:从数据采集到可视化呈现的实战解析
在数字化转型中,数据分析成为企业决策核心,而Python凭借其强大生态和简洁语法成为首选工具。本文通过实战案例详解数据分析全流程,涵盖数据采集、清洗、探索、建模、可视化及自动化部署,帮助读者掌握从数据到业务价值的完整技能链。
453 0
|
3月前
|
存储 数据可视化 BI
Python可视化应用——学生成绩分布柱状图展示
本程序使用Python读取Excel中的学生成绩数据,统计各分数段人数,并通过Matplotlib库绘制柱状图展示成绩分布。同时计算最高分、最低分及平均分,实现成绩可视化分析。
248 0
|
2月前
|
数据采集 数据可视化 API
驱动业务决策:基于Python的App用户行为分析与可视化方案
驱动业务决策:基于Python的App用户行为分析与可视化方案
|
9月前
|
监控 算法 安全
深度洞察内网监控电脑:基于Python的流量分析算法
在当今数字化环境中,内网监控电脑作为“守城卫士”,通过流量分析算法确保内网安全、稳定运行。基于Python的流量分析算法,利用`scapy`等工具捕获和解析数据包,提取关键信息,区分正常与异常流量。结合机器学习和可视化技术,进一步提升内网监控的精准性和效率,助力企业防范潜在威胁,保障业务顺畅。本文深入探讨了Python在内网监控中的应用,展示了其实战代码及未来发展方向。
|
3月前
|
存储 数据采集 数据可视化
Python自动化分析知网文献:爬取、存储与可视化
Python自动化分析知网文献:爬取、存储与可视化
|
3月前
|
数据采集 存储 监控
Python爬虫自动化:定时监控快手热门话题
Python爬虫自动化:定时监控快手热门话题
|
4月前
|
数据采集 Web App开发 自然语言处理
利用Python构建今日头条搜索结果的可视化图表
利用Python构建今日头条搜索结果的可视化图表
|
4月前
|
测试技术 Python
Python测试报告生成:整合错误截图,重复用例执行策略,调整测试顺序及多断言机制。
如何组织这一切呢?你可以写一本名为“Python测试之道”的动作指南手册,或者创建一个包含测试策略、测试顺序、多断言机制的脚本库。只要你的测试剧本编写得足够独到,你的框架就会像一位执行任务的超级英雄,将任何潜伏于代码深处的错误无情地揪出来展现在光天化日之下。这些整理好的测试结果,不仅有利于团队协作,更像冒险故事中的精彩篇章,带给读者无尽的探索乐趣和深刻的思考。
120 10
|
6月前
|
数据采集 数据可视化 数据挖掘
基于Python的App流量大数据分析与可视化方案
基于Python的App流量大数据分析与可视化方案

推荐镜像

更多