深度解读|NebulaGraph x 阿里云计算巢,云上构建超大规模图数据库

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 本文是NebulaGraph上架到计算巢的方案介绍,原文请查看:https://mp.weixin.qq.com/s/cj8ah7pfXqMFD74JOkmwow近期,杭州悦数科技有限公司与阿里云计算巢达成合作,NebulaGraph 作为首款图数据库产品正式入驻阿里云计算巢,为用户带来了云端一键部署企业级图数据库集群的全新体验。同时,该服务集成了多款 NebulaGraph 周边可视化图数据库管

本文是NebulaGraph上架到计算巢的方案介绍,原文请查看:https://mp.weixin.qq.com/s/cj8ah7pfXqMFD74JOkmwow

近期,杭州悦数科技有限公司与阿里云计算巢达成合作,NebulaGraph 作为首款图数据库产品正式入驻阿里云计算巢,为用户带来了云端一键部署企业级图数据库集群的全新体验。同时,该服务集成了多款 NebulaGraph 周边可视化图数据库管理工具,让用户在云端也可以快速从数据中获得洞察力。

近年来,图数据库的概念被越来越多的企业反复提及。图(Graph)是一种存储实体,及实体之间关系的数据结构,而图数据库(Graph Database)则是一个使用图数据进行存储,同时使用图结构进行语义查询的数据库。

图数据库能够高效地将关联数据的实体作为顶点(vertex)存储,关系作为边(edge)存储,并允许对这些点边结构进行高性能的检索和查询,也可以为这些点和边添加属性。正因为具有这些特性,才使得图数据库能够以最接近直观认知的形式存储数据,并且能够将这些关系完美地呈现出来。

图数据库的发展趋势

为什么要使用图数据库,而不是关系型数据库?

关系型数据库实现了快速的逐行访问和数据一致性(ACID 事务),但当数据规模变大且数据间关系变得复杂时,使用关系模型检索时需要多个表的属性执行连接操作,数据写入时也需考虑外键约束,从而导致较大的额外开销,对性能有极高的要求。而图数据库则在处理复杂关系上有着天然优势,尤其在海量数据多对多的复杂实体联系场景中有着异常突出的表现,主要体现在性能、灵活性和敏捷性三个方面。

关系数据库 vs 图数据库(多跳查询)

其次,图数据库是基于图模型以一种直观的方式存储和展示这些关系。因为是基于事物关系的模型表达,图因此也具有天然的可解释性。

目前,图数据技术因其在处理海量关联数据时的天然优势和符合人脑直观印象的展示形式正被应用在多个行业的生产环境和业务实践场景中。例如,数据集成(知识图谱)、个性化推荐、欺诈与威胁检测、风险分析与合规、身份(与控制权)验证、IT 基础设施管理、供应链与物流、社交网络研究等,甚至于 AI机器学习、NLP(自然语言处理)、区块链等新兴技术领域,你都可以看到图数据技术的身影。      

上云的趋势在加速,对于弹性能力提出更高要求 

         

根据 Gartner 的预计,云服务一直保持较快的增速和渗透率。大量的商业软件,正在从 10 年前完全私有本地逐步转向基于云服务的商业模式。云服务的一大优点是其提供了近乎无限的弹性能力,这也要求各种基于云基础设施的软件必须有更好的快速弹性扩缩容能力。

在此背景下,分布式图数据库 NebulaGraph 成为了阿里云计算巢上第一家图数据库合作伙伴,与阿里云一起帮助更多企业用户更好地进行低成本、高效率的云上图数据库部署。

“对于数据库产品来说,底层基础设施的稳定性以及安全性对于客户来说至关重要。阿里云是国内领先的云计算提供商,我们看重其稳定的基础设施和安全性,此次与阿里云计算巢的合作,通过计算巢更高效地利用底层资源的弹性扩缩容以及便捷的服务编排等能力,可以使我们的客户放心、省心地使用基于云上的 NebulaGraph 产品。” 

—— NebulaGraph 创始人兼 CEO 叶小萌

什么是云原生图数据库?

云原生,即云上内生的云能力,天然就“生于云,长于云”,基于统一的架构和云原生基础设施,实现多云/混合云解决方案、边云协同等能力。云原生时代下,企业应用数据的方式发生了根本性变化,即基于统一云基础设施的云原生数据库、大数据解决方案,将成为企业数字化转型的数据底座。

传统模式下,企业采购硬件资源,数据库部署在自建 IDC 并由企业监管和运维。企业的开发人员则采用 DevOps 模式或安排 IT 人员来管控数据库。接入业务后要时刻关注数据库集群状态来保障可用性,这对数据库内部实现不太了解的用户来说是个巨大的挑战。而云计算作为技术载体,天然具备跨越时空的优势,云技术正在从单一的计算能力发展为体系化的创新。对于企业来说,“上云”是一个技术选择、是企业数字化的起点,而基于云构建新的生产关系,打造新的业务增长引擎则是一个战略选择。

NebulaGraph 是一个可靠的分布式、线性扩容、性能高效的图数据库,其 Shared Nothing 和存储计算分离的底层架构让它具有了云原生的特征,可以有效降低成本和弹性扩缩容。而云端部署则屏蔽了数据库部署、性能调优、运维等繁杂过程,几分钟内就可以在云上创建一个图数据库,并快速扩展计算、存储等资源。

作为能够容纳海量关联数据并进行毫秒级查询延时的高性能图数据库产品,NebulaGraph 已经被多家行业领先的科技和通信公司应用在反欺诈、风险控制、社区发现等场景,其中某头部互联网公司的 NLP 团队也基于 NebulaGraph 搭建了自己的图数据库平台,目前已经有 60 多条业务线接入使用,在智能助理、搜索召回等业务场景均已落地。

NebulaGraph 在阿里云上部署的架构图

在云上部署 NebulaGraph 的好处

开箱即用:快速部署更方便

由于云厂商提供了统一的基础设施,企业无需自行采购硬件,还可以根据业务的灵活度和资源需求弹性调配云资源,实现快速上线。基于阿里云计算巢提供的 ROS(资源编排),NebulaGraph实现了云上自动化部署,几分钟内即可交付一个图数据库集群,相比传统以天、甚至以周为单位的交付周期,有极大的提升。

其次,NebulaGraph Cloud 支持包年包月与按量付费的灵活付费方式,节省新购设备、自建机房等一次性建设费用,当不再需要的时候可以及时销毁,显著降低了研发成本。为了进一步的优化体验,下一阶段 NebulaGraph 还将结合自身在云上的优化特性和测试结果,陆续推出高性价比的云服务器规格套餐,让用户以更低的价格获得更高的性能,大家不妨也拭目以待一下

高可用性:数据备份更安心

架构高可用

NebulaGraph 集群包含三类服务,即 Query Service、Storage Service 和 Meta Service。

1、Meta Service 采用 Leader/Follower 架构。Leader 由集群中所有的 Meta Service节点选出,然后对外提供服务;Followers 处于待命状态,并从 Leader 复制更新的数据。一旦 Leader 节点 Down 掉,会再选举其中一个 Follower 成为新的 Leader。

2、 Query Service 对应的进程是 nebula-graphd ,它由完全对等、无状态、无关联的计算节点组成,计算节点之间相互无通信。

3、Storage Service 采用 Shared-nothing 的分布式架构设计,共有三层,最底层是 Store Engine,它是一个单机版 Local Store Engine,提供了对本地数据的 get/put/scan/delete 操作,该层定义了数据操作接口,用户可以根据自己的需求定制开发相关 Local Store Plugin。

在 Local Store Engine之上是 Consensus 层,实现了 Multi Group Raft,每一个 Partition 都对应了一组 Raft Group。

数据可靠性

NebulaGraph 数据存储使用阿里云的云盘产品。云盘是阿里云为云服务器 ECS 提供的数据块级别的块存储产品,具有低时延、高性能、持久性、高可靠等特点。云盘采用分布式三副本机制,为 ECS 实例提供极高的数据可靠性保证。

极致弹性:存算分离更可靠

NebulaGraph 采用存储与计算分离的架构。存储计算分离有诸多优势,最直接的优势就是,计算层和存储层可以根据各自的情况弹性扩容、缩容。存储计算分离还带来了另一个优势:使水平扩展成为可能,通过云上极致弹性能力,保障自身扩缩容需要。

NebulaGraph 在集群部署时会创建两个弹性伸缩组,一个对应 Graph 服务,另一个对应 Storage 服务。为了更好的扩缩容体验,我们做了以下考量:

  • 将部分控制权交到用户手里。 如果是 Graph 服务只需要将 ECS 资源按照目标数量弹性伸缩即可,因为 Graph 本身是无状态的;如果是 Storage 服务,我们会在编排页面提供一个控制开关,用于弹性扩容后是否自动平衡数据,因为在业务高峰期时数据搬迁会影响服务稳定性,所以何时去执行 balance 操作可以由用户自己来完成,部署的 Dashboard 工具也支持这个操作。
  • 安全保护策略。 大家都知道数据库服务数据不丢失是第一要素,因此我们对 Storage 伸缩组启用了删除保护开关以防止用户误操作,另外当用户需要缩容时,需要先在 Dashboard 界面找到对应伸缩组管理的 Storage 节点执行数据分片移除操作,等到数据分片清空后才会接受弹性伸缩 lifecycle-hook 请求。

除此之外,阿里云的弹性扩缩容提供了丰富的伸缩规则与定时任务能力,用户可以针对业务波动情况以及应用场景(OLTP 或者 OLAP)动态伸缩 Graph 节点,针对 CPU 平均使用率弹性扩容 Storage 节点

安全可靠:角色身份可溯源

NebulaGraph 支持严格的角色访问控制和 LDAP(Lightweight Directory Access Protocol)等外部认证服务,能够有效提高数据安全性。当客户端连接到 NebulaGraph 时,NebulaGraph 会创建一个会话,会话中存储连接的各种信息,如果开启了身份验证,就会将会话映射到对应的用户。

同时,NebuaGraph 内置角色权限,用户可以把角色分配给创建的用户,从而实现访问控制。

云上部署 NebulaGraph ?

如何在云上部署 NebulaGraph ?

目前,NebulaGraph 与阿里云计算巢正在开展限时免费试用活动,点击文章下方的【阅读原文】即可体验,需要试用的用户登录到阿里云计算巢后,先申请试用权限,填写信息审批通过后,就可以看到一个完全白屏化的服务创建页面。

在引导步骤里填写必须的配置参数,一键提交后等待 5 分钟左右即可体验 NebulaGraph,随后正常使用图数据的各种功能即可,大大降低了用户部署数据库的门槛。

关于如何在阿里云计算巢上快速部署 NebulaGraph,可参考以下视频

欢迎有兴趣的小伙伴直接去阿里云计算巢官网体验 NebulaGraph 服务https://market.aliyun.com/isv-nebulagraph

相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法,快速入门SQL。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
15小时前
|
监控 安全 网络安全
云端之盾:构建云计算环境下的网络安全防线
【5月更文挑战第3天】 在数字化转型的浪潮中,云计算作为企业IT架构的核心,提供了弹性、可扩展的资源和服务。然而,随着数据和应用不断向云端迁移,网络安全威胁也随之增加,给企业带来了前所未有的挑战。本文将探讨在云计算环境下,如何通过综合安全策略和先进技术手段来构建坚固的网络安全防线,确保云服务的安全性和数据的机密性、完整性与可用性。
9 5
|
2天前
|
存储 安全 网络安全
云端防御:构建弹性云计算环境下的网络安全防线
【5月更文挑战第1天】 随着企业纷纷拥抱云计算以提升业务敏捷性和降低成本,云服务的安全威胁也愈发凸显。本文聚焦于如何在动态且复杂的云计算环境中保障数据和应用程序的安全性,探讨了当前主流的云安全策略、挑战及其解决方案。从身份验证到数据加密,再到入侵检测系统,文章深入分析了构建坚固网络防线的关键技术和最佳实践,旨在为读者提供一套全面的云计算安全指南。
|
3天前
|
监控 安全 Cloud Native
云计算架构设计与实施:构建高效、可扩展的云解决方案
【4月更文挑战第30天】本文探讨了云计算架构的关键要素,包括服务模型(IaaS, PaaS, SaaS)、部署模型(公有云、私有云、混合云)及可扩展性、安全性、可靠性和成本效益。实施策略涉及需求分析、选择云服务商、设计基础设施、自动化、监控和灾备计划。最佳实践推荐模块化设计、微服务、DevOps、CI/CD、多租户支持和云原生应用,以确保高效、安全且成本优化的云环境。
|
4天前
|
机器学习/深度学习 数据采集 监控
构建高效机器学习模型的策略与实践云端防御:融合云计算与网络安全的未来策略
【4月更文挑战第29天】 在数据驱动的时代,构建一个高效的机器学习模型对于解决复杂问题至关重要。本文将探讨一系列策略和最佳实践,旨在提高机器学习模型的性能和泛化能力。我们将从数据处理的重要性入手,进而讨论模型选择、训练技巧、超参数调优以及模型评估方法。通过这些策略的实施,读者将能够构建出更加健壮、准确的模型,并有效地避免过拟合和欠拟合问题。
|
4天前
|
安全 网络安全 量子技术
网络安全与信息安全:保护数字世界的锁与钥构建安全防线:云计算环境中的网络安全策略与实践
【4月更文挑战第29天】在数字化时代,数据成为了新的石油,而网络安全则是保护这些宝贵资源的防线。本文深入探讨了网络安全漏洞的成因、加密技术的进展以及提升安全意识的重要性。通过对网络威胁的分析,我们揭示了安全漏洞的本质和它们如何被黑客利用。接着,文章详细解读了现代加密技术,包括对称加密、非对称加密和散列函数,并强调了量子计算对未来加密的潜在影响。最后,通过教育和技术实践的建议,我们强调了培养全民网络安全意识的必要性。 【4月更文挑战第29天】 在数字化转型的浪潮中,云计算作为支撑企业敏捷性与效率的关键基础设施,其安全性受到了前所未有的关注。本文深入探讨了云计算环境下所面临的独特安全挑战,并提出
|
5天前
|
云安全 安全 网络安全
构建安全防线:云计算环境中的网络安全与信息保护
【4月更文挑战第28天】 随着企业和个人日益依赖云服务,云计算的安全性已成为一个不可忽视的挑战。本文深入探讨了云计算平台中的网络安全和信息保护策略,包括最新的加密技术、身份验证协议以及入侵检测系统。通过对现有安全框架的分析,提出了一系列创新的安全措施,旨在提高数据保密性、完整性和可用性。文章还讨论了未来云计算安全研究的潜在方向,为云服务提供商和用户之间的信任建立提供了新的视角。
|
5天前
|
消息中间件 运维 Serverless
Serverless 应用引擎产品使用之在阿里云函数计算FC中,函数的执行时间是根据实例的存活时间进行计算如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
24 0
|
7天前
|
监控 安全 网络安全
云计算与网络安全:构建可信赖的云服务体系
【4月更文挑战第26天】 在数字化进程加速的当下,云计算作为支撑企业和个人数据处理的核心架构,其安全性受到前所未有的关注。本文深入探讨了云计算环境中的网络安全和信息保护机制,分析了当前云服务面临的主要安全挑战,并提出了相应的策略和技术解决方案。文中不仅涵盖了云服务的基本概念和分类,还详细论述了包括加密技术、身份验证、访问控制以及入侵检测等在内的多层次安全措施。此外,文章还对如何建立有效的安全治理框架提供了见解,旨在为读者提供一个全面而深入的视角,以理解和应对云计算环境下的网络安全问题。
16 2
|
8天前
|
云安全 安全 网络安全
云端防御战线:构建云计算环境下的网络安全体系
【4月更文挑战第25天】 随着企业数字化转型的加速,云计算以其灵活性、成本效益和可扩展性成为众多组织的首选技术平台。然而,云服务的广泛采用也带来了前所未有的安全挑战,特别是在数据保护、隐私合规以及网络攻击防护等方面。本文将深入探讨云计算环境中的网络安全策略,从云服务模型出发,分析不同服务层次的安全责任划分,并针对网络威胁提出综合性的防御措施。此外,文中还将讨论信息加密、身份验证、入侵检测等关键技术在维护云安全中的作用,以期为读者提供一套全面的云安全解决方案框架。
|
8天前
|
监控 安全 网络安全
构建安全防线:云计算环境下的网络安全策略与实践
【4月更文挑战第25天】随着企业数字化转型的深入,云计算已成为支撑现代业务架构的关键平台。然而,云服务的广泛采用同时带来了前所未有的安全挑战。本文针对云计算环境中的网络安全问题进行探讨,分析了云服务模型中存在的安全风险,并提出了一系列切实可行的安全策略和措施。这些策略不仅涵盖了数据加密、访问控制、入侵检测等传统安全领域,还包括了合规性评估、安全态势感知、以及应急响应机制等新兴话题。通过综合运用这些策略,旨在帮助组织在享受云计算带来的便利和灵活性的同时,有效防范潜在的网络威胁,确保信息安全。
13 3