图数据库GDB数据导入简介的方法有几种?

本文涉及的产品
对象存储 OSS,20GB 3个月
简介: GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。
+关注继续查看

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。

1. 从阿里云OSS(CSV)导入数据

GDB服务端集成有数据导入模块,可以拉取用户提供的CSV格式的OSS数据文件,解析成图的点和边数据,再写入GDB实例,以下图例概述了主要过程:
image

主要包含以下步骤:

1.将需要导入的数据转换成csv格式,点和边分开在不同的文件
2.复制点和边数据文件到阿里云对象存储(OSS)的bucket
3.创建对此bucket具有读取和列表访问权限的RAM角色。
4.通过发送HTTP请求到GDB数据库实例来启动GDB加载程序。
5.GDB加载程序代入RAM角色从bucket中读取数据并加载到数据库实例。

以下各部分提供从OSS导入数据到GDB的说明。

2. 使用DataX导入数据到GDB

GDB也提供了DataX插件6470CF42_77AD_4dcc_967B_CA4FA95E84D6来导入数据,1A267B44_FCC9_45f8_9E16_B362F8E18D9B支持从各种数据源读取数据,您只需要提供相应读取数据源的配置和插件6470CF42_77AD_4dcc_967B_CA4FA95E84D6的配置,再启动任务就可以将数据写入GDB,DataX导入简化流程入下图:
image

导入插件主要支持下面特性:

1.MySQL、ODPS等数据源到GDB的数据同步
2.源数据列到GDB的点/边字段映射,也支持多列拼接成GDB的一个字段
3.不同的写入模式,F17CCEC3_02B3_4690_A98A_E8A05B36B41217ECD0D4_7745_4dc3_9575_563B63EBF91BC2D7BEE1_2DB1_4866_9E44_0A96B84109C9

6470CF42_77AD_4dcc_967B_CA4FA95E84D61A267B44_FCC9_45f8_9E16_B362F8E18D9B开源项目的一部分,可以参考工程文档导入数据到GDB:

注意

DataX用于数据中转,请确保源数据端、DataX运行环境和GDB实例网络联通,最好能处在同一个VPC以保证较好的网络质量

3. 使用DataWorks数据集成同步数据到GDB

DataWorks是阿里云上的一站式大数据智能云研发平台,其中数据集成服务支持导出数据到GDB,您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。

06AAC98E_C76A_40b7_BD3D_A88B80101F6F的GDB数据源底层由6470CF42_77AD_4dcc_967B_CA4FA95E84D6插件提供服务,配置参数与上节相同,也提供同等的写入能力,参考配置GDB数据源完成同步配置。

本文来自 阿里云文档中心 图数据库GDB 数据导入简介

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
目录
相关文章
|
5月前
|
存储 NoSQL 关系型数据库
阿里云图数据库GDB简介和购买流程
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。 图数据库GDB非常适合社交网络、欺诈检测、推荐引擎、知识图谱、网络/IT运营这类高度互连数据集的场景。例如,在一个典型的社交网络中,常常会存在“谁认识谁,上过什么学校,常住什么地方,喜欢什么餐馆”之类的查询,传统关系型数据库对于超过3张表关联的查询十分低效难以胜任,但图数据库可轻松应对社交网络的各种复杂存储和查询场景
|
8月前
|
存储 缓存 NoSQL
Python 基于python+mysql浅谈redis缓存设计与数据库关联数据处理
Python 基于python+mysql浅谈redis缓存设计与数据库关联数据处理
72 0
|
8月前
|
NoSQL
|
NoSQL
《图数据库GDB——Gremlin介绍及范例》电子版地址
图数据库GDB——Gremlin介绍及范例
49 0
《图数据库GDB——Gremlin介绍及范例》电子版地址
|
存储 NoSQL 数据可视化
阿里云图数据库 GDB 介绍及关键能力| 学习笔记
快速学习阿里云图数据库 GDB 介绍及关键能力。
479 0
阿里云图数据库 GDB 介绍及关键能力| 学习笔记
|
SQL 分布式计算 DataWorks
GDB 数据导入| 学习笔记
快速学习 GDB 数据导入。
426 0
GDB 数据导入| 学习笔记
|
NoSQL MongoDB 数据库
MongoDB数据库基础【完整版】:简介和常用命令、数据库&集合以及文档的增删改查、MongoDB与Python交互(附源代码)2
MongoDB数据库基础【完整版】:简介和常用命令、数据库&集合以及文档的增删改查、MongoDB与Python交互(附源代码)
131 0
MongoDB数据库基础【完整版】:简介和常用命令、数据库&集合以及文档的增删改查、MongoDB与Python交互(附源代码)2
|
存储 JSON NoSQL
MongoDB数据库基础【完整版】:简介和常用命令、数据库&集合以及文档的增删改查、MongoDB与Python交互(附源代码)
MongoDB数据库基础【完整版】:简介和常用命令、数据库&集合以及文档的增删改查、MongoDB与Python交互(附源代码)
158 0
MongoDB数据库基础【完整版】:简介和常用命令、数据库&集合以及文档的增删改查、MongoDB与Python交互(附源代码)
|
SQL 关系型数据库 MySQL
【笔记】用户指南—数据导入和导出—使用程序进行数据导入
本文将介绍如何通过编写代码的方式,将导入数据到PolarDB-X中。
|
数据可视化 算法 NoSQL
【TigerGraph】图数据库实战入门 —— 数据导入
该文件总共有27,279行,除第1行是表头外,每行用3列表示一部电影,分别为电影id(movieId)、电影名称(title)和电影类型(genres)。需要注意的是该csv文件用逗号分隔不同的列,而为了处理电影名称中包含的逗号,使用双引号(")转义title列。该文件总共有20,000,264行,除第1行是表头外,每行用4列表示一位用户对一部电影的评分,分别为用户id(userId)、电影id(movieId)、评分(rating)和评分时间(timestamp)。
215 0
【TigerGraph】图数据库实战入门 —— 数据导入
推荐文章
更多