图数据库GDB数据导入简介的方法有几种?

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。

1. 从阿里云OSS(CSV)导入数据

GDB服务端集成有数据导入模块,可以拉取用户提供的CSV格式的OSS数据文件,解析成图的点和边数据,再写入GDB实例,以下图例概述了主要过程:
image

主要包含以下步骤:

1.将需要导入的数据转换成csv格式,点和边分开在不同的文件
2.复制点和边数据文件到阿里云对象存储(OSS)的bucket
3.创建对此bucket具有读取和列表访问权限的RAM角色。
4.通过发送HTTP请求到GDB数据库实例来启动GDB加载程序。
5.GDB加载程序代入RAM角色从bucket中读取数据并加载到数据库实例。

以下各部分提供从OSS导入数据到GDB的说明。

2. 使用DataX导入数据到GDB

GDB也提供了DataX插件6470CF42_77AD_4dcc_967B_CA4FA95E84D6来导入数据,1A267B44_FCC9_45f8_9E16_B362F8E18D9B支持从各种数据源读取数据,您只需要提供相应读取数据源的配置和插件6470CF42_77AD_4dcc_967B_CA4FA95E84D6的配置,再启动任务就可以将数据写入GDB,DataX导入简化流程入下图:
image

导入插件主要支持下面特性:

1.MySQL、ODPS等数据源到GDB的数据同步
2.源数据列到GDB的点/边字段映射,也支持多列拼接成GDB的一个字段
3.不同的写入模式,F17CCEC3_02B3_4690_A98A_E8A05B36B41217ECD0D4_7745_4dc3_9575_563B63EBF91BC2D7BEE1_2DB1_4866_9E44_0A96B84109C9

6470CF42_77AD_4dcc_967B_CA4FA95E84D61A267B44_FCC9_45f8_9E16_B362F8E18D9B开源项目的一部分,可以参考工程文档导入数据到GDB:

注意

DataX用于数据中转,请确保源数据端、DataX运行环境和GDB实例网络联通,最好能处在同一个VPC以保证较好的网络质量

3. 使用DataWorks数据集成同步数据到GDB

DataWorks是阿里云上的一站式大数据智能云研发平台,其中数据集成服务支持导出数据到GDB,您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。

06AAC98E_C76A_40b7_BD3D_A88B80101F6F的GDB数据源底层由6470CF42_77AD_4dcc_967B_CA4FA95E84D6插件提供服务,配置参数与上节相同,也提供同等的写入能力,参考配置GDB数据源完成同步配置。

本文来自 阿里云文档中心 图数据库GDB 数据导入简介

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
目录
相关文章
|
20天前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
143 1
|
1月前
|
存储 SQL Java
数据存储使用文件还是数据库,哪个更合适?
数据库和文件系统各有优劣:数据库读写性能较低、结构 rigid,但具备计算能力和数据一致性保障;文件系统灵活易管理、读写高效,但缺乏计算能力且无法保证一致性。针对仅需高效存储与灵活管理的场景,文件系统更优,但其计算短板可通过开源工具 SPL(Structured Process Language)弥补。SPL 提供独立计算语法及高性能文件格式(如集文件、组表),支持复杂计算与多源混合查询,甚至可替代数据仓库。此外,SPL 易集成、支持热切换,大幅提升开发运维效率,是后数据库时代文件存储的理想补充方案。
|
2月前
|
NoSQL Linux 编译器
GDB符号表概念和在Linux下获取符号表的方法
通过掌握这些关于GDB符号表的知识,你可以更好地管理和理解你的程序,希望这些知识可以帮助你更有效地进行调试工作。
95 16
|
2月前
|
存储 算法 Java
实现不同数据库的表间的 JOIN 运算的极简方法
跨库计算是数据分析中的常见难题,尤其涉及多数据库系统时,表间 JOIN 操作复杂度显著提升。esProc 提供了一种高效解决方案,能够简化跨库 JOIN 的实现。例如,在车辆管理、交管和公民信息系统中,通过 esProc 可轻松完成如下任务:按城市统计有车公民事件数量、找出近一年获表彰的车主信息,以及按年份和品牌统计车辆违章次数。esProc 支持不同关联场景(如维表关联与主子表关联)的优化算法,如内存索引、游标处理和有序归并,从而大幅提升编码和运算效率。无论是同构还是异构数据源,esProc 均能灵活应对,为复杂数据分析提供强大支持。
|
3月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
3月前
|
Oracle 安全 关系型数据库
【Oracle】使用Navicat Premium连接Oracle数据库两种方法
以上就是两种使用Navicat Premium连接Oracle数据库的方法介绍,希望对你有所帮助!
640 28
|
3月前
|
人工智能 关系型数据库 分布式数据库
让数据与AI贴得更近,阿里云瑶池数据库系列产品焕新升级
4月9日阿里云AI势能大会上,阿里云瑶池数据库发布重磅新品及一系列产品能力升级。「推理加速服务」Tair KVCache全新上线,实现KVCache动态分层存储,显著提高内存资源利用率,为大模型推理降本提速。
|
3月前
|
存储 缓存 数据库
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
205 4
|
4月前
|
SQL 数据库连接 Linux
数据库编程:在PHP环境下使用SQL Server的方法。
看看你吧,就像一个调皮的小丑鱼在一片广阔的数据库海洋中游弋,一路上吞下大小数据如同海中的珍珠。不管有多少难关,只要记住这个流程,剩下的就只是探索未知的乐趣,沉浸在这个充满挑战的数据库海洋中。
98 16
|
4月前
|
数据库 Python
【YashanDB知识库】python驱动查询gbk字符集崖山数据库CLOB字段,数据被驱动截断
【YashanDB知识库】python驱动查询gbk字符集崖山数据库CLOB字段,数据被驱动截断