图数据库GDB数据导入简介的方法有几种?

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。

1. 从阿里云OSS(CSV)导入数据

GDB服务端集成有数据导入模块,可以拉取用户提供的CSV格式的OSS数据文件,解析成图的点和边数据,再写入GDB实例,以下图例概述了主要过程:
image

主要包含以下步骤:

1.将需要导入的数据转换成csv格式,点和边分开在不同的文件
2.复制点和边数据文件到阿里云对象存储(OSS)的bucket
3.创建对此bucket具有读取和列表访问权限的RAM角色。
4.通过发送HTTP请求到GDB数据库实例来启动GDB加载程序。
5.GDB加载程序代入RAM角色从bucket中读取数据并加载到数据库实例。

以下各部分提供从OSS导入数据到GDB的说明。

2. 使用DataX导入数据到GDB

GDB也提供了DataX插件6470CF42_77AD_4dcc_967B_CA4FA95E84D6来导入数据,1A267B44_FCC9_45f8_9E16_B362F8E18D9B支持从各种数据源读取数据,您只需要提供相应读取数据源的配置和插件6470CF42_77AD_4dcc_967B_CA4FA95E84D6的配置,再启动任务就可以将数据写入GDB,DataX导入简化流程入下图:
image

导入插件主要支持下面特性:

1.MySQL、ODPS等数据源到GDB的数据同步
2.源数据列到GDB的点/边字段映射,也支持多列拼接成GDB的一个字段
3.不同的写入模式,F17CCEC3_02B3_4690_A98A_E8A05B36B41217ECD0D4_7745_4dc3_9575_563B63EBF91BC2D7BEE1_2DB1_4866_9E44_0A96B84109C9

6470CF42_77AD_4dcc_967B_CA4FA95E84D61A267B44_FCC9_45f8_9E16_B362F8E18D9B开源项目的一部分,可以参考工程文档导入数据到GDB:

注意

DataX用于数据中转,请确保源数据端、DataX运行环境和GDB实例网络联通,最好能处在同一个VPC以保证较好的网络质量

3. 使用DataWorks数据集成同步数据到GDB

DataWorks是阿里云上的一站式大数据智能云研发平台,其中数据集成服务支持导出数据到GDB,您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。

06AAC98E_C76A_40b7_BD3D_A88B80101F6F的GDB数据源底层由6470CF42_77AD_4dcc_967B_CA4FA95E84D6插件提供服务,配置参数与上节相同,也提供同等的写入能力,参考配置GDB数据源完成同步配置。

本文来自 阿里云文档中心 图数据库GDB 数据导入简介

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
目录
相关文章
|
8月前
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
6月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
7月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
6月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
179 11
|
6月前
|
SQL 关系型数据库 MySQL
如何将Excel表的数据导入RDS MySQL数据库?
本文介绍如何通过数据管理服务DMS将Excel文件(转为CSV格式)导入RDS MySQL数据库,涵盖建表、编码设置、导入模式选择及审批执行流程,并提供操作示例与注意事项。
|
7月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
670 0
|
9月前
|
存储 SQL Java
数据存储使用文件还是数据库,哪个更合适?
数据库和文件系统各有优劣:数据库读写性能较低、结构 rigid,但具备计算能力和数据一致性保障;文件系统灵活易管理、读写高效,但缺乏计算能力且无法保证一致性。针对仅需高效存储与灵活管理的场景,文件系统更优,但其计算短板可通过开源工具 SPL(Structured Process Language)弥补。SPL 提供独立计算语法及高性能文件格式(如集文件、组表),支持复杂计算与多源混合查询,甚至可替代数据仓库。此外,SPL 易集成、支持热切换,大幅提升开发运维效率,是后数据库时代文件存储的理想补充方案。
|
NoSQL 编译器 C语言
C语言调试是开发中的重要技能,涵盖基本技巧如打印输出、断点调试和单步执行,以及使用GCC、GDB、Visual Studio和Eclipse CDT等工具。
C语言调试是开发中的重要技能,涵盖基本技巧如打印输出、断点调试和单步执行,以及使用GCC、GDB、Visual Studio和Eclipse CDT等工具。高级技巧包括内存检查、性能分析和符号调试。通过实践案例学习如何有效定位和解决问题,同时注意保持耐心、合理利用工具、记录过程并避免过度调试,以提高编程能力和开发效率。
546 1
|
NoSQL Linux C语言
Linux GDB 调试
Linux GDB 调试
282 10

热门文章

最新文章