5分钟迁移关系型数据库到图数据库

分钟,迁移,关系,数据库 · 浏览次数 : 55

小编点评

## 华为云图引擎服务 (Graph Engine Service) 数据迁移指南 **作者:** RiverSide **前言:** 华为云图引擎服务 (Graph Engine Service) 是国内首个商用的、拥有自主知识产权的国产分布式原生图引擎。支持社交应用、企业关系分析、风控、推荐、反欺诈等具有丰富关系数据的场景。由于关系型数据库和如GES的图数据库天然存在的异构性，将已有的关系型数据库中的数据存储至图数据库中仍存在较多的难点。本文借助 Apache Hop 及 GES 插件，提供了多数据源通用、可视化、开箱即用的数据转换工程，可将多种关系型数据库迁移至GES图数据库中。 **流程概述:** 1. **数据准备:** - 将已有的关系型数据库中的数据导出至 CSV 文件中。 - 使用 Apache Hop 创建数据转换工程，指定数据源和目标格式。 - 配置GES插件连接参数。 2. **转换过程:** - 读取 CSV 文件并解析元数据与 ID映射文件。 - 生成动态 SQL 语句，指定查询结果的格式。 - 将查询结果写入 CSV 文件中，用于导入 GES 图实例。 **工具介绍:** - **Apache Hop:** 数据编排和数据工程平台，用于数据转换和关系数据库连接。 - **GES 插件:** 用于将关系型数据库数据转换为 GES 图模型。 **环境准备:** - 下载并解压缩 GES 插件。 - 配置 Apache Hop 的相关参数。 **步骤执行:** 1. 打开 Hop 界面，点击 "metadata->relational database connection" 创建数据库连接。 2. 选择关系型数据库类型，填入账号密码等信息。 3. 点击 "metadata->GES Connection" 建立图连接，按 .zip 文件中说明文档填入账号密码等信息。 4. 点击 "project detail" 定义项目参数，并启动数据转换。 **数据转换结果:** - 数据转换完成后，将转换完成的图数据库文件存放在指定路径下。 - 可通过前端页面访问导入的数据，进行分析和查询。 **附件:** - sample project 及 GES 插件 .zip 文件。 **总结:** 华为云图引擎服务提供一种便捷的方法，可将多个关系型数据库迁移至 GES 图数据库中。该指南提供数据转换工程的详细步骤和工具介绍，帮助您顺利迁移数据。

正文

本文分享自华为云社区《5分钟迁移关系型数据库到图数据库》，作者： RiverSide 。

以往开发者会使用关系型数据库如MySQL对领域数据进行存储，这类关系型数据库诞生较早，但并不适合存储关联度较大的数据，如社交关系网络。随着高关联度数据的存储及分析的需求随数据量日益增长，将海量关联数据存入图数据库中进行深度挖掘分析是大势所趋。华为云图引擎服务（Graph Engine Service）是国内首个商用的、拥有自主知识产权的国产分布式原生图引擎。广泛应用于社交应用、企业关系分析、风控、推荐、反欺诈等具有丰富关系数据的场景。

由于关系型数据库和如GES的图数据库天然存在的异构性，将已有的关系型数据库中的数据存储至图数据库中仍存在较多的难点。本文借助Apache Hop及GES插件，提供了多数据源通用、可视化、开箱即用的数据转换工程，可将多种关系型数据库迁移至GES图数据库中。转换工作流复用度高，可通过输入不同的元数据文件与数据源连接，使转换工作流完成多个数据源的迁移任务。

支持的数据源

借助Apache Hop的能力，支持MySQL，PostgreSQL，Oracle，MS SqlServer等多种关系型数据库，具体列表参见：Database Plugins :: Apache Hop

数据要求

已经建立好GES图模型，属性名与表中的字段名相同
对单个标签来说，所有属性都在同一张表中
数据源中的数据符合图模型中对应数据类型的要求（如GES中date类型为yyyy-mm-dd hh:mm:ss，若数据源中的date类型不合要求，应在数据源转为相应格式的字符串类型）

节点唯一性问题

在图数据库中不允许存在两个索引值相同的节点，因此需要确保节点的全局唯一性，即节点id。通常情况下，可以将表中具有唯一性约束的字段，如表的主键映射为对应节点数据的id。在关系型数据库（如MySQL）中，不同的表属于不同的命名空间，即不同表中的主键可以相同的值。因此在这种情况下，需要改变相应的映射规则。如通过将表名与主键拼接的方式生成新的节点id，以确保节点的全局唯一性。

在转换过程中，需要将指定的id映射关系生成为以下格式的csv：标签名，表名，节点id对应字段，终点id对应字段。此处若标签对应的是点数据，则终点id为空。

如在TPC-H数据集中，表数据转换为一条简单的关系及其起点终点，需要指明的信息如下：

对于Order标签的节点，数据源中对应的表名为orders；采用主键o_orderkey作为节点id。
对于Supplier标签的节点，数据源中对应的表名为supplier；采用主键s_suppkey作为节点id。
对于supply标签的边，数据源中对应的表名为lineitem；起点为Supplier，对应表lineitem表中外键l_suppkey作为起点id；终点为Order，对应外键l_orderkey作为终点id。需要注意的是，边的起点与终点的id映射需要与对应标签的节点id映射对应，如例子中的lineitem表的外键l_suppkey对应的正是supplier表中的s_suppkey，它们的值为一一对应的关系。