lightning 导入数据库表的操作步骤

lightning,导入,数据库,操作步骤 · 浏览次数 : 11

小编点评

**导入数据库表的操作步骤：** 1. **创建备份文件**：使用 `mysqldump` 或 `select into outfile` 等方法创建包含表的 SQL 数据的备份文件，例如 `table_name.sql`。 2. **使用 br 工具进行备份与恢复**：使用 `br` 工具将备份文件复制到目标数据库服务器。 3. **使用 dumpling导出数据，然后使用 load data 的方式导入数据**：使用 `dumplig` 或 `mysqldumper` 等工具导出数据，然后使用 `load data` 命令将其导入到目标数据库中。 4. **使用 dumplig/mysqldumper 等工具导出csv文件，通过lightning的方式执行导入**：使用 `dumplig` 或 `mysqldumper` 等工具导出csv文件，然后通过 `lightning` 框架执行导入。 5. **使用 tidb 后端执行导入**：选择使用 Lightning 后端执行导入，因为它允许表为空。使用 `tidb-lightningtiup` 或 `ctl` 命令进行导入。 **其他提示：** - 在执行导入之前，请确保目标数据库的表结构与备份文件一致。 - 使用 `--checkpoint-error-destroy=all` 参数可以确保导入过程在遇到错误时停止。 - 可以使用 `--host` 和 `--user` 参数指定导入的服务器地址和用户名。 - 可以使用 `--password` 参数指定导入的密码。

正文

lightning 导入数据库表的操作步骤

TiDB数据库备份恢复的方式与方法

1. mysqldumper 以及 mysql 导入
2. select into outfile 以及 load data in localfile
3. 使用br工具进行备份与恢复.
4. 使用dumpling导出数据,然后使用load data 的方式导入数据
5. 使用dumplig/mysqldumper 等工具导出csv文件,通过lightning的方式执行导入.

关于lightning的一些了解.

lightning 其中两种引擎执行导入:
TiKV和TiDB backend 
TiKV 要求表必须为空执行导入. 
TiDB 作为后端时可以允许表为空.

因为本次的一些需求和场景, 计划使用lightning的tidb的后端执行导入.
方便进行表扩充.

安装处理

tiup install tidb-lightning
tiup install ctl

需要注意, 如果tidb-lightning 导入出过错误的话. 需要先清理一下. 
./tidb-lightning-ctl --checkpoint-error-destroy=all

错误信息一般为:
TiDB Lightning has failed last time. To prevent data loss, this run will stop now

参数配置文件

[lightning]
level = "info"
file = "tidb-lightning.log"
region-concurrency = 64
max-size = 128 # MB
max-days = 28
max-backups = 14

[mydumper.csv]
header = false

[mydumper]
data-source-dir = "/nvme01/dumpling/ac_pzhxmls/export/2022/01/"

[tikv-importer]

backend = "tidb"
on-duplicate = "replace"
#duplicate-resolution = 'replace'
sorted-kv-dir = "/nvme00/zhaobshtest"

[tidb]
host = "192.168.255.xxxx"
port = 4002
user = "root"
password = "Testxxxxxx"
status-port = 10080
pd-addr = "192.168.255.xxx:2379"
log-level = "error"

[post-restore]
checksum = "required"
analyze = "optional"

使用的命令为

tidb-lightning --config lightning.conf

分类注意事项

lightning 其实可以异名恢复数据库.

他获取表名是基于 csv文件的  databasename.tablename.random_num.csv 进行切分的
所以如果表结构一直, 可以通过rename的方式将文件进行修改就可以执行入库了. 

具体方式为
rename 2021 2022 * 
然后将目录放到lightning的配置文件里面, 执行导入就可以了.