小编点评

**TiDB Lightning 数据导入配置文件** ```yaml # 日志级别 log-level: "error" # 数据源目录 data-source-dir: "/data/my_database" # TiDB 连接配置 tikv-importer: # 数据源配置 data-source-dir: data-source-dir # 模式配置 mode: tidb # 批量插入操作 max-rows: 10000 # 数据导入配置 [mydumper] # 本地源数据目录 data-source-dir: data-source-dir # 连接密码 password: "" # 数据导入策略 [tidb] # 线程并发数 region-concurrency: 32 # 目标集群信息 tidb-server: # 主机地址 host: "172.16.31.1" # 端口 port: 4000 # 用户名 user: "root" ``` **配置说明：** * `log-level`：控制日志级别，可设置 `error` 或其他级别。 * `data-source-dir`：指定数据源的目录路径。 * `tikv-importer`：设置 TiDB 连接配置。 * `[mydumper]`：定义一个独立 section，包含本地数据源配置和 TiDB 连接密码。 * `[tidb]`：定义 TiDB 数据导入配置。 * `region-concurrency`：设置写入并发数。 * `tidb`：指定目标 TiDB 集群信息。

正文

https://docs.pingcap.com/zh/tidb/v6.5/tidb-lightning-logical-import-mode-usage

配置及使用

可以通过以下配置文件使用 Logical Import Mode 执行数据导入：

TiDB Lightning 的完整配置文件可参考完整配置及命令行参数。

冲突数据检测

冲突数据，即两条或两条以上的记录存在主键或唯一键列数据重复的情况。当数据源中的记录存在冲突数据，将导致该表真实总行数和使用唯一索引查询的总行数不一致的情况。TiDB Lightning 的 Logical Import Mode 通过 on-duplicate 配置冲突数据检测的策略，TiDB Lightning 根据策略使用不同的 SQL 语句进行插入。

策略	冲突时默认行为	对应 SQL 语句
replace	新数据替代旧数据	REPLACE INTO ...
ignore	保留旧数据，忽略新数据	INSERT IGNORE INTO ...
error	中止导入	INSERT INTO ...

性能调优

• TiDB Lightning 的 Logical Import Mode 性能很大程度上取决于目标 TiDB 集群的写入性能，当遇到性能瓶颈时可参考 TiDB 相关性能优化文档。

• 如果发现目标 TiDB 集群的的写入尚未达到瓶颈，可以考虑增加 Lightning 配置中 region-concurrency 的值。region-concurrency 默认值为 CPU 核数，其含义在 Physical Import Mode 和 Logical Import Mode 下有所不同，Logical Import Mode 的 region-concurrency 表示写入并发数。配置示例：

  [lightning] region-concurrency = 32

• 调整目标 TiDB 集群的 raftstore.apply-pool-size 和 raftstore.store-pool-size 参数也可能提升导入速度。