[转帖]使用 TiUP bench 组件压测 TiDB

使用,tiup,bench,组件,tidb · 浏览次数 : 0

小编点评

**TiUP Bench组件提供多种压测 workloads,命令分别如下:** * **tpcc**:以 TPC-C 作为 workload 压测 * **tpch**:以 TPC-H 作为 workload 压测 * **ycsb**:以 YCSB 作为 workload 压测 * **rawsql**:以自定义 SQL 文件作为 workload 压测 **使用说明:** * **tpcc**: * 设置 `--warehouses` 参数指定要创建的仓库数量。 * 设置 `--parts` 参数指定要创建的分区数量。 * **tpch**: * 设置 `--scale` 参数指定要测试的 scale 因子。 * 设置 `--count` 参数指定要执行的查询数量。 * **ycsb**: * 设置 `--query-files` 参数指定要测试的 SQL 文件。 * **rawsql**: * 设置 `--output-dir` 参数指定要保存结果的目录。 **示例命令:** ``` tiup bench tpcc --warehouses 4 --parts 4 prepare tiup bench tpcc --warehouses 4 --time 10m run检查一致性 tiup bench tpcc --warehouses 4 check tiup bench tpch --sf=1 prepare tiup bench tpch --sf=1 --check=true run tiup bench ycsb load tidb -p tidb.instances=\"127.0.0.1:4000\" -p recordcount=10000 tiup bench ycsb run tidb -p tidb.instances=\"127.0.0.1:4000\" -p operationcount=10000 ```

正文

https://docs.pingcap.com/zh/tidb/stable/tiup-bench

 

在测试数据库性能时,经常需要对数据库进行压测,为了满足这一需求,TiUP 集成了 bench 组件。TiUP bench 组件提供多种压测的 workloads,命令分别如下:

tiup bench tpcc # 以 TPC-C 作为 workload 压测 tiup bench tpch # 以 TPC-H 作为 workload 压测 tiup bench ch # 以 CH-benCHmark 作为 workload 压测 tiup bench ycsb # 以 YCSB 作为 workload 压测 tiup bench rawsql # 以自定义 SQL 文件作为 workload 压测

其中 tpcctpchchrawsql 支持如下命令行参数。ycsb 使用方法较为不同,它主要通过 properties 文件进行配置,详见 go-ycsb 使用说明

-t, --acThreads int OLAP 并发线程数,仅适用于 CH-benCHmark (默认 1) --conn-params string 数据库连接参数,例如: `--conn-params tidb_isolation_read_engines='tiflash'` 设置 TiDB 通过 TiFlash 进行查询 `--conn-params sslmode=disable` 设置连接 PostgreSQL 不启用加密 --count int 总执行次数,0 表示无限次 -D, --db string 被压测的数据库名 (默认为 "test") -d, --driver string 数据库驱动: mysql, postgres (默认 "mysql") --dropdata 在 prepare 数据之前清除历史数据 -h, --help 输出 bench 命令的帮助信息 -H, --host strings 数据库的主机地址 (默认 ["127.0.0.1"]) --ignore-error 忽略压测时数据库报出的错误 --interval duration 两次报告输出时间的间隔 (默认 10s) --isolation int 隔离级别 0:Default,1:ReadUncommitted, 2:ReadCommitted,3:WriteCommitted,4:RepeatableRead, 5:Snapshot,6:Serializable,7:Linerizable --max-procs int Go Runtime 能够使用的最大系统线程数 --output string 输出格式 plain,table,json (默认为 "plain") -p, --password string 数据库密码 -P, --port ints 数据库端口 (默认 [4000]) --pprof string pprof 地址 --silence 压测过程中不打印错误信息 -S, --statusPort int TiDB 状态端口 (默认 10080) -T, --threads int 压测并发线程数 (默认 16) --time duration 总执行时长 (默认 2562047h47m16.854775807s) -U, --user string 压测时使用的数据库用户 (默认 "root")
  • --host 和 --port 支持以逗号分隔传入多个值,以启用客户端负载均衡。例如,当指定 --host 172.16.4.1,172.16.4.2 --port 4000,4001 时,负载程序将以轮询调度的方式连接到 172.16.4.1:4000, 172.16.4.1:4001, 172.16.4.2:4000, 172.16.4.2:4001 这 4 个实例上。
  • --conn-params 需要符合 query string 格式,不同数据库支持不同参数,如:
    • --conn-params tidb_isolation_read_engines='tiflash' 设置 TiDB 通过 TiFlash 进行查询。
    • --conn-params sslmode=disable 设置连接 PostgreSQL 不启用加密。
  • 当运行 CH-benCHmark 时,可以通过 --ap-host--ap-port--ap-conn-params 来指定独立的 TiDB 实例用于 OLAP 查询。

下文分别介绍如何使用 TiUP 运行 TPC-C, TPC-H 以及 YCSB 测试。

使用 TiUP 运行 TPC-C 测试

TiUP bench 组件支持如下运行 TPC-C 测试的命令和参数:

Available Commands: check 检查数据一致性 cleanup 清除数据 prepare 准备数据 run 开始压测 Flags: --check-all 运行所有的一致性检测 -h, --help 输出 TPC-C 的帮助信息 --partition-type int 分区类型 (默认为 1) 1 代表 HASH 分区类型 2 代表 RANGE 分区类型 3 代表 LIST 分区类型并按 HASH 方式划分 4 代表 LIST 分区类型并按 RANGE 方式划分 --parts int 分区仓库的数量 (默认为 1) --warehouses int 仓库的数量 (默认为 10)

TPC-C 测试步骤

以下为简化后的关键步骤。完整的测试流程可以参考如何对 TiDB 进行 TPC-C 测试

  1. 通过 HASH 使用 4 个分区创建 4 个仓库:

    tiup bench tpcc --warehouses 4 --parts 4 prepare
  2. 运行 TPC-C 测试:

    tiup bench tpcc --warehouses 4 --time 10m run
  3. 检查一致性:

    tiup bench tpcc --warehouses 4 check
  4. 清理数据:

    tiup bench tpcc --warehouses 4 cleanup

当需要测试大数据集时,直接写入数据通常较慢,此时可以使用如下命令生成 CSV 数据集,然后通过 TiDB Lightning 导入数据。

  • 生成 CSV 文件:

    tiup bench tpcc --warehouses 4 prepare --output-dir data --output-type=csv
  • 为指定的表生成 CSV 文件:

    tiup bench tpcc --warehouses 4 prepare --output-dir data --output-type=csv --tables history,orders

使用 TiUP 运行 TPC-H 测试

TiUP bench 组件支持如下运行 TPC-H 测试的命令和参数:

Available Commands: cleanup 清除数据 prepare 准备数据 run 开始压测 Flags: --check 检查输出数据,只有 scale 因子为 1 时有效 -h, --help tpch 的帮助信息 --queries string 所有的查询语句 (默认 "q1,q2,q3,q4,q5,q6,q7,q8,q9,q10,q11,q12,q13,q14,q15,q16,q17,q18,q19,q20,q21,q22") --sf int scale 因子

TPC-H 测试步骤

  1. 准备数据:

    tiup bench tpch --sf=1 prepare
  2. 运行 TPC-H 测试,根据是否检查结果执行相应命令:

    • 检查结果:

      tiup bench tpch --count=22 --sf=1 --check=true run
    • 不检查结果:

      tiup bench tpch --count=22 --sf=1 run
  3. 清理数据:

    tiup bench tpch cleanup

使用 TiUP 运行 YCSB 测试

你可以使用 TiUP 对 TiDB 和 TiKV 节点分别进行 YCSB 测试。

测试 TiDB

  1. 准备数据:

    tiup bench ycsb load tidb -p tidb.instances="127.0.0.1:4000" -p recordcount=10000
  2. 运行 YCSB 测试:

    # 默认读写比例为 95:5 tiup bench ycsb run tidb -p tidb.instances="127.0.0.1:4000" -p operationcount=10000

测试 TiKV

  1. 准备数据:

    tiup bench ycsb load tikv -p tikv.pd="127.0.0.1:2379" -p recordcount=10000
  2. 运行 YCSB 测试:

    # 默认读写比例为 95:5 tiup bench ycsb run tikv -p tikv.pd="127.0.0.1:2379" -p operationcount=10000

使用 TiUP 运行 RawSQL 测试

你可以将 OLAP 查询写到 SQL 文件中,通过 tiup bench rawsql 执行测试,步骤如下:

  1. 准备数据和需要执行的查询:

    -- 准备数据 CREATE TABLE t (a int); INSERT INTO t VALUES (1), (2), (3); -- 构造查询,保存为 demo.sql SELECT a, sleep(rand()) FROM t WHERE a < 4*rand();
  2. 运行 RawSQL 测试:

    tiup bench rawsql run --count 60 --query-files demo.sql

与[转帖]使用 TiUP bench 组件压测 TiDB相似的内容:

[转帖]使用 TiUP bench 组件压测 TiDB

https://docs.pingcap.com/zh/tidb/stable/tiup-bench 在测试数据库性能时,经常需要对数据库进行压测,为了满足这一需求,TiUP 集成了 bench 组件。TiUP bench 组件提供多种压测的 workloads,命令分别如下: tiup bench

[转帖]使用 TiUP 扩容缩容 TiDB 集群

https://docs.pingcap.com/zh/tidb/stable/scale-tidb-using-tiup TiDB 集群可以在不中断线上服务的情况下进行扩容和缩容。 本文介绍如何使用 TiUP 扩容缩容集群中的 TiDB、TiKV、PD、TiCDC 或者 TiFlash 节点。如未

[转帖]使用 TiUP 升级 TiDB

本文档适用于以下升级路径: 使用 TiUP 从 TiDB 4.0 版本升级至 TiDB 7.1。 使用 TiUP 从 TiDB 5.0-5.4 版本升级至 TiDB 7.1。 使用 TiUP 从 TiDB 6.0-6.6 版本升级至 TiDB 7.1。 使用 TiUP 从 TiDB 7.0 版本升级

[转帖]使用 TiUP cluster 在单机上安装TiDB

https://zhuanlan.zhihu.com/p/369414808 TiUP 是 TiDB 4.0 版本引入的集群运维工具,TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件,通过 TiUP cluster 组件就可以进行日常的运维工作,包括部署、启动、关

[转帖]使用 TiUP 部署运维 TiDB 线上集群

https://docs.pingcap.com/zh/tidb/stable/tiup-cluster 本文重在介绍如何使用 TiUP 的 cluster 组件,如果需要线上部署的完整步骤,可参考使用 TiUP 部署 TiDB 集群。 与 playground 组件用于部署本地测试集群类似,clu

[转帖]使用 TiUP 部署 TiDB 集群

https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup TiUP 是 TiDB 4.0 版本引入的集群运维工具,TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件,通过 TiU

[转帖]使用 TiUP 扩容缩容 TiDB 集群

https://docs.pingcap.com/zh/tidb/stable/scale-tidb-using-tiup TiDB 集群可以在不中断线上服务的情况下进行扩容和缩容。 本文介绍如何使用 TiUP 扩容缩容集群中的 TiDB、TiKV、PD、TiCDC 或者 TiFlash 节点。如未

[转帖]使用 TiUP 扩容缩容 TiDB 集群

https://docs.pingcap.com/zh/tidb/stable/scale-tidb-using-tiup TiDB 集群可以在不中断线上服务的情况下进行扩容和缩容。 本文介绍如何使用 TiUP 扩容缩容集群中的 TiDB、TiKV、PD、TiCDC 或者 TiFlash 节点。如未

[转帖]使用 Grafana 监控 TiDB 的最佳实践

https://docs.pingcap.com/zh/tidb/stable/grafana-monitor-best-practices 使用 TiUP 部署 TiDB 集群时,如果在拓扑配置中添加了 Grafana 和 Prometheus,会部署一套 Grafana + Prometheus

[转帖]PD Control 使用说明

https://docs.pingcap.com/zh/tidb/stable/pd-control PD Control 是 PD 的命令行工具,用于获取集群状态信息和调整集群。 安装方式 注意 建议使用的 Control 工具版本与集群版本保持一致。 使用 TiUP 可直接通过 tiup ctl