[转帖]tidb集群部署

tidb,集群,部署 · 浏览次数 : 0

小编点评

1.准备topology_xx_v4.0.12.yaml配置文件2.开始部署 12#&tiup&cluster&deploy&xxpool2.参数优化 123456789101112mysql -u root -h 10.100.100.101 -P 4000 -p *****set @@global.tidb_opt_insubq_to_join_and_agg=1;set @@global.tidb_mem_quota_query=34359738368;set @@global.tidb_enable_table_partition='off';set @@global.tidb_enable_telemetry='0';set @@global.tidb_disable_txn_auto_retry='0';set @@global.tidb_allow_batch_cop='0';set @@global.tidb_multi_statement_mode='1';set @@global.sql_mode='STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';set @@global.tidb_skip_isolation_level_check='1';set @@global.tidb_retry_limit='100';set password for root@'%'=password('*******');。归纳总结以上内容,生成内容时需要带简单的排版 2.参数优化 123456789101112mysql -u root -h 10.100.100.101 -P 4000 -p *****set @@global.tidb_opt_insubq_to_join_and_agg=1;set @@global.tidb_mem_quota_query=34359738368;set @@global.tidb_enable_table_partition='off';set @@global.tidb_enable_telemetry='0';set @@global.tidb_disable_txn_auto_retry='0';set @@global.tidb_allow_batch_cop='0';set @@global.tidb_multi_statement_mode='1';set @@global.sql_mode='STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';set @@global.tidb_skip_isolation_level_check='1';set @@global.tidb_retry_limit='100';set password for root@'%'=password('*******');。归纳总结以上内容,生成内容时需要带简单的排版 3.参数优化 123456789101112mysql -u root -h 10.100.100.101 -P 4000 -p *****set @@global.tidb_opt_insubq_to_join_and_agg=1;set @@global.tidb_mem_quota_query=34359738368;set @@global.tidb_enable_table_partition='off';set @@global.tidb_enable_telemetry='0';set @@global.tidb_disable_txn_auto_retry='0';set @@global.tidb_allow_batch_cop='0';set @@global.tidb_multi_statement_mode='1';set @@global.sql_mode='STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';set @@global.tidb_skip_isolation_level_check='1';set @@global.tidb_retry_limit='100';set password for root@'%'=password('*******');。归纳总结以上内容,生成内容时需要带简单的排版

正文

http://blog.itpub.net/29785807/viewspace-2789852/

 

一.安装规划

 

1
2
3
4
5
6
使用15台服务器
5台tidb服务器:每台3个tidb实例+1个pd+1个pump   
10台tikv服务器:每台4个tikv实例
drainer_servers      安装在第一台tidb机器上
grafana_servers      安装在3台中控机
alertmanager_servers 安装在3台中控机

二.服务器规划

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
业务IP        心跳IP        services    主机名       
10.10.10.101 10.100.100.101tidb&pd&pump     xx-xxtidb-db01
10.10.10.10210.100.100.102tidb&pd&pump       xx-xxtidb-db02
10.10.10.103 10.100.100.103tidb&pd&pump     xx-xxtidb-db03
10.10.10.104 10.100.100.104tidb&pd&pump      xx-xxtidb-db04
10.10.10.105    10.100.100.105tidb&pd&pump xx-xxtidb-db05
10.10.10.10610.100.100.106tikv        xx-xxtikv-db01
10.10.10.10710.100.100.107tikv        xx-xxtikv-db02
10.10.10.10810.100.100.108tikv        xx-xxtikv-db03
10.10.10.10910.100.100.109tikv        xx-xxtikv-db04
10.10.10.11010.100.100.110tikv        xx-xxtikv-db05
10.10.10.111    10.100.100.111  tikv  xx-xxtikv-db06 
10.10.10.112    10.100.100.112  tikv  xx-xxtikv-db07 
10.10.10.113    10.100.100.113  tikv  xx-xxtikv-db08 
10.10.10.114    10.100.100.114  tikv  xx-xxtikv-db09 
10.10.10.115    10.100.100.115  tikv  xx-xxtikv-db10

三.安装前配置

 

1
2
3
4
5
6
7
8
9
10
11
1.关闭SWAP
2.安装numactl工具
3.创建data目录
4.检查及关闭防火墙
5.检查并关闭透明大页
6.I/O 调度器
7.创建tidb用户
8.设置sudo
9.配置互信
10.TiDB/PD机器挂载数据盘
11.安装前再次检查

1.关闭SWAP

 

1
2
3
检测及关闭系统swap(所有机器)
cat /etc/sysctl.conf |grep vm.swappiness
检测及关闭系统 swap(所有机器)

 

1
2
3
4
5
6
7
8
echo "vm.min_free_kbytes = 6291456" >> /etc/sysctl.conf 
echo "vm.swappiness = 0">> /etc/sysctl.conf
swapoff -a && swapon -a
sysctl -p
vi /etc/fstab
删除swap行
vi /etc/fstab   
/dev/mapper/vg_srv-lv_swap swap                    swap    defaults        0 0   --删除

2.安装numactl工具

 

1
2
3
4
在生产环境中,因为硬件机器配置往往高于需求,为了更合理规划资源,会考虑单机多实例部署TiDB或者TiKV。
NUMA 绑核工具的使用,主要为了防止 CPU 资源的争抢,引发性能衰退。
登录到目标节点进行安装(以 CentOS Linux release 7.7.1908 (Core) 为例)
sudo yum -y install numact

3.创建data目录

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
vgs
lvcreate -L 2000G -n lv_data vg_srv
lvs
mkfs.ext4 /dev/vg_srv/lv_data
mkdir /data
echo '/dev/mapper/vg_srv-lv_data    /data            ext4   defaults       0  0' >> /etc/fstab  
mount -a
df -h
lvcreate -L 2000G -n lv_data vg_srv
  Multiple VGs found with the same name: skipping vg_srv
  Use --select vg_uuid=<uuid> in place of the VG name.
vgs
  VG     #PV #LV #SN Attr   VSize    VFree  
  vg_srv   1   7   0 wz--n-    3.81t  <3.46t
  vg_srv   1   7   0 wz--n- <893.86g 527.66g

4.检查及关闭防火墙

 

1
2
3
4
5
6
7
8
9
检查防火墙状态(以 CentOS Linux release 7.7.1908 (Core) 为例)
sudo firewall-cmd --state
sudo systemctl status firewalld.service
关闭防火墙服务
sudo systemctl stop firewalld.service
关闭防火墙自动启动服务
sudo systemctl disable firewalld.service
检查防火墙状态
sudo systemctl status firewalld.service

5.检查并关闭透明大页

检查结果:

15台机器都没关闭透明大页

 

1
2
3
4
5
6
7
8
9
10
vim /etc/rc.local 
touch /var/lock/subsys/local
if test -f /sys/kernel/mm/transparent_hugepage/enabled;then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
[root@sy-xxtikv-db09 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

 

1
2
3
重启主机,检查透明大页
# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

6.I/O 调度器

 

1
2
3
4
5
6
7
8
9
lsblk
将存储介质的I/O调度器设置为noop。
对于高速SSD存储介质,内核的I/O调度操作会导致性能损失。
将调度器设置为noop后,内核不做任何操作,直接将I/O请求下发给硬件,以获取更好的性能。
同时,noop调度器也有较好的普适性。
为调整CPU频率的cpufreq模块选用performance模式。
将CPU频率固定在其支持的最高运行频率上,不进行动态调节,可获取最佳的性能。
执行以下命令查看数据目录所在磁盘的I/O调度器。
假设在sdb、sdc两个磁盘上创建了数据目录。

 

1
2
3
4
cat /sys/block/sda/queue/scheduler
[noop] deadline cfq
vi /etc/rc.local 
echo noop > /sys/block/sda/queue/scheduler

执行以下命令查看cpufreq模块选用的节能策略。

 

1
2
3
4
cpupower frequency-info --policy   #####确保是performance
analyzing CPU 0:
current policy: frequency should be within 1.20 GHz and 3.10 GHz.
The governor "performance" may decide which speed to use within this range.

7.创建tidb用户

 

1
2
3
4
useradd tidb
echo "*****" passwd --stdin tidb 
passwd tidb 
chown -R tidb.tidb /data

8.设置sudo

执行以下命令,将 tidb ALL=(ALL) NOPASSWD:ALL添加到文件末尾,即配置好sudo免密码。

visudo

tidb ALL=(ALL) NOPASSWD:ALL

9.配置互信

手动配置SSH互信及sudo免密码

中控机和其他机器配置互信

tidb+tikv

以 root 用户依次登录到部署目标机器创建 tidb 用户并设置登录密码。(所有机器)

以 tidb 用户登录到中控机,执行以下命令, 创建 ssh key, 提示 Enter passphrase 时直接回车即可

cd .ssh/

ls

###ssh-keygen -t rsa 不需要在执行,已经有了

以 tidb 用户登录到中控机,执行以下命令。

将IP替换成你的部署目标机器 IP,按提示输入部署目标机器 tidb 用户密码,执行成功后即创建好SSH互信,其他机器同理。

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
su - tidb
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.101
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.102
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.103
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.104
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.105
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.106
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.107
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.108
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.109
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.110
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.111
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.112
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.113
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.114
ssh-copy-id -i .ssh/id_rsa.pub  10.100.100.115

互信测试:

以 tidb 用户登录中控机,通过 ssh 的方式登录目标机器 IP。

如果不需要输入密码并登录成功,即表示 SSH 互信配置成功。

sudo测试:

 

1
2
以 tidb 用户登录到部署目标机器后,执行以下命令,不需要输入密码并切换到 root 用户,表示 tidb 用户 sudo 免密码配置成功。(所有机器)
sudo su -

10.TiDB/PD机器挂载数据盘

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
tidb:
df -h
lsblk
mkfs.ext4 /dev/sda
mkfs.ext4 /dev/nvme1n1
mkdir -p /data/tidb-xx/pump/
mkdir -p /data/tidb-xx/pd
tidb:
fs.sh
mount -a
TiKV机器挂载数据盘
tikv:
df -h
lsblk
mkfs.ext4 /dev/nvme1n1
mkfs.ext4 /dev/nvme2n1
mkfs.ext4 /dev/nvme3n1
mkfs.ext4 /dev/nvme4n1
mkdir -p /data/tidb-xx/tikv1
mkdir -p /data/tidb-xx/tikv2
mkdir -p /data/tidb-xx/tikv3
mkdir -p /data/tidb-xx/tikv4
tikv:
fs.sh
mount -a

挂载tidb磁盘脚本如下:

 

1
2
3
4
5
6
cat fs.sh 
#!/bin/bash
A="`lsblk -f | grep nvme1 | awk  -F ' ' '{print $3}' `"
echo "UUID=$A  /data/tidb-xx/pump/   ext4   defaults,nodelalloc,noatime 0 0">> /etc/fstab
i="`lsblk -f | grep sda | awk  -F ' ' '{print $3}' `"
echo "UUID=$i  /data/tidb-xx/pd/   ext4   defaults,nodelalloc,noatime 0 0">> /etc/fstab

挂载tikv磁盘

 

1
2
3
4
5
6
7
8
9
10
11
[root@sy-xxtikv-db01 ~]# cat fs.sh 
#!/bin/bash
A="`lsblk -f | grep nvme1 | awk  -F ' ' '{print $3}' `"
echo "UUID=$A  /data/tidb-xx/tikv1   ext4   defaults,nodelalloc,noatime 0 0">> /etc/fstab
    
j="`lsblk -f | grep nvme2 | awk  -F ' ' '{print $3}'`"
echo "UUID=$j  /data/tidb-xx/tikv2   ext4   defaults,nodelalloc,noatime 0 0">> /etc/fstab
k="`lsblk -f | grep nvme3 | awk  -F ' ' '{print $3}'`"
echo "UUID=$k  /data/tidb-xx/tikv3   ext4   defaults,nodelalloc,noatime 0 0">> /etc/fstab
l="`lsblk -f | grep nvme4 | awk  -F ' ' '{print $3}'`"
echo "UUID=$l  /data/tidb-xx/tikv4   ext4   defaults,nodelalloc,noatime 0 0">> /etc/fstab

执行以下命令查看磁盘的唯一标识 ID_SERIAL

#udevadm info --name=/dev/sdb | grep ID_SERIAL

#  如果多个磁盘都分配了数据目录,需要多次执行以上命令,记录所有磁盘各自的唯一标识。

11.检查并调整limits.conf

 

1
2
3
4
5
6
vi /etc/security/limits.conf
#####ADD FOR TIDB##########
tidb        soft        nofile        1000000
tidb        hard        nofile        1000000
tidb        soft        core          unlimited
tidb        soft        stack         10240

12.安装前再次检查

tidb检查

 

1
2
3
4
systemctl status fierwalld.service
systemctl status ntpd.service
cpupower frequency-info --policy
cat /etc/selinux/config

tikv需检查

 

1
2
3
4
5
6
7
8
9
10
11
12
cat /sys/block/nvme1n1/queue/scheduler
cat /sys/block/nvme2n1/queue/scheduler
cat /sys/block/nvme3n1/queue/scheduler
cat /sys/block/nvme4n1/queue/scheduler
cat /sys/block/nvme1n1/queue/scheduler
[none] mq-deadline kyber 
cat /sys/block/nvme2n1/queue/scheduler
[none] mq-deadline kyber 
cat /sys/block/nvme3n1/queue/scheduler
[none] mq-deadline kyber 
cat /sys/block/nvme4n1/queue/scheduler
[none] mq-deadline kyber

tidb:

 

1
2
cat /sys/block/sda/queue/scheduler
cat /sys/block/nvme1n1/queue/scheduler

四.部署集群

部署集群(中控机)

1.准备topology_xx_v4.0.12.yaml配置文件

2.开始部署

 

1
2
# tiup cluster deploy xxpool v4.0.12-20210427./topology.yaml
tiup cluster deploy xxpool v4.0.12-20210427 topology_xx_v4.0.12.yaml --user tidb

注:

v4.0.12-20210427安装包是那个版本就是写那个版本的

如果没有指定 -i 参数,会提示输入远程机器的登录密码,如果 key 包含 passphrase,则会提示输入。

五.参数优化

1.启动集群

tiup cluster start xxpool

2.参数优化

 

1
2
3
4
5
6
7
8
9
10
11
12
mysql -u root -h 10.100.100.101 -P 4000 -p *****
set @@global.tidb_opt_insubq_to_join_and_agg=1;
set @@global.tidb_mem_quota_query=34359738368;
set @@global.tidb_enable_table_partition='off';
set @@global.tidb_enable_telemetry='0';
set @@global.tidb_disable_txn_auto_retry='0';
set @@global.tidb_allow_batch_cop='0';
set @@global.tidb_multi_statement_mode='1';
set @@global.sql_mode='STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';
set @@global.tidb_skip_isolation_level_check='1';
set @@global.tidb_retry_limit='100';
set password for root@'%'=password('*******');

与[转帖]tidb集群部署相似的内容:

[转帖]tidb集群部署

http://blog.itpub.net/29785807/viewspace-2789852/ 一.安装规划 1 2 3 4 5 6 使用15台服务器 5台tidb服务器:每台3个tidb实例+1个pd+1个pump 10台tikv服务器:每台4个tikv实例 drainer_servers 安

[转帖]生产环境 TiDB 集群混合部署实践

https://tidb.net/book/tidb-monthly/2022/2022-04/usercase/tidb-cluster 一、背景​ 由于各种场外因素导致我们不能自由选择的理想硬件环境,加之目前单台物理机的硬件配置往往都高于需求,为了更合理地规划资源,很多时候一台服务器不能够“奢侈

[转帖]通过 TiUP 部署 TiDB 集群的拓扑文件配置

https://docs.pingcap.com/zh/tidb/stable/tiup-cluster-topology-reference 通过 TiUP 部署或扩容 TiDB 集群时,需要提供一份拓扑文件(示例)来描述集群拓扑。 同样,修改集群配置也是通过编辑拓扑文件来实现的,区别在于修改配置

[转帖]使用 TiUP 部署运维 TiDB 线上集群

https://docs.pingcap.com/zh/tidb/stable/tiup-cluster 本文重在介绍如何使用 TiUP 的 cluster 组件,如果需要线上部署的完整步骤,可参考使用 TiUP 部署 TiDB 集群。 与 playground 组件用于部署本地测试集群类似,clu

[转帖]使用 TiUP 部署 TiDB 集群

https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup TiUP 是 TiDB 4.0 版本引入的集群运维工具,TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件,通过 TiU

[转帖]使用 Grafana 监控 TiDB 的最佳实践

https://docs.pingcap.com/zh/tidb/stable/grafana-monitor-best-practices 使用 TiUP 部署 TiDB 集群时,如果在拓扑配置中添加了 Grafana 和 Prometheus,会部署一套 Grafana + Prometheus

[转帖]混合部署拓扑

https://docs.pingcap.com/zh/tidb/stable/tune-tikv-thread-performance 本文介绍 TiDB 集群的 TiKV 和 TiDB 混合部署拓扑以及主要参数。常见的场景为,部署机为多路 CPU 处理器,内存也充足,为提高物理机资源利用率,可单

[转帖]TiKV Control 使用说明

https://docs.pingcap.com/zh/tidb/stable/tikv-control TiKV Control(以下简称 tikv-ctl)是 TiKV 的命令行工具,用于管理 TiKV 集群。它的安装目录如下: 如果是使用 TiUP 部署的集群,在 ~/.tiup/compon

[转帖]TiKV Control 使用说明

https://docs.pingcap.com/zh/tidb/stable/tikv-control TiKV Control(以下简称 tikv-ctl)是 TiKV 的命令行工具,用于管理 TiKV 集群。它的安装目录如下: 如果是使用 TiUP 部署的集群,在 ~/.tiup/compon

[转帖]使用 TiUP cluster 在单机上安装TiDB

https://zhuanlan.zhihu.com/p/369414808 TiUP 是 TiDB 4.0 版本引入的集群运维工具,TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件,通过 TiUP cluster 组件就可以进行日常的运维工作,包括部署、启动、关