[转帖]TiKV集群搭建

tikv,集群,搭建 · 浏览次数 : 0

小编点评

**准备环境准备** 1. 创建 4 台 Ubuntu 16.04 虚拟机。 2. 为虚拟机配置磁盘。 3. 编辑 SSH 配置文件 ( /etc/ssh/sshd_config )并设置 PermitRootLogin 和 PasswordAuthentication 为 yes。 4. 安装 tiup 工具。 5. 创建部署拓扑图文件 ( topo.yaml )。 **部署步骤** **3.1. 安装 tiup 工具** ``` curl --proto '=https' --tlsv1.2 -sSf & https://tiup-mirrors.pingcap.com/install.sh & shsource .bash_profiletiup clustertiup update --self & tiup update cluster ``` **3.2. 创建部署拓扑图文件** ``` vim topo.yaml ``` **3.3. 开始部署** ``` tiup cluster deploy foobar v5.1.0 ./topo.yaml --user tikv -i ~/.ssh/id_rsatiup cluster start foobar ``` **3.4. 认证集群是否部署成功** ``` tiup cluster listtiup cluster display foobar ``` **3.5. 安装 cli 工具** ``` tiup ctl:v5.2.04.testTiKV ``` **3.6. 使用 tiv 工具测试集群** ``` tiv cluster go client test ``` **其他** * 将 `foobar` 替换为您的集群名称。 * 将 `v5.1.0` 替换为您的 tikv 版本。 * 请确保所有节点都执行相同的部署步骤。 * 请使用您的凭据来登录远程节点。

正文

https://www.cnblogs.com/luohaixian/p/15227788.html

 

1.准备环境

准备4台ubuntu 16.04虚拟机

 

部署规划:

节点类型
CPU
内存
存储
部署数量
所在节点IP
TiKV 8 core 8 GB 200GB 3

10.10.10.2

10.10.10.3

10.10.10.4

PD 8 core 8 GB   3

10.10.10.2

10.10.10.3

10.10.10.4

monitoring server 8 core 8 GB   1 10.10.10.5

grafana server

8 core 8 GB   1 10.10.10.5

alertmanager server

8 core 8 GB   1 10.10.10.5

 

2.安装预准备

2.1.初始化磁盘

这里以/dev/vdb为例,这步操作需要在10.10.10.2、10.10.10.3和10.10.10.4这3个节点上执行。

(1)为磁盘分区

parted -s -a optimal /dev/vdb mklabel gpt -- mkpart primary ext4 1 -1

(2)格式化分区

mkfs.ext4 /dev/vdb

(3)查看分区设备uuid

lsblk -f

 

(4)将以下挂载信息写入到/etc/fstab文件里

UUID=e8ca4d78-1f1e-4a0d-a778-efdc1e47b22b /data ext4 defaults,nodelalloc,noatime 0 2

(5)执行挂载命令

mkdir -p /data && mount -a

(6)检查是否挂载上了

mount -t ext4

2.2.添加tikv用户并让各节点tikv用户能互相免认证登录

这步操作需要在每个节点上执行。

编辑/etc/ssh/sshd_config,以下两个配置设为yes,保存后退出(方便用root ssh登录,方便后面添加tikv user)

PermitRootLogin yes
PasswordAuthentication yes

 

重启sshd服务:

sudo service sshd restart

 

useradd tikv && passwd

执行visudo命令在末尾加上以下文本

tikv ALL=(ALL) NOPASSWD: ALL

保存退出(按crtl+o,然后enter,然后crtl+x)

 

配置免认证登录:

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub 其它节点的IP

 

认证是否能免认证登录其它节点:

ssh 其它节点的IP

 

认证tikv用户是否能免密切换到root用户:

sudo -su root

 

3.开始部署

这步操作只需要在1个节点上操作,比如在10.10.10.2节点上操作。

3.1.安装tiup部署工具

curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

source .bash_profile

tiup cluster

tiup update --self && tiup update cluster

 

认证是否安装成功:

tiup update --self && tiup update cluster

 

3.2.创建部署拓扑图文件

vim topo.yaml

填入以下内容后保存退出。

global:

  user: "tikv"

  ssh_port: 22

  deploy_dir: "/data/tikv-deploy"

  data_dir: "/data/tikv-data"

 

pd_servers:

  - host: 10.10.10.2

  - host: 10.10.10.3

  - host: 10.10.10.4

 

tikv_servers:

  - host: 10.10.10.2

  - host: 10.10.10.3

  - host: 10.10.10.4

 

monitoring_servers:

  - host: 10.10.10.5

 

grafana_servers:

  - host: 10.10.10.5

 

alertmanager_servers:

  - host: 10.10.10.5

 

3.2.开始部署

执行以下命令,一条一条执行(foobar是集群名,可以自己更改,v5.1.0是tikv版本,也可以更改):

tiup cluster deploy foobar v5.1.0 ./topo.yaml --user tikv -i ~/.ssh/id_rsa

tiup cluster start foobar

 

3.3.认证集群是否部署成功

tiup cluster list

tiup cluster display foobar

 

浏览器登录监控平台页面:http://10.10.10.5:3000/

初始账号密码:admin/admin

 

3.4.安装cli工具进行TiKV管理

安装指定版本的管理工具,比如安装5.2.0的cli管理工具:

tiup ctl:v5.2.0

4.测试TiKV集群

使用tikv的go client测试tikv集群

例子链接:https://tikv.org/docs/4.0/reference/clients/go/

 

使用tikv的python client测试tikv集群

例子链接:https://tikv.org/docs/5.1/concepts/tikv-in-5-minutes/#set-up-a-local-tikv-cluster-with-the-default-options

与[转帖]TiKV集群搭建 相似的内容:

[转帖]TiKV集群搭建

https://www.cnblogs.com/luohaixian/p/15227788.html 1.准备环境 准备4台ubuntu 16.04虚拟机 部署规划: 节点类型 CPU 内存 存储 部署数量 所在节点IP TiKV 8 core 8 GB 200GB 3 10.10.10.2 10.

[转帖]TIDB - TIDB集群的扩容和缩容及TIUP指令说明

一、TIUP工具简介 前面介绍了使用TIUP搭建TIDB集群,本篇文章详细介绍下使用TIUP对集群进行扩容和缩容。 在面对双十一这种流量突峰的场景,我们平常的TIDB集群有可能承受不住,因此需要提前进行扩容,例如增加tidb-server,以增加TIDB的计算能力,增加tikv-server,增加T

[转帖]TiKV Control 使用说明

https://docs.pingcap.com/zh/tidb/stable/tikv-control TiKV Control(以下简称 tikv-ctl)是 TiKV 的命令行工具,用于管理 TiKV 集群。它的安装目录如下: 如果是使用 TiUP 部署的集群,在 ~/.tiup/compon

[转帖]TiKV Control 使用说明

https://docs.pingcap.com/zh/tidb/stable/tikv-control TiKV Control(以下简称 tikv-ctl)是 TiKV 的命令行工具,用于管理 TiKV 集群。它的安装目录如下: 如果是使用 TiUP 部署的集群,在 ~/.tiup/compon

[转帖]TiKV 缩容不掉如何解决?

https://tidb.net/book/tidb-monthly/2022/2022-04/usercase/tikv TiKV节点缩容不掉,通常遇到的情况: 1、经常遇到的情况是:3个节点的tikv集群缩容肯定会一直卡着,因为没有新节点接受要下线kv的region peer。 2、另外就是除缩

[转帖]TiKV 缩容不掉如何解决?

TiKV节点缩容不掉,通常遇到的情况: 1、经常遇到的情况是:3个节点的tikv集群缩容肯定会一直卡着,因为没有新节点接受要下线kv的region peer。 2、另外就是除缩容tikv外,剩下的KV硬盘使用情况比较高,到达schedule.high-space-ratio=0.6的限制,导致该ti

[转帖]TIKV扩容之刨坑填坑​

01 背景 某tidb集群收到告警,TIKV 节点磁盘使用率85%以上,联系业务无法快速删除数据,于是想到扩容TIKV 节点,原先TIKV 节点机器都是6TB的硬盘,目前只有3TB的机器可扩,也担心region 均衡后会不会打满3TB的盘,PD 调度策略来看应该是会根据不同存储机器的资源配置和使用情

[转帖]TiKV读写流程浅析

https://www.cnblogs.com/luohaixian/p/15227838.html 1.TiKV框架图和模块说明 图1 TiKV整体架构图 1.1.各模块说明 PD Cluster:它是由多个PD节点组成的etcd集群,PD是具有“上帝视角”的管理组件,负责存储元数据和进行负载均衡

[转帖]构建 TiFlash 副本

https://docs.pingcap.com/zh/tidb/stable/create-tiflash-replicas 按表构建 TiFlash 副本 TiFlash 接入 TiKV 集群后,默认不会开始同步数据。可通过 MySQL 客户端向 TiDB 发送 DDL 命令来为特定的表建立 T

[转帖]三篇文章了解 TiDB 技术内幕 - 谈调度

返回全部 申砾产品技术解读2017-06-06 为什么要进行调度 先回忆一下 三篇文章了解 TiDB 技术内幕 - 说存储 提到的一些信息,TiKV 集群是 TiDB 数据库的分布式 KV 存储引擎,数据以 Region 为单位进行复制和管理,每个 Region 会有多个 Replica(副本),这