【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署

最佳,实践,可用,mongodb,集群,分片,副本,规划,部署 · 浏览次数 : 8

小编点评

**3.6.23 / 7.0.0 登任任一 mongos server** 1. 创建副本集认证的key文件用openssl生成密码文件，然后使用chmod来更改文件权限，仅为文件所有者提供读取权限cd ${MongoDir}/confopenssl rand -out mongo.keyfile -base64 90chmod 600 mongo.keyfilell mongo.keyfile-r-------- 1 mongod mongod 122 Aug 4 08:33 mongo.keyfile提示：所有副本集节点都必须要用同一份keyfile，一般是在一台机器上生成，然后拷贝到其他机器上，且必须有读的权限，否则将来会报错：permissions on ${MongoDir}/conf/mongo.keyfile are too open 2. 修改配置文件指定keyfile编辑配置文件，添加如下内容：for FILE in ${MongoDir}/conf/{config,shard1,mongos}.confdocat >> ${FILE} << EOFsecurity: keyFile: /u01/mongodb/conf/mongo.keyfileEOFdone■ node1 将修改后的配置文件和key文件拷贝到 node2、node3scp ${MongoDir}/conf/{config.conf,shard[1-3].conf,mongos.conf,mongo.keyfile} node2:${MongoDir}/confscp ${MongoDir}/conf/{config.conf,shard[1-3].conf,mongos.conf,mongo.keyfile} node3:${MongoDir}/conf■ 重新启动节点依次启动配置节点、分片节点、路由节点 **创建帐号和认证客户端mongosh** 1. 通过localhost或127.0.0.1登录任意一个mongos路由，可以执行创建操作提示：此时相当于一个后门，只能在 admin 下添加用户提示：通过mongos添加的账号信息，只会保存到配置节点的服务中，具体的数据节点不保存账号信息，因此分片中的账号信息不涉及到同步问题建议建议：先创建超管用户和普通用户，然后再开启安全配置创建管理员帐号：use admindb.createUser({user: \"admin\", pwd: \"passwd!2#\", roles: [\"root\"]})db.createUser({user: \"inspur\", pwd: \"passwd!2#\", roles: [\"userAdminAnyDatabase\"]})db.dropUser(\"inspur\")鉴权操作：db.auth(\"admin\", \"passwd!2#\")db.auth(\"inspur\", \"passwd!2#\")创建一个普通权限帐号：use testdbdb.createUser({user: \"liking\", pwd: \"passwd!2#\", roles: [\"readWrite\"]})db.auth(\"liking\", \"passwd!2#\")■ 用管理员帐号可查看整体的分片情况use admindb.auth(\"admin\", \"passwd!2#\")sh.status()■ 用普通帐号访问数据use testdbdb.auth(\"liking\", \"passwd!2#\")■ 客户端连接多个mongos的标准格式mongosh

正文

结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。
适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。

■■■ 分片集群规划

■ Configure hostname、hosts file、ip address

vim /etc/hosts
7.7.7.11 node1
7.7.7.12 node2
7.7.7.13 node3

注：规划、实施、运维均采用host解析的方式判定各个节点，因此需确保该配置文件需正确解析node1、node2、node3.

■ 节点的角色及端口分配

┌────node1────┬────node2────┬────node3────┬port─┐
│mongos server│mongos server│mongos server│20000│
├─────────────┼─────────────┼─────────────┼─────┤
│config server│config server│config server│21000│
│(Primary)    │(Secondary)  │(Secondary)  │     │
├─────────────┼─────────────┼─────────────┼─────┤
│shard server1│shard server1│shard server1│27001│
│(Primary)    │(Secondary)  │(Secondary)  │     │
└─────────────┴─────────────┴─────────────┴─────┘

■■■ Pre-task preparation

■ 依赖包

yum install -y libcurl openssl [3.6.23]
yum install -y xz-libs [6.0.0另需]

■ 用户及用户组

groupadd mongod
groupadd mongodb
useradd -g mongod -G mongodb mongod
echo "passwd"|passwd mongod --stdin

■ mongodb 下载、安装

官方所有介质均从这个入口下载：
https://www.mongodb.com/try/download

#20230911 最新版本，选择合适的平台介质
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-7.0.1.tgz
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel80-7.0.1.tgz

mkdir -p /u01
KDR=/u01
cd ${KDR}
TGZ=mongodb-linux-x86_64-rhel70-7.0.1

#cp_unzip_chown_ln:
cp /u01/nfs/MongoDB/${TGZ}.tgz .
tar zxvf ${TGZ}.tgz
chown -R mongod:mongod ${TGZ}
ln -s ${KDR}/${TGZ}/bin/* /usr/local/bin/

■ database-tools 下载、安装

6.0版本开始，将数据库相关的工具单独管理，以利于实时升级、发布
wget https://fastdl.mongodb.org/tools/db/mongodb-database-tools-rhel70-x86_64-100.8.0.tgz
wget https://fastdl.mongodb.org/tools/db/mongodb-database-tools-rhel80-x86_64-100.8.0.tgz

KDR=/u01
cd ${KDR}
TGZ=mongodb-database-tools-rhel70-x86_64-100.8.0
【后续步骤同上】
#cp_unzip_chown_ln:

■ mongosh 下载、安装

https://downloads.mongodb.com/compass/mongosh-2.0.0-linux-x64.tgz

KDR=/u01
cd ${KDR}
#TGZ=mongosh-1.10.6-linux-x64
TGZ=mongosh-2.0.0-linux-x64
【后续步骤同上】
#cp_unzip_chown_ln:

■ chronyd

配置时间同步

■ selinux

关闭selinux

■ firewalld

配置防火墙，确保放行这几个端口

firewall-cmd --add-port=20000/tcp --permanent
firewall-cmd --add-port=21000/tcp --permanent
firewall-cmd --add-port=27001-27003/tcp --permanent
firewall-cmd --reload

■ 3个节点创建mongodb数据库文件目录

MongoDir=/u01/mongodb
mkdir -p ${MongoDir}
chown -R mongod:mongod ${MongoDir}
cat >> /etc/profile << EOF
export MongoDir=${MongoDir}
EOF

■ 以下均用mongod用户操作

su - mongod
echo ${MongoDir}

■ 3个节点均建立6个目录：conf、mongos、config、shard1、shard2、shard3

mkdir -p ${MongoDir}/conf
mkdir -p ${MongoDir}/mongos/log
mkdir -p ${MongoDir}/config/data
mkdir -p ${MongoDir}/config/log
mkdir -p ${MongoDir}/shard1/data
mkdir -p ${MongoDir}/shard1/log
mkdir -p ${MongoDir}/shard2/data
mkdir -p ${MongoDir}/shard2/log
mkdir -p ${MongoDir}/shard3/data
mkdir -p ${MongoDir}/shard3/log

■ 检查目录结构

tree ${MongoDir} -L 2 --dirsfirst
├── conf
│   ├── config.conf
│   ├── mongos.conf
│   ├── shard1.conf
│   ├── shard2.conf
│   └── shard3.conf
├── config
│   ├── data
│   └── log
├── mongos
│   └── log
├── shard1
│   ├── data
│   └── log
├── shard2
│   ├── data
│   └── log
└── shard3
    ├── data
    └── log

■■■ config server

mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功

■ 配置文件

【3个节点执行】

cat > ${MongoDir}/conf/config.conf << EOF
processManagement:
  fork: true
  pidFilePath: ${MongoDir}/config/log/configsvr.pid
net:
  bindIpAll: true
  port: 21000
  ipv6: true
  maxIncomingConnections: 20000
storage:
  dbPath: ${MongoDir}/config/data
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
systemLog:
  destination: file
  path: ${MongoDir}/config/log/configsvr.log
  logAppend: true
sharding:
  clusterRole: configsvr
replication:
  replSetName: configs
setParameter:
  connPoolMaxConnsPerHost: 20000
EOF

■ 启动3个 config server

mongod -f ${MongoDir}/conf/config.conf

■ 登录任意一台配置服务器，初始化配置副本集

mongosh node1:21000

定义config变量：
config = {_id: "configs", members: [
  {_id: 0, host: "node1:21000"},
  {_id: 1, host: "node2:21000"},
  {_id: 2, host: "node3:21000"} ]
}
其中，_id: "configs"应与配置文件中的配置一致，"members" 中的 "host" 为三个节点的 ip 和 port

初始化副本集：
rs.initiate(config)

查看此时状态：
rs.status()

■■■ shard server

■ shard server1

【3个节点执行】
【注意】如果数据量并不大，分片需求不明显，可以先只创建shard server1，另外的分片2、分片3先不创建，后续根据实际需求可随时创建。

cat > ${MongoDir}/conf/shard1.conf << EOF
processManagement:
  fork: true
  pidFilePath: ${MongoDir}/shard1/log/shard1.pid
net:
  bindIpAll: true
  port: 27001
  ipv6: true
  maxIncomingConnections: 20000
storage:
  dbPath: ${MongoDir}/shard1/data
  wiredTiger:
    engineConfig:
      cacheSizeGB: 5
systemLog:
  destination: file
  path: ${MongoDir}/shard1/log/shard1.log
  logAppend: true
sharding:
  clusterRole: shardsvr
replication:
  replSetName: shard1
security:
  keyFile: ${MongoDir}/conf/mongo.keyfile
setParameter:
  connPoolMaxConnsPerHost: 20000
  maxNumActiveUserIndexBuilds: 6
EOF

启动3个 shard1 server:
mongod -f ${MongoDir}/conf/shard1.conf

登陆任意节点，初始化副本集：
注：初始化副本集的操作不能在仲裁节点上执行！在哪个节点初始化，则哪个节点默认是副本集的主节点。

mongosh --port 27001
使用admin数据库，定义副本集配置，"arbiterOnly":true 代表其为仲裁节点：
use admin
#模式选择 P/S/S
config = {_id: "shard1", members: [
    {_id: 0, host: "node1:27001"},
    {_id: 1, host: "node2:27001"},
    {_id: 2, host: "node3:27001"}
  ]
}
#模式选择 P/S/A
config = {_id: "shard1", members: [
    {_id: 0, host: "node1:27001"},
    {_id: 1, host: "node2:27001"},
    {_id: 2, host: "node3:27001", arbiterOnly:true}
  ]
}
rs.initiate(config);
rs.status()

■ shard server2 【备用，暂不执行】

■ shard server3 【备用，暂不执行】

■■■ mongos server

【3个节点执行】
注：需先启动 config server 和 shard server, 后启动 mongos server （3个节点）

cat > ${MongoDir}/conf/mongos.conf << EOF
processManagement:
  fork: true
  pidFilePath: ${MongoDir}/mongos/log/mongos.pid
net:
  bindIpAll: true
  port: 20000
  ipv6: true
  maxIncomingConnections: 20000
systemLog:
  destination: file
  path: ${MongoDir}/mongos/log/mongos.log
  logAppend: true
sharding:
  configDB: configs/node1:21000,node2:21000,node3:21000
EOF

启动3个 mongos server:
mongos -f ${MongoDir}/conf/mongos.conf

■■■ 启用分片机制

以上配置过程可见，mongos server 只有 configsvr 配置信息，并无 shardsvr 的信息，因此还需设置使分片可用，否则是无法使用分片的，就是说：shardsvr 无法直接操作，只能通过 mongos server 启用分片机制后，才能操作
问题：如果只有一个分片，还需要设置吗？答案是：需要，原因见上。

■ 3.6.23 / 7.0.0

登陆任一 mongos server, 使用 admin 数据库，串联路由服务器与分配副本集：

mongosh node1:20000
use admin
sh.addShard("shard1/node1:27001,node2:27001,node3:27001")
查看集群状态：
sh.status()
sh.removeShard("shard2")

■■■ 使用分片机制

暂不涉及，后续可视需要再配置。

■■■ 用户权限配置

对于搭建好的mongodb分片集群，为了安全，需启动安全认证，使用账号密码登录。
默认的mongodb是不设置认证的。只要ip和端口正确就能连接，这样是很不安全的。
mongodb官网声称，为了能保障mongodb的安全可以做以下几个步骤：
1、使用新的端口，默认的27017端口如果一旦知道了ip就能连接上，不太安全
2、设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公司内部访问使用vpn等
3、开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客户端连接到集群的账号密码认证方式
以下详细描述如何配置安全认证。

■ node1 创建副本集认证的key文件

用openssl生成密码文件，然后使用chmod来更改文件权限，仅为文件所有者提供读取权限

cd ${MongoDir}/conf
openssl rand -out mongo.keyfile -base64 90
chmod 600 mongo.keyfile
ll mongo.keyfile
-r-------- 1 mongod mongod 122 Aug  4 08:33 mongo.keyfile

提示：所有副本集节点都必须要用同一份keyfile，一般是在一台机器上生成，然后拷贝到其他机器上，且必须有读的权限，否则将来会报错：
permissions on ${MongoDir}/conf/mongo.keyfile are too open

■ node1 修改配置文件指定keyfile

编辑配置文件，添加如下内容：

for FILE in ${MongoDir}/conf/{config,shard1,mongos}.conf
do
cat >> ${FILE} << EOF
security:
  keyFile: /u01/mongodb/conf/mongo.keyfile
EOF
done

■ node1 将修改后的配置文件和key文件拷贝到 node2、node3

scp ${MongoDir}/conf/{config.conf,shard[1-3].conf,mongos.conf,mongo.keyfile} node2:${MongoDir}/conf
scp ${MongoDir}/conf/{config.conf,shard[1-3].conf,mongos.conf,mongo.keyfile} node3:${MongoDir}/conf

■ 重新启动节点

依次启动配置节点、分片节点、路由节点

■ 创建帐号和认证

客户端mongosh，通过localhost或127.0.0.1登录任意一个mongos路由，可以执行创建操作
提示：此时相当于一个后门，只能在 admin 下添加用户
提示：通过mongos添加的账号信息，只会保存到配置节点的服务中，具体的数据节点不保存账号信息，因此分片中的账号信息不涉及到同步问题
建议：先创建超管用户和普通用户，然后再开启安全配置

创建管理员帐号：

use admin
db.createUser({user: "admin", pwd: "passwd!2#", roles: ["root"]})
db.createUser({user: "inspur", pwd: "passwd!2#", roles: ["userAdminAnyDatabase"]})
db.dropUser("inspur")
鉴权操作：
db.auth("admin", "passwd!2#")
db.auth("inspur", "passwd!2#")

创建一个普通权限帐号：

use testdb
db.createUser({user: "liking", pwd: "passwd!2#", roles: ["readWrite"]})
db.auth("liking", "passwd!2#")

■ 用管理员帐号可查看整体的分片情况

use admin
db.auth("admin", "passwd!2#")
sh.status()

■ 用普通帐号访问数据

use testdb
db.auth("liking", "passwd!2#")

■ 客户端连接多个mongos的标准格式

mongosh mongodb://'admin':'passwd%212%23'@node1:20000,node2:20000,node3:20000/testdb?authSource=admin
最佳 实践 可用 mongodb 集群 分片 副本 规划 部署

与【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署相似的内容：

【最佳实践】高可用mongodb集群(1分片+3副本):规划及部署

结合我们的生产需求，本次详细整理了最新版本 MonogoDB 7.0 集群的规划及部署过程，具有较大的参考价值，基本可照搬使用。 适应数据规模为T级的场景，由于设计了分片支撑，后续如有大数据量需求，可分片横向扩展。 ■■■ 分片集群规划 ■ Configure hostname、hosts file

最佳 实践 可用 mongodb
8
京东短网址高可用提升最佳实践

短网址，是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址。

京东 网址 可用 提升
1292
[转帖]【最佳实践】瀚高数据库安全版v4.5.8安装

瀚高数据库安全版v4.5.8已发布，功能和安装方式都有所不同。下面先跟我一起安装上吧。 操作系统环境：Centos7.9，处理器：x86_64 （说明：以下每一节的命令操作，均可以复制粘贴直接执行） 1. 安装软件 将软件包上传到root用户的目录下，执行以下命令校验安装包完整性，然后执行安装： m

最佳 实践 数据库安全 v4
0
[转帖]Elasticsearch 的 30 个调优最佳实践！

Elasticsearch 的 30 个调优最佳实践！ https://zhuanlan.zhihu.com/p/406264041 ES 发布时带有的默认值，可为 es 的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用，当你更清楚的知道你想如何使用 es 后，你

elasticsearch 最佳 实践
0
Kafka最佳实践

前言 Kafka 最佳实践，涉及 典型使用场景 Kafka 使用的最佳实践 Kafka 典型使用场景 Data Streaming Kafka 能够对接到 Spark、Flink、Flume 等多个主流的流数据处理技术。利用 Kafka 高吞吐量的特点，客户可以通过 Kafka 建立传输通道，把应用

kafka 最佳 实践
629
一次redis主从切换导致的数据丢失与陷入只读状态故障

## 背景 最近一组业务redis数据不断增长需要扩容内存，而扩容内存则需要重启云主机，在按计划扩容升级执行主从切换时意外发生了数据丢失与master进入只读状态的故障，这里记录分享一下。 ## 业务redis高可用架构 该组业务redis使用的是一主一从，通过sentinel集群实现故障时的自动主

一次 redis 主从 切换
2306
跨机房ES同步实战

作者：谢泽华 背景 众所周知单个机房在出现不可抗拒的问题（如断电、断网等因素）时，会导致无法正常提供服务，会对业务造成潜在的损失。所以在协同办公领域，一种可以基于同城或异地多活机制的高可用设计，在保障数据一致性的同时，能够最大程度降低由于机房的仅单点可用所导致的潜在高可用问题，最大程度上保障业务的用

机房 es 同步 实战
539
国际财务系统基于ShardingSphere的数据分片和一主多从实践

作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨

国际 财务 系统 基于
335
Java7提供的Fork/Join框架实现高并发程序，你会使用吗？

摘要：Fork/Join框架位于J.U.C(java.util.concurrent)中，是Java7中提供的用于执行并行任务的框架，其可以将大任务分割成若干个小任务，最终汇总每个小任务的结果后得到最终结果。 本文分享自华为云社区《如何使用Java7提供的Fork/Join框架实现高并发程序？》，作

java7 提供 fork join
81
[转帖]openGauss 3.0 单节点安装部署

https://cdn.modb.pro/db/568455 openGauss来源于PostgreSQL 9.2.4pg使用c实现，gs使用c++实现一个实例多个库 单机HA不是支持一主一备，提供高可靠和读扩展，备机最多8套。 主备部署模块说明：OM运维管理模块：提供日常运维、配置管理接口，工具在

opengauss 节点 安装 部署
0
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.