Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群

rancher,系列,文章,腾讯,k3s,安装,可用,集群 · 浏览次数 : 241

小编点评

**安装步骤** **K3S3 个 Master 和 Server 地址** ``` K3S API Server 地址:https://<3个master IP 地址任一个>:6443 (6443 端口目前没有配置 CLB) ``` **K3S kubeconfig 配置** ``` location k3s { k3s.yaml operationals.autok3s.kube/config } ``` **CLB使用的 CLB监听器为:** ``` rancher(TCP:<port>) 转到 3 台 master 的 443 端口 ``` **备份 COSK3S 和 Rancher** ``` CLB使用的 CLB监听器为:rancher(TCP:<port>) 转到 3 台 master 的 443 端口 ``` **配置 Auto Clean规则** ``` 自动清理规则: 自动清理 1 个月前的文件。 ``` **三人行** **必有我师** **知识共享,天下为公。**

正文

开篇

📜 引言

  • 三人行必有我师焉
  • 知识共享,天下为公

方案

在腾讯云的 K3S 上安装 Rancher

方案目标

  1. 高可用
    1. 3 台 master 的 k3s 集群
    2. 高可用模式的 rancher
  2. 数据备份
    1. rancher 数据备份到 腾讯云对象存储 cos
  3. 安全加密
    1. 不能存在 http,全部是 https
  4. 面向客户
    1. 公网可访问;
    2. 域名可访问;
    3. 正式证书
  5. 尽量复用公有云的能力
    1. Tencent Cloud Controller Manager (❌ 因为腾讯云已经放弃维护相关源码,所以无法复用)
    2. SVC LoadBalancer 调用 CLB (❌ 因为腾讯云已经放弃维护相关源码,所以无法复用)
    3. CLB - 使用 4 层 CLB
    4. 备份 - 使用腾讯云 COS

前提条件

  1. 有腾讯云账户,账户至少拥有如下权限:auto k3s 安装 - 设置 CAM 以及这些权限:

    1. QcloudTAGFullAccess
  2. 该腾讯云账号有对应的 API 密钥,地址:访问密钥 - 控制台 (tencent.com) ,或者拥有相关权限:cam:QueryCollApiKeycam:CreateCollApiKey

  3. 一个对象存储通 cos,用于备份

  4. Rancher 的域名

  5. Rancher 的域名对应的证书(如果没有,会尝试通过 cert-manager 和 let’s encrypt 自动生成免费的证书)

注意事项

Rancher 安装注意事项

  1. 通过 Helm Chart 进行高可用安装

  2. 安装前需要调整:

    1. 安全组
  3. 安装后需要配置:

    1. LB
    2. Backup
  4. ⚠️付费模式,COS 按需调整付费模式。

安装步骤

Rancher

🚩 Important:

通过 Helm Chart 安装

Rancher 端口要求

📚️ Quote:

K3s 上 Rancher Server 节点的端口

Rancher Server 节点的入站规则

协议 端口 来源 描述
TCP 80 Load balancer/proxy,做外部 SSL 终端 使用外部 SSL 终止时的 Rancher UI/API
TCP 443 server 节点 agent 节点托管/注册的 Kubernetes 任何需要能够使用 Rancher UI 或 API 的源 Rancher agent, Rancher UI/API, kubectl
TCP 6443 K3s server 节点 Kubernetes API

最后具体的安全组配置如下:(应该可以进一步收紧)

Rancher 高可用安装

先安装 helm chart 并创建 ns:

helm repo add rancher-stable http://rancher-mirror.oss-cn-beijing.aliyuncs.com/server-charts/stable

kubectl create namespace cattle-system

SSL 选项为:已有的证书,通过 Helm 安装 Rancher:

📚️ Quote:

根据你选择的 SSL 选项,通过 Helm 安装 Rancher

先添加证书到 k8s secret:

kubectl -n cattle-system create secret tls tls-rancher-ingress \
  --cert=tls.crt \
  --key=tls.key
helm install rancher rancher-stable/rancher \
 --namespace cattle-system \
 --set hostname=<your-rancher-domain> \
 --set replicas=3 \
 --set ingress.tls.source=secret \
 --set systemDefaultRegistry=registry.cn-hangzhou.aliyuncs.com \
 --set auditLog.level=1 \

运行后输出如下:

NAME: rancher
LAST DEPLOYED: Sat Feb 12 20:10:14 2022
NAMESPACE: cattle-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Rancher Server has been installed.

NOTE: Rancher may take several minutes to fully initialize. Please standby while Certificates are being issued, Containers are started and the Ingress rule comes up.

Check out our docs at https://rancher.com/docs/

If you provided your own bootstrap password during installation, browse to https://<your-rancher-domain> to get started.

If this is the first time you installed Rancher, get started by running this command and clicking the URL it generates:

echo https://<your-rancher-domain>/dashboard/?setup=$(kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}')

To get just the bootstrap password on its own, run:

kubectl get secret --namespace cattle-system bootstrap-secret -o go-template='{{.data.bootstrapPassword|base64decode}}{{ "\n" }}'

Happy Containering!

🔥 Notice:

注意 Rancher 域名的 443 权限要开通。

ℹ️ Info:

  • 要安装一个特定的 Rancher 版本,使用--version 标志,例如:--version 2.3.6

之后访问 UI 进行初始密码设置等工作。

🎉 至此,Rancher 高可用集群安装完成。

Rancher 中国区优化配置

参考这里:

收尾工作

调整安全组

入站规则:

  1. TCP:22(SSH) 端口权限收紧
  2. TCP:6443(K8S API) 端口权限收紧
  3. UDP:8472(K3s vxlan) 只开放给内网
  4. TCP:10250(kube api-server) 只开放给内网

最终效果如下:(应该可以进一步收紧)

配置 LB

📚️ Quote:

外部 TLS Termination:

我们建议将负载均衡器配置为 4 层均衡器,将普通 80/tcp 和 443/tcp 转发到 Rancher 管理集群节点。集群上的 Ingress Controller 会将端口 80 上的 http 通信重定向到端口 443 上的 https。

如上面所述,所以通过 4 层 LB, 将 443/tcp 转到后端。如下图:

配置 Rancher Backup

📚️ Quote:

Rancher v2.5 中的备份和恢复 | Rancher 文档

备份 Rancher | Rancher 文档

Rancher Backup Examples

通过 UI 安装:

先创建 cos 存储的认证信息 Secret:

apiVersion: v1
stringData:
  accessKey: <your-ak>
  secretKey: <your-sk>
kind: Secret
metadata:
  name: cos-creds
  namespace: cattle-resources-system
type: Opaque

然后在 应用市场 选择 Rancher Backup 安装:

image-20220212234820849

配置 对象存储:

安装成功日志如下:


helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-crd-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup-crd /home/shell/helm/rancher-backup-crd-2.1.0.tgz
...
---------------------------------------------------------------------
SUCCESS: helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-crd-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup-crd /home/shell/helm/rancher-backup-crd-2.1.0.tgz
---------------------------------------------------------------------
helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup /home/shell/helm/rancher-backup-2.1.0.tgz
...
---------------------------------------------------------------------
SUCCESS: helm upgrade --install=true --namespace=cattle-resources-system --timeout=10m0s --values=/home/shell/helm/values-rancher-backup-2.1.0.yaml --version=2.1.0 --wait=true rancher-backup /home/shell/helm/rancher-backup-2.1.0.tgz
---------------------------------------------------------------------

配置 Backup, 如下:

image-20220213000206732

🎉 登录 COS 发现已经成功备份。

总结

🎉🎉🎉 至此,完成腾讯云上 K3S 高可用集群 及 Rancher 高可用集群的搭建,并配置备份。

以下是安装的相关信息:

K3s

  1. 3 个 Master 和 Server 地址

  2. K3S API Server 地址:https://<3个master IP 地址任一个>:6443 (6443 端口目前没有配置 CLB)

  3. K3S kubeconfig 配置:位于 k3s 的/etc/rancher/k3s/k3s.yaml 以及操作机的 /root/.autok3s/.kube/config

Rancher

  1. 地址:
    1. 公网访问:https://<your-rancher-domain>:<port>/
    2. 内网访问:https://<your-rancher-domain>:443 (需要编辑自己电脑的 hosts , 将 3 个 master 任一内网 IP 映射到该域名)
  2. 账号:Admin
  3. 密码

安全组

使用的安全组,最终配置如下:(应该可以进一步收紧)

CLB

使用的 CLB

监听器为:rancher(TCP:<port>) 转到 3 台 master 的 443 端口。

备份 COS

K3S 和 Rancher 都配置了备份,备份到对象存储 cos 中。具体的地址为:

  1. 桶:rancher-backup-
  2. 域名:https://rancher-backup-<cos-id>.cos.ap-shanghai.myqcloud.com
  3. S3 Endpoint: cos.ap-shanghai.myqcloud.com
  4. 文件夹为:
    1. k3s 为:/rancher-1/rancher/rancher(备份策略:每天 0 点备份,保留 5 份)
    2. rancher 为:/rancher-1/rancher/k3s (备份策略,每天 0 点备份)
  5. COS 生命周期为:自动清理 1 个月前的文件。(配置 自动清理规则

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

与Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群相似的内容:

Rancher 系列文章-在腾讯云的 K3S 上安装高可用 Rancher 集群

开篇 📜 引言: 三人行必有我师焉 知识共享,天下为公 《K3s 系列文章》 《Rancher 系列文章》 方案 在腾讯云的 K3S 上安装 Rancher 方案目标 高可用 3 台 master 的 k3s 集群 高可用模式的 rancher 数据备份 rancher 数据备份到 腾讯云对象存储

K3S系列文章-使用AutoK3s在腾讯云上安装高可用K3S集群

开篇 《K3s 系列文章》 《Rancher 系列文章》 方案 在腾讯云上安装 K3S 后续会在这套 K3S 集群上安装 Rancher 方案目标 高可用 3 台master 的 k3s 集群 数据备份 k3s 数据备份到 腾讯云对象存储 cos 尽量复用公有云的能力 ~~Tencent Cloud

Rancher系列文章-Rancher v2.6使用脚本实现导入集群

概述 最近在玩 Rancher, 先从最基本的功能玩起, 目前有几个已经搭建好的 K8S 集群, 需要批量导入, 发现官网已经有批量导入的文档了. 根据 Rancher v2.6 进行验证微调后总结经验. 1. Rancher UI 获取创建集群参数 访问Rancher_URL/v3/cluster

Rancher 系列文章-Rancher 升级

概述 之前在 天翼云上用 4 台机器安装了一个 1 master(及 etcd) 3 node 的 K3S 集群,并在其上使用 Helm 安装了 Rancher 2.6.3 版本。 前几天发现 Rancher 官方推荐的最新版为:v2.6.4 所以决定先后对 Rancher 和 K3S 集群进行升级

Rancher 系列文章-Rancher 对接 Active Directory 实战

概述 只要是个公司,基本上都有邮箱和 AD(Active Directory). 在 AD 里,已经有了: 用户 账号密码 邮箱 用户组 组织架构 所以对于一些仅限于本公司一定范围内人员使用的管理或后台或运营运维类系统,其实是非常适合对接 AD 来进行认证、分组,以及根据分组来进行权限分配的。 对于

Rancher 系列文章-K3s Traefik MiddleWare 报错-Failed to create middleware keys

概述 书接上回:《Rancher 系列文章-K3S 集群升级》, 我们提到:通过一键脚本升级 K3S 集群有报错。 接下来开始进行 Traefik 报错的分析和修复, 问题是: 所有 Traefik 的 IngressRoute 访问报错 404 问题描述 报错如下: time="2022-05-0

Rancher 系列文章-K3S 集群升级

概述 书接上回:《Rancher 系列文章-Rancher 升级》, 我们提到:将 Rancher 用 Helm 从 v2.6.3 升级到 v2.6.4. 接下来开始进行 K3S 集群的升级:将 K3S 集群从 v1.21.7+k3s1 升级到 v1.22.5+k3s2 相关信息 本次升级的 K3S

Rancher 系列文章-RHEL7.8 离线有代理条件下安装单节点 Rancher

一 基础信息 1.1 前提 本次安装的为 20220129 最新版:Rancher v2.6.3 VM 版本为 RHEL 7.8, 7.9 或 8.2, 8.3, 8.4(Rancher 官网要求) VM YUM 仓库:已配置对应版本的 RHEL 和 EPEL YUM 仓库 VM 提供 root 权

K3S 系列文章-5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout'分析与解决

开篇 《K3s 系列文章》 《Rancher 系列文章》 问题概述 20220606 5G IoT 网关设备同时安装 K3S Server, 但是 POD 却无法访问互联网地址,查看 CoreDNS 日志提示如下: ... [ERROR] plugin/errors: 2 update.traefi

大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s

前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 📚️Reference: IoT 边缘计算系列文章 Rancher + K3s 简介 Rancher: Kubernetes 统一管理平台, Rancher 是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个 K