Go 如何对多个网络命令空间中的端口进行监听

go · 浏览次数 : 32

小编点评

本文主要介绍了在 Go 语言中实现对多个网络命名空间（network namespace）中的端口进行监听和代理的方法。文章首先指出在 Go 1.x 版本中，需要对每个网络命名空间创建一个独立的线程来进行操作，这会导致线程数量和网络命名空间的数量成一对一的关系，从而增加资源消耗。为了解决这个问题，文章提出了一种新的方案，即在套接字创建之前切换到对应的命名空间，而不需要为每个命名空间创建新的线程。 文章详细介绍了如何使用 Go 语言中的 netns 库来操作网络命名空间，并提供了一个示例，其中展示了如何在默认的三个网络命名空间（ns1、ns2 和 ns3）中监听 8000 端口。示例代码中还包含了如何将goroutine绑定到当前线程上，以防止被调度到其他网络命名空间，以及如何使用 epoll 封装来处理 Sockets。 最后，文章通过实验验证了该方案的可行性，并对比了使用传统线程实现的方案，证明了在 Go 语言中实现对多个网络命名空间中的端口进行监听和代理的优势。

正文

Go 如何对多个网络命令空间中的端口进行监听

需求为 对多个命名空间内的端口进行监听和代理。

刚开始对 netns 的理解不够深刻，以为必须存在一个新的线程然后调用 setns(2) 切换过去，如果有新的 netns 那么需要再新建一个线程切换过去使用，这样带来的问题就是线程数量和 netns 的数量为 1:1，资源占用会比较多。

当时没有想到别的好办法，Go 里面也不能创建线程，只能想到使用一个 C 进程来实现这个功能，这里就多了 通信交互/协议解析处理/资源占用 的成本。

新方案

后面在 stackoverflow 中闲逛看到一篇文章 https://stackoverflow.com/questions/28846059/can-i-open-sockets-in-multiple-network-namespaces-from-my-python-code，看到了关键点 在套接字创建之前，切换到对应的命名空间，并不需要创建线程。

这样就可以一个线程下对多个命名空间的端口进行监听，可以减少线程本身资源的占用以及额外的管理成本。

原来 C 实现的改造比较好实现，删除创建线程那一步差不多就可以了。如何更进一步使用 Go 实现，减少维护的成本？

使用 Go 进行实现

保证套接字创建时在某个命名空间内，就可以完成套接字后续的操作，不必使用一个线程来持有一个命名空间，建立一个典型的 TCP 服务如下

  1. 获取并且保存默认网络命名空间
  2. 加锁防止多个网络命名空间同时切换，将 goroutine 绑定到当前的线程上防止被调度
  3. 获取需要操作的网络命名空间，并且切换过去 setns
  4. 监听套接字 net.Listen
  5. 切换到默认的命名空间（还原）
  6. 释放当前线程的绑定，释放锁

实现对 TCP 的监听

使用 github.com/vishvananda/netns 这个库对网络命名空间进行操作，一个同时在 默认/ns1/ns2 三个命名空间内监听 8000 端口的例子如下：

命名空间创建命令

ip netns add ns1
ip netns add ns2

package main

import (
	"net"
	"runtime"
	"sync"

	"github.com/pkg/errors"
	"github.com/sirupsen/logrus"
	"github.com/vishvananda/netns"
)

var (
	mainNetnsHandler netns.NsHandle
	mainNetnsMutex   sync.Mutex
)

func mustInitMainNetnsHandler() {
	nh, err := netns.Get()
	if err != nil {
		panic(err)
	}
	mainNetnsHandler = nh
}

func ListenInsideNetns(ns, network, address string) (net.Listener, error) {
	if ns == "" {
		return net.Listen(network, address)
	}

	var set bool

	mainNetnsMutex.Lock()
	runtime.LockOSThread()
	defer func() {
		if set {
			err := netns.Set(mainNetnsHandler)
			if err != nil {
				logrus.WithError(err).Warn("Fail to back to main netns")
			}
		}

		runtime.UnlockOSThread()
		mainNetnsMutex.Unlock()
	}()

	nh, err := netns.GetFromName(ns)
	if err != nil {
		return nil, errors.Wrap(err, "netns.GetFromName")
	}
	defer nh.Close()

	err = netns.Set(nh)
	if err != nil {
		return nil, errors.Wrap(err, "netns.Set")
	}
	set = true

	return net.Listen(network, address)
}

func serve(listener net.Listener) error {
	for {
		conn, err := listener.Accept()
		if err != nil {
			return err
		}
		logrus.WithFields(logrus.Fields{"local": conn.LocalAddr(), "remote": conn.RemoteAddr()}).Info("New conn")
		conn.Write([]byte("hello"))
		conn.Close()
	}
}

func main() {
	mustInitMainNetnsHandler()

	wg := sync.WaitGroup{}
	wg.Add(3)

	go func() {
		defer wg.Done()
		lis, err := ListenInsideNetns("", "tcp", ":8000")
		if err != nil {
			panic(err)
		}
		logrus.WithFields(logrus.Fields{"netns": "", "addr": lis.Addr()}).Info("Listen on")

		serve(lis)
	}()

	go func() {
		defer wg.Done()
		lis, err := ListenInsideNetns("ns1", "tcp", ":8000")
		if err != nil {
			panic(err)
		}
		logrus.WithFields(logrus.Fields{"netns": "ns1", "addr": lis.Addr()}).Info("Listen on")

		serve(lis)
	}()

	go func() {
		defer wg.Done()
		lis, err := ListenInsideNetns("ns2", "tcp", ":8000")
		if err != nil {
			panic(err)
		}
		logrus.WithFields(logrus.Fields{"netns": "ns2", "addr": lis.Addr()}).Info("Listen on")

		serve(lis)
	}()

	wg.Wait()
}

UDP/SCTP 的监听

UDP 监听和 TCP 无异，Go 会做好调度不会产生新线程。

SCTP 如果是使用库 github.com/ishidawataru/sctp，那么需要注意这个库就是简单的 fd 封装，并且其 Accept() 是一个阻塞的动作，在 for 循环内调用 Accept() 会导致 Go runtime 会创建一个新线程来防止阻塞。

解决方案如下，直接操作 fd

  1. 设置非阻塞
  2. 手动使用 epoll 封装（必须是 epoll，select/poll 在几百个fd的情况下性能很差，无连接的情况负载都很高）。

获取 fd 的方式如下

type sctpWrapListener struct {
	*sctp.SCTPListener
	fd int
}

func listenSCTP(network, address string) (*sctpWrapListener, error) {
	addr, err := parseSCTPAddr(address)
	if err != nil {
		return nil, err
	}

	sctpFd := 0
	sc := sctp.SocketConfig{
		InitMsg: sctp.InitMsg{NumOstreams: sctp.SCTP_MAX_STREAM},
		Control: func(network, address string, c syscall.RawConn) error {
			return c.Control(func(fd uintptr) {
				err := syscall.SetNonblock(int(fd), true)
				if err != nil {
					syscall.Close(int(fd))
					return
				}
				sctpFd = int(fd)
			})
		},
	}
	l, err := sc.Listen(network, addr)
	if err != nil {
		return nil, err
	}
	return &sctpWrapListener{SCTPListener: l, fd: sctpFd}, nil
}

实际应用的数据参考

打开的文件如下

root@localhost:~# lsof -p $(pidof fake_name) | tail
fake_name 1599860 root 1203u     sock                0,8       0t0   20374830 protocol: UDP
fake_name 1599860 root 1204u     pack           20375161       0t0        ALL type=SOCK_RAW
fake_name 1599860 root 1205u     sock                0,8       0t0   20374831 protocol: SCTPv6
fake_name 1599860 root 1206u     sock                0,8       0t0   20375156 protocol: TCP
fake_name 1599860 root 1207u     sock                0,8       0t0   20375157 protocol: UDP
fake_name 1599860 root 1208u     sock                0,8       0t0   20375158 protocol: SCTPv6
fake_name 1599860 root 1209u     pack           20381769       0t0        ALL type=SOCK_RAW
fake_name 1599860 root 1210u     sock                0,8       0t0   20381764 protocol: TCP
fake_name 1599860 root 1211u     sock                0,8       0t0   20381765 protocol: UDP
fake_name 1599860 root 1212u     sock                0,8       0t0   20381766 protocol: SCTPv6

root@localhost:~# lsof -p $(pidof fake_name) | wc -l
1216

业务机器CPU为 4 核心，创建的线程如下

root@localhost:~# ll /proc/$(pidof fake_name)/task
total 0
dr-xr-xr-x 13 root root 0 Jul  3 14:51 ./
dr-xr-xr-x  9 root root 0 Jul  3 14:51 ../
dr-xr-xr-x  7 root root 0 Jul  3 14:51 1599860/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1599861/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1599862/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1599863/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1599864/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1599865/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1600021/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1600033/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1600056/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1600058/
dr-xr-xr-x  7 root root 0 Jul  3 14:57 1602524/

root@localhost:~# ll /proc/$(pidof fake_name)/task | wc -l
14
go

与Go 如何对多个网络命令空间中的端口进行监听相似的内容：

Go 如何对多个网络命令空间中的端口进行监听

Go 如何对多个网络命令空间中的端口进行监听 需求为 对多个命名空间内的端口进行监听和代理。 刚开始对 netns 的理解不够深刻，以为必须存在一个新的线程然后调用 setns(2) 切换过去，如果有新的 netns 那么需要再新建一个线程切换过去使用，这样带来的问题就是线程数量和 netns 的数

go
32
go高并发之路——go语言如何解决并发问题

一、选择GO的原因 作为一个后端开发，日常工作中接触最多的两门语言就是PHP和GO了。无可否认，PHP确实是最好的语言（手动狗头哈哈），写起来真的很舒爽，没有任何心智负担，字符串和整型压根就不用区分，开发速度真的是比GO快很多。现在工作中也还是有一些老项目在使用PHP，但21年之后的新项目基本上就都

go
0
Go代码包与引入：如何有效组织您的项目

本文深入探讨了Go语言中的代码包和包引入机制，从基础概念到高级应用一一剖析。文章详细讲解了如何创建、组织和管理代码包，以及包引入的多种使用场景和最佳实践。通过阅读本文，开发者将获得全面而深入的理解，进一步提升Go开发的效率和质量。 关注公众号【TechLeadCloud】，分享互联网架构、云服务技术

go 代码 引入 如何
170
gRPC入门学习之旅（十）

gRPC是一个高性能、通用的开源远程过程调用（RPC）框架，基于底层HTTP/2协议标准和协议层Protobuf序列化协议开发， gRPC 客户端和服务端可以在多种环境中运行和交互。你可以用Java创建一个 gRPC 服务端，用 Go、Python、C# 来创建客户端。本系统文章详细描述了如何创建一...

grpc
0
gRPC入门学习之旅（九）

gRPC是一个高性能、通用的开源远程过程调用（RPC）框架，基于底层HTTP/2协议标准和协议层Protobuf序列化协议开发， gRPC 客户端和服务端可以在多种环境中运行和交互。你可以用Java创建一个 gRPC 服务端，用 Go、Python、C# 来创建客户端。本系统文章详细描述了如何创建一...

grpc
0
gRPC入门学习之旅（八）

gRPC是一个高性能、通用的开源远程过程调用（RPC）框架，基于底层HTTP/2协议标准和协议层Protobuf序列化协议开发， gRPC 客户端和服务端可以在多种环境中运行和交互。你可以用Java创建一个 gRPC 服务端，用 Go、Python、C# 来创建客户端。本系统文章详细描述了如何创建一...

grpc
8
如何基于R包做GO分析？实现秒出图

GO分析 基因本体论（Gene Ontology, GO）是一个用于描述基因和基因产品属性的标准术语体系。它提供了一个有组织的方式来表示基因在生物体内的各种角色。基因本体论通常从三个层面对基因进行描述：细胞成分（Cellular Component，CC）、生物学过程（Biological Proc

go
0
随机数漫谈

随机数对程序设计来说很重要，今天就从几方面探讨下一些常见的随机数相关的问题。 本文只讨论整数相关的随机数，另外需要你对概率论有最基本的了解（至少知道古典概型是什么）。 本文索引 如何从rand7生成rand5 go标准库的做法 从rand5生成rand7 充分利用每一个bit 带有权重的随机数 随机

0
完全可复制、经过验证的 Go 工具链

原文在[这里](https://go.dev/blog/rebuild)。 > 由 Russ Cox 发布于 2023年8月28日 开源软件的一个关键优势是任何人都可以阅读源代码并检查其功能。然而，大多数软件，甚至是开源软件，都以编译后的二进制形式下载，这种形式更难以检查。如果攻击者想对开源项目进行

完全 复制 经过 验证
185
Go 1.22 中的 For 循环

原文在这里。 由 David Chase and Russ Cox 发布于2023年9月19日 Go 1.21 版本包含了对 for 循环作用域的预览更改，我们计划在 Go 1.22 中发布此更改，以消除其中一种最常见的 Go 错误。 问题 如果你写过一定量的 Go 代码，你可能犯过一个错误，即在迭

go for 循环
155
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.