socket 到底是个啥

socket,到底 · 浏览次数 : 722

小编点评

**数据结构和接口** **socket** * 是一种数据结构,用于实现网络传输功能 * 它处在内核态和用户态之间 * 提供接口,供应用程序实现网络传输功能 **接口** * 发送缓冲区 * 接收缓冲区 * 发送数据 * 接收数据 **API 接口** * sendrecvbindlistenconnect **其他** * **套接字**:用于描述套接字的标识符 * **套接字文件**:用于描述套接字的文件描述符 * **socket fd**:套接字文件的描述符 * **socket socket**:套接字的套接文件

正文

 

哈喽大家好,我是咸鱼

 

我相信大家在面试过程中或多或少都会被问到这样一个问题:你能解释一下什么是 socket 吗

 

我记得我当初的回答很是浅显:socket 也叫套接字,用来负责不同主机程序之间的网络通信连接,socket 的表现方式由四元组(ip地址:端口)组成

 

那么今天,咸鱼将跟大家打开 socket 的神秘大门,不但要搞清楚 socket 的概念,最好还能够了解它的底层实现

我们首先查看一下 socket 的翻译

 

我们看到,socket 可以翻译成插座、插头

 

那现在请想象这么一个场景:给手机充电时,你将充电插头插入电源插座里面,是不是意味着插座与充电插头连接起来了

 

在计算机世界中,socket 翻译成套接字,通过 socket 我们可以与某台服务器进行连接,而建立连接的过程,你可以脑补成将充电插头插进插座的过程

 

 

 

 

 socket 使用场景

假设我们想要将数据从 A 电脑的某个进程传送到 B 电脑的某个进程(比如咸鱼用微信发信息给冰冰)

 

那么在与对方聊天的过程中,其实就是这两台电脑中的微信进程相互传输数据的过程

 

在这个过程中,两台电脑各自调用 socket 方法,然后会得到一个 fd 句柄(socket_fd),这个 fd 句柄就相当于 socket 的身份证号

 

得到 fd 句柄之后:

  1. 服务端执行 bind()、listen()、accept() 方法等待客户端建立连接的请求

  2. 客户端执行 connect() 方法向服务端发起连接

  3. 连接建立起来之后,两端都可以执行 send()、recv() 方法来互相传递数据

 

PS:对于不同的传输层协议,上面这个过程是不一样的,详情可以查看我之前的文章《Python 网络编程

 

TCP 协议

 

UDP 协议

 

 socket 底层设计

我们知道了 socket 是用来实现网络传输功能的,它负责不同主机进程之间的网络通信连接

 

我将上面的问题改一下,把 ”socket 是什么“ 改成 ”如果让你来实现一个网络传输功能,你会怎么设计“

 

网络传输功能,简单点来讲就是两端服务器之间进行网络通信并互相收发数据,收发数据也就是读写数据

 

首先我们会遇到第一个问题:茫茫互联网中你怎么能找到那台梦中情机

 

聪明的你肯定会想到——ip地址!我们用 ip 地址来定位电脑

 

找到了你的梦中情机之后,你会发现,一台电脑上面这么多进程,我怎么才能找到与我通信的那个进程(比如说微信)

 

聪明的你很快就想到了用端口号(port)

 

可以这么理解,ip 地址是用来定位街区的,而端口号 port 对应这个街区中的门牌号,通过 ip +port 的组合,你可以在茫茫互联网中找到属于你的梦中情机并且与之通信

 

所以你在设计网络传输功能初期,定义了一个数据结构 sock,sock 里面包含了 ip 和 port 字段(假设用 C 语言实现)

 

 

 在 Linux 中(以 CentOS 7举例),在头文件/usr/include/netinet/in.h可以看到负责套接字地址的 sock 结构体

 

sin_family 字段为 AF_INET,sin_port 表示端口号,sin_addr 表示 IPv4 地址,是一个 struct in_addr类型的结构体

 

sin6_family 字段为 AF_INET6,sin6_port 表示端口号,sin6_addr 表示 IPv6 地址,是一个 struct in6_addr 类型的结构体

 

解决了定位问题之后,我们知道在计算机网络中有很多协议,这些协议规定了计算机之间的通信方式

 

比如你是选用可靠的 TCP 协议去进行网络通信,还是相对不可靠的 UDP 协议

 

不同的网络协议还对应着不同的网络通信场景,如果你选择了 TCP协议,你还得考虑例如滑动窗口、超时重传这些场景

 

所以有了 ip 和 port 还不行,你还需要定义新的数据结构用来维护网络协议以及对应的网络场景

 

又因为不同的网络协议中有一些功能相似的方法(例如收发数据),于是你决定将不同协议中公共的部分提取出来,通过”继承“的方式来实现功能复用

 

所以可以先定义一个名为 sock 的数据结构,然后定义”继承“ sock 的各类 sock

 

PS:Linux 内核是用 C 语言实现的,在 C 语言中没有继承这个概念,你可以简单将这个继承理解成 xx_sock 基于 sock 进行了扩展,xx_sock 是 sock 的进阶版

 

  • sock:最基础的结构,用来维护任何网络协议都会用到的收发数据缓冲区(公用部分)

  • inet_sock:负责网络传输功能的 sock,在 sock 基础上加了 TTL(网络生存时间)、ip 和 port 这些跟网络传输相关的字段信息

  • inet_connection_sock:面向连接的 sock,在 inet_sock 基础上添加了面向连接的协议里相关字段,比如 accept 队列,数据包分片大小,握手失败,重试次数等;虽然我们现在提到面向连接的协议就是指 TCP,但从设计上 Linux 需要支持扩展其他面向连接的新协议,比如 SCTP 协议,所以说 tcp_sock 则是在这个基础上实现的真正的 TCP 协议专用 sock 结构

 

上面例子中的这些 sock 都可以在系统上直接找到,以 CentOS 7 为例

 

 

现在你用代码实现了这一堆数据结构——sock,不同的 sock 分别实现自己职责内的功能(负责面向连接的数据结构 inet_connection_sock、负责 UDP 协议的数据结构 udp_sock 等等)

 

但是你需要这些 sock 去跟硬件网卡交互才能实现网络传输的功能,既然需要跟硬件交互,那就说明需要比较高的操作系统权限

 

同时考虑到性能和安全,这套数据结构不能放在用户态,需要给它放到系统内核里面

 

既然这套数据结构在内核里,处在用户态的程序想要用这套数据结构来实现网络传输功能该怎么办呢?

 

除此之外,处在用户态的程序并不关心也不知道你这套数据结构在底层内核是怎么操作的,功能是怎么实现的,它只关心结果

 

于是你想到了用接口调用的方式——你将一个个功能抽象一个个接口,以后别人只需要调用这些接口,就可以让内核中这一大堆复杂的数据结构去实现指定功能

 

又因为在 Linux 中一切皆文件,你索性将这些 sock 封装成文件,当用户态的程序去调用你提供的接口时,需要先创建一个 sock 文件

 

这个新生成的 sock 文件有一个文件句柄 fd,用户态的程序只需要拿着这个 fd 就可以对内核中的 sock 进行操作

 

 

 

上面有说到,你将不同的数据结构(inet_socktcp_sock 等等)抽象成一个个 API 接口,以后别人只需要调用这些 API 接口就可以驱动我们写好的这一大堆复杂的数据结构去进行网络传输

 

下面列出了一些常见的接口:

  • send

  • recv

  • bind

  • listen

  • connect

 

到这里,整个网络传输功能就已经基本实现了。上面列举出来的这些方法,其实就是 socket 提供出来的接口

 

到这里,我们对 socket 有了一个更深地了解——socket 其实相当于一个接口层,它处在内核态和用户态之间:

  • 向上用户态

    • 为处在用户态的程序提供 API 接口,方便用户态程序实现网络传输功能

  • 向下内核态

    • 对网卡进行操作,负责网络传输工作

 

或者你也可以这么理解,处在用户态的程序通过 socket 提供的接口,将网络传输的这部分工作外包给了 Linux 内核

 

我们以 tcp 协议为例子来看下 python 中是如何操作 socket 的

 

在客户端中,程序首先调用 socket 提供的 socket 方法创建一个 socket 文件来获得 socket 句柄,然后调用 connect 方法,这时候内核会根据 socket_fd 找到对应的 sock 文件

 

再根据文件里的信息找到处在内核的 sock 结构,通过 sock 结构与服务端进行三次握手建立连接

 

连接建立好之后,客户端调用 send 方法来进行数据传输,sock 中定义了一个发送缓冲区和接收缓冲区,其实就是一个链表,链表上面放着一个个等待发送或接收的数据

总结

我们再次回到那个问题——socket 是什么?

 

sock(或 socket)是操作系统内核提供的一种数据结构,用于实现网络传输功能

 

基于不同的网络协议以及应用场景,衍生了各种类型的 sock

 

每个网络层协议都有相应的 sock 结构体来管理该层协议的连接状态和数据传输。各类 sock 操作硬件网卡,就实现了网络传输的功能

 

为了将这些功能让处在用户态的应用程序使用,不但引入了 socket 层,还将各类功能的实现方式抽象成了 API 接口,供应用程序调用

 

同时将 sock 封装成文件,应用程序就可以在用户层通过文件句柄(socket fd)来操作内核中 sock 的网络传输功能

 

这个 socket fd 是一个 int 类型的数字,而 socket 中文翻译叫做套接字,结合这个 socket fd,你是不是可以将其理解成:一套用于连接的数字

 

而 socket 分 Internet socket 和 UNIX Domain socket,两者都可以用于不同主机进程间的通信和本机进程间的通信

 

只是前者采用的是基于 IP 协议的网络通信方式,而后者采用的是基于本地文件系统的通信方式

 

关于 UNIX Domain socket,可以通过 netstat -x 查看

 

与socket 到底是个啥相似的内容:

socket 到底是个啥

哈喽大家好,我是咸鱼 我相信大家在面试过程中或多或少都会被问到这样一个问题:你能解释一下什么是 socket 吗 我记得我当初的回答很是浅显:socket 也叫套接字,用来负责不同主机程序之间的网络通信连接,socket 的表现方式由四元组(ip地址:端口)组成 那么今天,咸鱼将跟大家打开 sock

iptables防火墙调试,想打印个日志就这么难

# 背景 怎么会讲这个话题,这个说来真的长了。但是,长话短说,也是可以的。 我前面的文章提到,线上的服务用了c3p0数据库连接池,会偶发连接泄露问题,而分析到最后,又怀疑是db侧主动关闭连接,或者是服务所在机器和db之间有防火墙,防火墙主动关闭了连接。导致我们这边socket看着还健康,实际在对端已

[转帖]Java IO篇:什么是零拷贝?

在介绍零拷贝的IO模式之前,我们先简单了解下传统的IO模式是怎么样的? 一、传统的IO模式: 传统的IO模式,主要包括 read 和 write 过程: read:把数据从磁盘读取到内核缓冲区,再拷贝到用户缓冲区write:先把数据写入到 socket缓冲区,最后写入网卡设备 流程图如下: (1)用

粘包/拆包问题一直都存在,只是到TCP就拆不动了。

OSI open-system-Interconnection TCP/IP 5层协议栈 应用层和操作系统的边界是 系统调用 ,对应到网络编程是socket api TCP/UDP 概况 TCP粘包问题 TCP/IP报头深思 OSI开放系统互联 定义了网络框架,以层为单位实现协议,同时控制权逐层传递

Socket 如何处理粘包

Socket 如何处理粘包 什么是粘包什么是半包? 粘包: 比如发送了AA BB 两条消息,但是另一方接收到的消息却是AAB,像这种一次性读取了俩条数据的情况就是粘包 半包: 比如发送的消息是ABC时,另一方收到的是AB和C俩条消息,这就是半包 为什么会有这种问题呢? 这是因为 TCP 是面向连接的

14.5 Socket 应用组播通信

组播通信是一种基于UDP协议的网络通信方式,它允许发送方将消息同时传递给多个接收方。在组播通信中,发送方和接收方都会加入一个共同的组播组,这个组播组对应一个特定的IP地址,所有加入该组播组的主机都能够接收到发送方发送的消息。组播通信可以有效地减少网络流量和网络负载,因为在传统的点对点通信方式下,每个消息都需要单独传输到每个接收方,而在组播通信中,每个消息只需要传输一次,就可以同时传递给多个接收方。

14.1 Socket 套接字编程入门

Winsock是Windows操作系统上的套接字API,用于在网络上进行数据通信。套接字通信是一种允许应用程序在计算机网络上进行实时数据交换的技术。通过使用Windows提供的API,应用程序可以创建一个套接字来进行数据通信。这个套接字可以绑定到一个端口,以允许其他应用程序连接它。另外,Winsoc...

说透IO多路复用模型

在说IO多路复用模型之前,我们先来大致了解下Linux文件系统。在Linux系统中,不论是你的鼠标,键盘,还是打印机,甚至于连接到本机的socket client端,都是以文件描述符的形式存在于系统中,诸如此类,等等等等,所以可以这么说,一切皆文件。

[转帖]线上大量CLOSE_WAIT的原因深入分析

这一次重启真的无法解决问题了:一次 MySQL 主动关闭,导致服务出现大量 CLOSE_WAIT 的全流程排查过程。 近日遇到一个线上服务 socket 资源被不断打满的情况。通过各种工具分析线上问题,定位到问题代码。这里对该问题发现、修复过程进行一下复盘总结。 先看两张图。一张图是服务正常时监控到

深入Python网络编程:从基础到实践

**Python,作为一种被广泛使用的高级编程语言,拥有许多优势,其中之一就是它的网络编程能力。Python的强大网络库如socket, requests, urllib, asyncio,等等,让它在网络编程中表现优秀。本文将深入探讨Python在网络编程中的应用,包括了基础的socket编程,到