1. RaftHttp模块介绍
在etcd里raft模块和网络模块是分开的,raft模块主要负责实现共识算法,保证集群节点的一致性,消息的发送和接收则交给raftHttp网络模块来处理,由上层应用模块来进行协调交互和消息传递。
1.1. 整体结构图
(1)当raft模块发生了状态变化时,会把变化的消息封装到ready对象中,上层应用模块通过监听ready的channel能够获取到对应的消息,然后调用网络层的send方法来发送到其它节点上;
(2)send方法这里会根据消息的类型做一个分发,如果是快照的消息则写入到pipeline的msgc channel中,其它消息则都写入到streamWriter的msgc channel中;
(3)streamWriter启动时会创建一个goroutine,它会监听connc管道上是否有网络连接对象conn(这个是在对方发起get请求建立起来的网络连接),如果有则获取并使用它来作为底层传递对象,监听msgc通道上的消息,如果有消息则获取并通过conn进行发送,如果connc管道上没有则等待;
(4)streamReader启动时会进行一个回拨与peer端建立一条网络连接,比如B节点会发起一个GET请求到A节点,建立一条网络连接,A节点会把这条网络连接放入到connc管道中,供A节点的streamWriter进行写入使用,B节点则是从这条网络连接里读数据,有点类似单向管道;同理A节点的streamReader在启动时也会发起GET请求到B节点从而建立网络连接,此时这条网络是A节点进行读取,B节点进行写入;
(5)对于快照的数据,v3版本的是使用snapSender来进行发送,创建post请求通过pipeline的transport来进行发送;之前的版本则是封装为一个快照消息分发到pipeline的msgc的channel中,pipeline在启动时会创建4个goroutine来监听msgc管道里的消息,如果有则取出并创建post请求通过pipeline transport发送出去;
(6)streamReader从stream pipeline中读到数据时将其进行反序列化为消息,然后根据消息的类型分别放到propc或recvc管道中,这样做区分的原因是因为MsgProp的消息处理的耗时可能比较长,所以单独放到一个管道中去,这样不阻塞其它消息的处理,这两个管道分别会有个goroutine进行读取并调用raft对象的Process函数将其传入到raft模块里去处理;
(7)snapshotHandler是一个gateway的方式接收发过来的post请求,接收快照数据保存到本地然后通知raft状态机进行处理;
(8)streamHandler也是一个gateway的方式接收streamReader发送过来的GET请求,并将该网络连接塞入到connc管道中,供streamWriter进行数据写入;
(9)stream的http transport:在创建http transport时传入的read和write的超时时间是5,因为stream通道传输的消息数据一般都比较小;
(10)pipeline的http transport:在创建http transport时传入的read和write的超时时间是0,因为快照数据比较多,读写的时间也比较长;
1.2. 关键数据结构分析
rafthttp.Transport:网络模块数据结构,里面维护了多个进行网络交互的流对象,通过这个对象可以添加peer和发送数据;
http.Transport:go的http库,rafthttp.transport也是通过创建它来进行数据发送和读取,它会去维护tcp连接,并且管理空闲连接;rafthttp里创建了两个http.Transport对象,一个是stream用的,一个是pipeline用的;
rafthttp.remote:里面也封装了pipeline,使用pipeline http transport网络发送数据,主要是帮助新加入的成员进行数据追赶。当peer的网络不可用时,如果此时有remote的则也会使用remote的网络连接来进行发送数据;
rafthttp.peer:peer代表对端,维护的是向peer发送数据和接收peer数据的网络流对象;
rafthttp.pipeline:用以发送快照;
rafthttp.streamWriter:rafthttp.peer对象的输出流,通过它向peer端发送数据;
rafthttp.streamRader:rafthttp.peer对象的输入流,通过它从peer端接收数据;
2. 关键流程分析
2.1. raftExample的网络模块初始化
2.2. 启动peer流程
2.3. streamWriter启动流程
2.4. streamReader启动流程
3. 传输格式
在代码中,其实我们可以看到streamReader和streamWriter都分别有两个对象的。
streamWriter:writer和msgAppV2Writer
streamReader:msgAppReader和msgAppV2Reader
这两个对象的关键不同点就是encode和decode的不同,因为底层传输字节格式不一样,所以需要这样区分开来。
3.1. msgApp格式
Message压缩后发送的格式:
比较简单,直接就是写入消息长度,然后接着是压缩后的数据。解压时先读取消息长度,然后读取指定长度的数据进行反序列化为Message格式。
3.2. msgAppV2格式
根据Message的消息类型分为3种格式存储。
3.2.1. linkHeartbeatMessage类型的消息
只有一个字节,字节值为uint8的0
3.2.2. 数据格式是msgTypeAppEntries的
符合这种格式的条件是编码器保存的index、term和logTerm跟Message中的index、term和logTerm一致,否则解码器对象里保存的这些值补充到Message的Entry里就是错的了,对于解码器对象里index等变量的维护逻辑与编码器里的一致。
解压时按照这种格式读出来,然后填充上解码器对象里的index、term和logTerm值即可。
msgAppV2格式的压缩优化要点:消息中携带的多个entry的index、Term等字段大多数场景都是一样的。当有多个Entry时,它可以节省index、Term和LogTerm这些字段的重复传输,因为在实际使用场景,大概率这些字段都是重复的,所以在encode时只需要保存一份即可,解压时再补上去就行,相比msgApp的直接整个序列化的方式,它传输的字节数要少得多。
3.2.3. 非linkHeartbeatMessage和msgTypeAppEntries格式
这种格式类型命名为msgTypeApp,压缩方式与msgApp一样,只不过前面多了个字节,值为uint8的2。
4. 网关URL映射处理逻辑
URL前缀
|
映射处理对象
|
请求举例
|
说明
|
/raft
|
pipelineHandler
|
POST /raft
|
只接收POST请求,接收数据后反序列化为Message对象,然后传入到raft模块处理
|
/raft/probing
|
probingHandler
|
GET /raft/probing
|
收到请求后响应消息,并且带上当前响应时间戳,表示探测成功
|
/raft/stream/
|
streamHandler
|
GET /raft/stream/message/{localID}(V1的格式)
GET /raft/stream/msgapp/{localID}(V2的格式)
|
只接收GET请求,用来建立stream网络连接
|
/raft/snapshot
|
snapHandler
|
POST /raft/snapshot
|
只接收POST请求,接收到数据后反序列化为Message对象,检查消息类型是否为快照类型,如果不是则返回错误信息,如果是则保存快照数据到本地并传到raft模块进行处理
|