一、两者定位
以太网(Ethernet):
应用最广泛,是最成熟的网络互联技术,也是整个互联网络大厦的基石,兼容性非常好,可实现不同的系统之间的互连互通
IB(Infiniband):
领域很专,作为高带宽,低时延,高可靠的网络互联技术,在HPC集群领域广泛应用,同时,也是GPU服务器首选的网络互联技术
二、网络带宽
以太网(Ethernet):
以太网从千兆起步,目前已经发布了100G,200G,400G的以太网接口,传输速率的跨度非常大。据悉800G也将面世;
IB(Infiniband):
目前市场主流的InfiniBand产品为Mellanox生产的HDR,可以为网络提供端到端高达200Gbps的带宽,NDR将达到400Gbps
三、通信时延
以太网(Ethernet):
基于Ethernet 上的TCP UDP 应用的收发时延会在10us左右,与IB相差十几倍的延时。
IB(Infiniband):
IB网络采用RDMA技术,网卡转发报文不需要经过CPU,网卡收发时延(write ,send)在600ns;
InfiniBand交换机二层架构简单,根据16bit的LID进行数据转发,采用了Cut-Through技术大大缩短了转发时延至100ns以下,远远快于Ethernet 交换机;
InfiniBand 的超低延迟(端到端测量延迟为 1µs)。可实现 40Gb/s 的吞吐量。
四、可靠设计
以太网(Ethernet):
Ethernet构造的网络没有基于调度的流控机制,导致报文在发出的时候是不能保证对端是否会出现拥塞的,通常需要增加缓冲来提高性能,存在丢包风险
IB(Infiniband):
在HPC领域,丢包重传对整体性能的影响非常大,InfiniBand 从协议层保证了无损传输,报文在网络上的收发是基于端到端的流控来实现的。
InfiniBand 通过在每个结构跳跃处执行循环冗余校验 (CRC) 并在整个结构中端到端确保数据正确传输,从而实现最高级别的数据完整性。
五、组网设计
以太网(Ethernet):
Ethernet 的组网方式需要IP配合ARP协议来自动生成MAC表项的,需要网络内的每个三层设备来定时发送报文保证表项的实时更新
IB(Infiniband):
无三层组网,InfiniBand 的二层组网没有泛洪的问题,也省去了Vlan和环网破环的操作,可以轻松部署一个规模几万台服务器的超大二层网络
六、形象比喻
以太网(Ethernet):
以太网好比是一个快递包裹分发网络,这个网络中所有的快递中转站(交换机/路由器)都是独立运作,根据一套公认的规则(网络协议)进行分拣并投递对
IB(Infiniband):
InfiniBand好比是城铁轨道交通网络,目的是快速(低延时),在经过每个站点时都是非常短暂的停留(在出发前就已经规划好了,知道了所经过道路上的详细信息)