它是目前发展最快的高速互联网络技术之一，具有高带宽、低时延、易扩展等特点。 通过研究和实践，对该技术的数据包、数据传输、层次结构、与以太网技术的比较、交换机制、发展愿景等进行了全面的探讨。
1 简介
随着中央处理器（CPU）计算能力的快速增长，高速互连网络HSI（High Speed）成为高性能计算机发展的关键。 HSI 是一项为提高计算机外围组件扩展接口（PCI）性能而提出的新技术。 经过多年的发展，目前支持高性能计算（High，HPC）的HSI主要是HSI和HSI，其中HSI是增长最快的HSI。 它是在国际贸易协会（IBTA）的监督下开发的高性能、低延迟技术。
2. 贸易（IBTA）
IBTA成立于1999年，由I/O论坛和NGI/O论坛两个行业组织组成，在HP、IBM、Intel、、、、Dell、Bull、 IBTA专门从事产品合规性和互操作性测试，其成员一直致力于推动规范的建立和更新。
三、概述
它是处理器和 I/O 设备之间数据流的通信链路。 它支持多达 64,000 个可寻址设备。 架构（IBA）是一种行业标准规范，定义了点对点交换输入/输出框架，通常用于服务器、通信基础设施、存储设备和嵌入式系统的互连。
具有通用性、低延迟、高带宽、低管理成本等特点。 是多种数据流（集群、通信、存储、管理）单一连接的理想连接网络，互连节点数量可达数万个。 最小的完整IBA单元是子网（），多个子网通过路由器连接起来，形成一个大的IBA网络。 IBA 子网由终端节点、交换机、链路和子网管理器组成。
开发的初衷是将服务器总线联网，因此除了拥有强大的网络性能外，还直接继承了总线的高带宽、低延迟的特点。 总线技术中使用的DMA()技术是以RDMA()的形式实现的。 RDMA 服务支持处理器之间的跨网络数据传输。 数据直接在临时存储器之间传输，无需操作系统干预或数据复制。 RDMA 通过在 NIC 硬件中部署可靠的传输协议并支持零复制网络技术和内核内存旁路，减少对带宽和处理器开销的需求，从而减少延迟。
这使得它在与网络和存储设备交换数据方面本质上优于 10 以太网和光纤通道（Fiber ）。 它实现了基于客户端-服务器和消息传递的通信解决方案以及基于存储映射的网络通信解决方案。 它将复杂的I/O系统与处理器和存储设备分离，使I/O子系统独立。 它是一种基于总线互连技术的I/O通道共享机制的通信解决方案。
该系统由通道适配器（ ）、交换机、路由器、电缆和连接器组成。 CA分为主机通道适配器（Host）和目标通道适配器（）。 SBA交换机在原理上与其他标准网络交换机类似，但它们必须满足高性能和低成本的要求。 路由器用于将大型网络划分为较小的子网，并使用路由器将它们连接在一起。 HCA 是一个设备点，IB 终端节点（例如服务器或存储设备）通过它连接到 IB 网络。 TCA是一种特殊形式的通道适配器，主要用于存储设备等嵌入式环境。
架构如图1所示
有几个主要优点，基于标准的协议、高速、远程直接内存访问（RDMA）、传输卸载（）、网络分区和服务质量（QoS）。
4.数据包和数据传输
()是数据传输的基本单位。 为了使信息在网络中有效传播，通道适配器将信息分成许多数据包。 一个完整的IBA数据包由本地路由头（Local Route）、全局路由头（Route）、基本传输头（base）、扩展传输头（）、有效负载（PYLD）、固定循环冗余检测（CRC）组成，它由字段如 ICRC）和可变循环冗余检测（CRC、VCRC），如图 2 所示。
数据包使用128位IPv6扩展地址，数据包包括GRH中的源(HCA)和目的(TCA)地址。 这些地址允许交换机立即将数据包直接切换到正确的设备。
物理层基于铜缆和光纤，支持单线（1X）、4线（4X）、8线（8X）和12线（12X）数据包传输。
该标准支持单速（SDR）、双速（DDR）、四速（QDR）、十四速（FDR）和增强速（EDR）数据传输速率，从而能够传输数据量较大（见表 1）。 由于DDR/QDR极大地提高了性能，因此特别适合传输大数据文件的应用，例如分布式数据库和数据挖掘应用。
与DDR、QDR一样，也采用直通转发技术（Cut-）。 如果使用不同的传输速率，子网管理器必须是拓扑透明的（感知）并且仅将SDR数据包转发到SDR连接（或将DDR数据包转发到DDR连接），或者交换网络必须能够存储和转发数据包提供速率匹配。
当在 SDR 和 DDR 连接之间交换数据时，额外的存储和转发延迟是数据包串行化延迟的一半。 为了在SDR主机和DDR主机之间交换数据，DDR主机根据建立连接时交换生成的QP参数进行限速传输。
5.架构层次结构
根据IBTA的定义，该架构由物理层、链路层、网络层和传输层组成，其层次结构如图3所示。
物理层：物理层为链路层提供服务，并为这两层提供逻辑接口。 物理层由端口信号连接器、物理连接（电信号和光信号）、硬件管理、电源管理、编码线等模块组成。 其主要功能是：
链路层：链路层负责处理数据包中链路数据的发送和接收，提供地址、缓冲、流量控制、错误检测、数据交换等服务。 服务质量（QoS）主要由这一层体现。 状态机（state）用于将链路层的逻辑操作定义为外部可访问的操作，不指定内部操作。
例如，尽管我们期望链路层操作并行处理数据流的多个字节，但数据包接收状态机将从链路层接收到的数据作为字节流处理。
网络层：网络层负责IBA子网之间数据包的路由，包括()和()操作。 网络层不指定多协议路由（例如非IBA类型上的IBA路由），也不指定原始数据包如何在IBA子网之间路由。
传输层：每个IBA数据都包含一个传输头（）。 传输头包含端节点完成指定操作所需的信息。 通过操纵QP，传输层的IBA通道适配器通信客户端形成“发送”工作队列和“接收”工作队列。
对于主机来说，传输层的客户端是Verbs软件层。 客户端将缓冲区或命令传递到这些队列，硬件来回传输缓冲区数据。 当QP建立时，它合并四种IBA传输服务类型（可靠连接、可靠自寻址信息、不可靠自寻址信息、不可靠连接）之一或非IBA协议封装服务。 传输服务描述了可靠性和QP传输数据的工作原理和内容。
6.交换机制
采用的交换结构( )是基于交换的点对点互连结构，面向系统容错性和可扩展性。
交换机的主要功能是将数据包传送到数据包的本地路由头中指定的目的地址。 同时交换机也会消耗数据包来满足自我管理的需要。 IBA 交换机是内部子网路由的基本路由构建块（子网间路由功能由 IBA 路由器提供）。 交换机的互连是通过在链路之间中继数据包（）来完成的。
交换机实现的功能有：子网管理代理（SMA）、性能管理代理（PMA）和基板管理代理（BMA）。 SMA提供接口，允许子网管理器通过子网管理包获取交换机的内部记录和表数据，并实现消息通知、服务级别（Level，SL）到虚拟路径（Lane，VL）的映射、VL仲裁等功能。多种广播转发、供应商特征等功能。 PMA 提供了一个接口，允许性能管理人员监控交换机的数据吞吐量和错误累积等性能信息。 BMA 提供基板管理器和机箱管理器之间的通信通道。
交换机数据转发的主要功能：
(1) 选择输出端口：交换机根据数据包的本地目的标识符（Local，DLID），从转发表中查找输出端口的端口号。
(2) 选择输出VL：支持SL 和VL。 交换机根据SL-VL映射表确定不同优先级的数据包所使用的输出端口的VL。
(3)数据流控：采用基于信用的链路级流控机制。
(4) 支持单播、组播和广播：交换机可以将组播数据包或广播数据包转换为多个单播数据包进行交换。
(5)分区：只有同一分区内的主机才能互相通信。 每个分区都有唯一的分区键，交换机检查数据包的DLID是否在该键对应的分区内。
(6)错误检查：包括不一致错误检查、编码错误检查、成帧错误检查、分组长度检查、报头版本检查、服务级别有效性检查、流量控制合规性和最大传输单元检查。
（7）VL仲裁：支持子网VL（包括管理VL15和数据VL）。 交换机采用VL仲裁，保证高优先级的数据包得到更好的服务。
目前生产交换机的主要厂家有华为、思科、IBM等。
7.带以太网
从它的诞生、发展到现在在HPC领域的主流地位，人们总是将它与常用的以太网技术进行比较。 笔者整理了两者的比较如表2所示。
从表2可以看出，它在数据传输和低延迟方面大大超过了以太网。 其低延迟设计使其极其适合高性能计算。 此外，在单位成本方面也具有相当大的优势。
从最新的全球统计数据可以发现，以太网的份额不断增加，在市场上更是占据主导地位，而以太网的份额却在逐年下降。 目前两者在HPC领域的份额基本持平。
八、结论
随着不断发展，它已成为替代千兆/10吉比特以太网的最佳解决方案，必将成为高速互联网络的首选。 它与以太网和iSCSI的集成将更加紧密。 IBTA对FDR、EDR和HDR的发展做出了预测，表明未来三年FDR、EDR和HDR的市场需求将快速增长，预计2020年前带宽将达到。 未来在GPU、固态硬盘、集群数据库等方面都会有广阔的应用前景。
