使用Equality网络拓扑对多exaflops机器进行性能评估

使用 Equality 网络拓扑对多 exaflops 机器进行性能评估

在现代计算架构中，由于核心数量的增加，图论是重头戏。不断寻找更好的连接核心的方法是必不可少的。本文重新审视了一种新颖的弦环互连拓扑系统 Equality，以与之前的一些作品进行比较。本文详细介绍了构建 Equality 互连的过程、其特殊路由过程、选择配置的策略以及使用开源周期精确 BookSim 并评估其性能。提出了代表小型到大型计算设施的四个场景来评估网络性能。这项工作表明，在 16,384 各端点系统中，Equality 网络被证明是最有效的系统。结果还显示了扩展到 48-320K 和一百万个端点的 Equality 网络的稳定可扩展性。平等网络可调整以适应商品硬件，并在十种常见流量模型下具有弹性。建议将 Equality 网络拓扑用于构建高效的 multi-exaflops 超级计算机和数据中心。

介绍

高性能计算（HPC）是一种使用高端计算组件来协同处理普通计算机无法轻易解决的大规模任务的计算类型。计算组件通过 HPC 网络连接，以实现更高的效率。

HPC 网络与其他网络的不同之处在于，它通常寻求同步通信和计算，以便通信不会过多地中断计算以提高效率。HPC 网络还倾向于使用同类计算硬件，例如在整个实施过程中使用相同型号的交换机（具有相同数量的端口）、CPU 和加速器。由于大规模生产，系统中的同质产品确保每个组件的价格更低，并且在某些部件出现问题时通过及时更换来更直接地恢复。

黄等人。与一些流行的 HPC 网络拓扑（例如 2 层胖树、3 层胖树、3D 环面和 5D 环面）相比，已经展示了平等网络的潜力。在这项工作中，我们进一步分析了不同规模的 Equality 网络的性能，以与 Slim Fly、Dragonfly 和两种流行的网络拓扑 Fat-tree 和 Tori 进行比较。我们还扩展了对应用 Equality 网络的关注，以使机器能够根据当前的硬件工艺达到 multi-exaflops。

当前工作不同于以往工作的主要贡献包括：

平等网络系统路由表的开发和实施，

修改后的路由算法 bottleneck-UGAL 避免过度订阅路径，

除了二分带宽外，还介绍了一种称为二分比的新度量，

对各种规模的 Equality 网络的结果网络属性（直径、平均距离、延迟和吞吐量）的分析以及与其他现有出版物的比较，

利用 Equality 网络拓扑为未来 HPC 系统寻找合适配置的策略，以及

BookSim（一个 1 M 端点系统）计算过的最大的周期精确模拟。

网络架构

预先设计不同的网络拓扑通常是为了适应特定的工作负载而设计的。为了证明网络的质量以及它是否适合目标应用程序工作负载，可以检查网络的性能指标并在网络上进行额外的模拟。本文中使用的标准网络度量包括网络直径d和平均距离a。标准的通信度量是消息延迟和网络在不同流量模式和注入强度下的整体吞吐量。

一个平衡良好的拓扑应该有一个合理的网络直径，并伴随着定制的路由算法来减少延迟和增加吞吐量。然而，对于任何应用程序，如果特定应用程序的所有通信模式在网络中使用不超过跳，则给定网络具有有效直径实际网络直径。同样的想法也适用于平均跳数。d效果d效果

在低注入率下，当一个数据包从不与其他数据包争用资源时，延迟称为“零负载延迟”，，它是不涉及队列或阻塞时延迟位的总和。在高注入率下，当网络在特定负载、流量模式和路由算法下饱和时，如果延迟变高，则吞吐量接近饱和吞吐量。升0吨坐着

主要地，如果网络直径d减小，则可以减少延迟；然而，网络延迟和吞吐量仍然取决于实际应用程序的流量模式。几种流量模式是根据实际应用程序触发的通信模式设计的。例如，在转角和矩阵转置应用中会遇到转置交通模式。选择在大多数流量模式上优于其他网络的网络有助于打造更好的系统。

开关延迟

当代高端交换机的端口到端口延迟从几十纳秒到几微秒。开关延迟取决于很多参数，包括电缆长度、电缆材料、光电转换、缓冲区大小、开关逻辑周期频率、开关存储器访问时间、路由表大小、路由计算复杂度、跳数等。 硬件性能可以通过将每个逻辑元素贡献的所有指令周期相加，乘以每个周期的时间（以纳秒为单位）来计算。内存访问时间和逻辑频率等硬件问题不在本文讨论范围之内。

如果在选择交换硬件时每跳延迟是固定的，那么减少系统整体延迟的唯一方法是微调拓扑。实际上，消息可以在基于数据包的路由架构中的通道缓冲区中等待，或者在虫洞路由架构中等待通道被释放。在网络拥塞的情况下，跳跃距离对网络延迟的影响可能较小；因此，拓扑结构和路由算法的设计不应只关注网络的直径。