在高速数据传输和计算需求日益增长的今天，PCIe正在经历一场前所未有的光互联革命。2024年，光互连技术发展势头迅猛，多家厂商纷纷推出与PCIe相关的解决方案，加速了光互连在数据中心中的应用。光互连技术也越来越有望迅速从实验室走向数据中心，成为数据传输领域的中坚力量。
铜缆PCIe发展吃力，光互连来接力 #
PCI-Express（PCIe）自2000年诞生以来，凭借其高带宽、低延迟等优势，一直是计算机系统中不可或缺的互连标准。尽管PCIe卡的外形尺寸在过去二十年基本保持不变（很大程度上是为了确保向后和向前兼容性），但其信号传输速度却实现了飞跃式发展。从最初的PCIe 1.0到如今的PCIe 6.0和即将发布的PCIe 7.0，单个通道的传输速率已经提高了32倍，而PCI-SIG将在2025年通过PCIe 7.0将这一速度再次提高一倍，达到512GB/s。
PCIe 7.0的创新还包括四级脉冲幅度调制 (PAM4)、轻量级前向纠错 (FEC)、循环冗余校验 (CRC) 和流量控制单元 (Flits)。PCIe 7.0 技术旨在成为人工智能/机器学习、数据中心、HPC、汽车、物联网和军事/航空航天等数据密集型市场的可扩展互连解决方案。
就当下以及未来的发展来看，大语言模型的快速迭代离不开海量GPU集群的强劲支持。这个海量已经到了万卡集群级别，成为AI标配，万卡集群之间的互连通常是基于GPU上原生的PCIe接口。要达到PCIe 7.0及更高速度的数据传输，几乎无法通过PCIe标准的铜缆实现机架间数十米的传输，传统的电气 PCIe 接口在传输数据时受限于电缆和板上的电气特性，带宽和距离受限，传输距离通常约为一米，使用重定时器（retimer）（关于重定时器可以参看《一颗芯片的新战争》一文）或光学传输将成为唯一的实际解决方案。
实际上，到PCIe 5.0 和 6.0标准时，铜缆就已经开始吃力了。这也是为什么PCI-SIG（PCIe标准的制定组织）在2024年5月1日宣布了新的CopprLink内部和外部电缆规范。CopprLink电缆规范具有相同的外形尺寸，可以提供32.0和 64.0 GT/s 的信号传输，并利用由SNIA维护的完善的行业标准连接器外形尺寸。但是CopprLink的传输距离仍然很有限，单个系统内仅为1米，机架到机架连接的最大可达 2米。
再加上考虑到重定时器的使用既复杂、昂贵又耗电，而且有其局限性，因为每个链路只能使用两个重定时器。接下来，光互连将成为PCIe架构继续演进的重要一部分。
这点可以从PCI-SIG的动作看出，2023年8月，PCI-SIG成立了一个光学工作组探索光学连接，计划采用多种光学技术来支持 PCIe，包括可插拔光收发器、板载光学器件、共封装光学器件和光学 I/O，标准化光纤上PCIe的工作和行为方式。光纤通信具有更长距离和更高数据速率的潜力，并且与日益耗电的铜线传输相比，可以显著降低功耗。
总的来说，PCI-SIG正在采取两条腿走路的策略：一方面在为 128.0 GT/s 的 PCIe 7.0 架构开发 CopprLink 电缆；另一方面，在积极推动PCIe光纤互连的工作，PCIe光互连对于将基于PCIe的GPU集群扩展到多个机架和行、提高AI模型性能和提高GPU利用率至关重要。PCI-SIG希望CopprLink电缆和光学互连能够相互补充。
厂商奋进，PCIe光互连近在咫尺 #
在实现光互连的路上，已经有越来越多不同产业链的厂商参与进来，这为光互联的发展起到了很大的推动作用。
连接技术公司 #
在2024年的光纤通信会议 (OFC) 大会上，Alphawave与多家光学供应商合作开展了一项非重定时光学研究，使用Alphawave PipeCORE PCIe 6.0子系统 IP（适用于PCIe和CXL）在评估板上运行，以驱动使用PCIe 6.0数据的光学系统，并始终实现小于 1×10 -9的 BER ，这至少是性能裕度的3个数量级。Alphawave是一家提供用于数据中心、通信和人工智能应用的高速连接技术，专注于开发和制造高速接口芯片和解决方案，如 PCIe、CXL 和 Ethernet连接器。
6 月 11 日，专用连接解决方案厂商Astera Labs首次展示了数据中心 GPU 集群的端到端 PCIe 光纤传输技术。在演示中，他们组装了两种常见配置以扩展覆盖范围：从头节点到 GPU 集群，以及从头节点到远程分散的内存系统。系统通过单模光纤实现了全速率 PCIe传输，总带宽达到128GB/s，覆盖范围为 20 米。不过根据实际应用需求，该覆盖范围可以轻松扩展至 50 米或更长。
IP厂商：新思科技 & Cadence #
从最简单的构建块（如 GPIO）到最先进的高速接口，IP子系统是芯片制造生态系统的命脉。目前，新思科技和Cadence这两家业界领先的EDA公司正积极投入到PCIe 7.0光纤接口的研发中，力求为高速互联提供更具创新性的解决方案。
新思科技和OpenLight在OFC 2024期间展示了世界上首个采用线性驱动方法的PCIe 7.0光纤数据速率演示。该演示展示了端到端链路 BER 性能比 FEC 阈值高出几个数量级，证明了以128Gbps PAM4运行的PCIe 7.0光纤的可行性。值得一提的是，新思科技推出了首个PCIe 7.0 IP，通过正在进行的互操作性演示和 PCIe 7.0 数据速率和基于光纤的 PCIe 6.x 的出色现场结果，有助于降低集成和风险，并使一次通过硅片成功成为可能。
Cadence在2024 年 PCI-SIG 开发者大会（PCI-SIG DevCon 2024）上演示了全球首个 PCIe 7.0 光纤连接方案。Cadence成功使用线性可插拔光学元件（LPO）演示了传输速度达128GT/s的光纤PCIe 7.0信号收发，无需DSP/Retimer。
芯片厂商：Intel #
英特尔是光互连的多年研究者，在2024 OFC上，英特尔推出了其首款与计算处理器共同封装的光输入/输出 (I/O) 芯片组，该芯片组支持 64 个 PCIe 5.0 通道，每个通道双向传输速度为 32 GT/s，总计4Tbps，使用光纤传输距离可达100米。而且其功耗很低，据英特尔称，该芯片组使用密集波分复用 (DWDM) 波长，每比特仅消耗5皮焦耳，比每比特消耗约 15 皮焦耳的可插拔光收发器模块节能得多。
PCIe演进，CXL光互连的突破 #
虽然PCIe是一个出色的互连技术，但是近年来，随着AI和机器学习的迅猛发展，对计算、内存和互连都提出了新的要求，一种基于PCIe的全新的高速互连标准——CXL，正在成为AI时代的“运力”引擎。
CXL（Compute Express Link）是由英特尔于2019年发起的一项开放性行业标准，可增强处理器、内存扩展和加速器之间的通信。CXL建立在PCIe框架之上，从技术上看，CXL是通过PCIe物理层传输信号，但在协议层面上引入了新的特性和改进，以显著提升系统中处理器、加速器和内存设备之间的数据交换效率和一致性，使得资源共享具有更低的延迟，减少了软件堆栈的复杂性，并降低了整体系统成本，为高性能计算和大规模数据处理提供了更为强大的支持。
Rambus近期成功演示了CXL与光纤的无缝对接。Rambus利用Samtec Firefly光缆技术，将CXL端点设备与Viavi Xgig 6P4训练器连接，成功构建了一个远程“CXL内存扩展”模块。具体而言，Rambus的被测设备（DUT）搭载了CXL 2.0控制器，以四通道16 GT/s的速度运行。Viavi Xgig 6P4则模拟根复合设备，通过支持16 GT/s速率的Samtec Firefly PCUO G4光缆与DUT连接。测试结果表明，DUT在四倍速率下稳定运行，达到了预期性能。更重要的是，在设备发现阶段和CXL 2.0合规性测试中，DUT表现出色，顺利通过了所有标准测试。
国内方面，2024年8月2日，曦智科技与紫光股份旗下新华三集团合作，成功将曦智科技片间光网络技术(Optical inter-chip Networking, oNET)应用于新华三集团CXL-O光互连解决方案，实现服务器作为主机读写挂载于CXL 2.0交换机后的内存资源，并顺利完成了相关带宽、延时和压力等测试内容。曦智科技自成立以来，专注于光电混合算力新范式，oNET是曦智科技原创核心技术之一。
作为近几年才诞生的互联技术——CXL，发展迅速，据Yole Intelligence称，CXL市场预计从 2022年的170万美元增长到2026年的21亿美元，其中 70%（即 15 亿美元）将由 CXL 内存解决方案构成。
值得一提的是，8月初，Kioxia（铠侠）推出了具有光学接口的宽带SSD，通过用光学接口取代电线接口，该 SSD 技术显著增加了计算和存储设备之间的物理距离，减少了接线，同时保持了能源效率和高信号质量。目前，Kioxia已经能够将存储驱动器放置在距离CPU最远40米的距离，但计划在未来将这一距离增加到100米。
写在最后 #
长远来看，PCIe 架构在中长期内在各种高增长垂直领域依然展现出强大的增长潜力。根据 ABI Research 的《PCI Express市场垂直机会》报告，汽车和网络边缘领域为 PCIe 技术提供了最高的增长机会，预测期内的总潜在市场 (TAM) 和复合年增长率 (CAGR) 分别达到 53% 和 38%。
汽车行业能够从 PCIe 技术的广泛应用中获得巨大价值，因为它可以整合电气/电子 (E/E) 系统，并帮助解决自动驾驶汽车在安全性和效率方面的挑战。而在数据中心等高性能应用领域，对新 PCIe 技术的需求将保持长期的持续增长。PCIe 技术的前向和后向兼容性为决策者提供了灵活性，缩短了价值实现时间并降低了部署风险，这也促使 AI 行业的采用率不断提升。除了性能之外，PCIe 技术的关键驱动因素还包括能效、安全性和“价值实现时间”。
而PCIe的未来演进路线中，光学必然是一块重要的拼图。光学PCIe的发展契合了当前大数据、人工智能等领域对高性能计算的需求。在高速数据传输的需求驱动下，光学技术不仅在理论上展现出巨大潜力，更在实践中不断突破极限。随着更多厂商的加入和技术的不断演进，未来的数据互联将会迎来更加高效和高速的新时代。