Создать идеальную вычислительную платформу ещё никому не удавалось — в любом, даже самом совершенном дизайне обязательно обнаруживались узкие места, так называемые «бутылочные горлышки». В обычных персональных компьютерах и рабочих станциях долгое время основным узким местом были механические накопители данных, в кластерных системах и суперкомпьютерах — межузловые сетевые соединения. Сегодня скорости таких популярных решений, как Ethernet и InfiniBand достигли значений 100‒200 Гбит/с, и впереди, не столь уж далеко, уже просматриваются скорости от 400 Гбит/с и выше. Но с ликвидацией одного «бутылочного горлышка» появилось другое, и аналитики считают, что это шина PCI Express. В наши дни на рынке доминирует стандарт PCIe 3.0, пропускная способность у которого составляет порядка 1 Гбайт/с (8 Гбит/с) на линию, а совокупно этот параметр составляет 32 Гбайт/с на 16 линий в двух направлениях.

Эволюция системных шин
Да, PCI-SIG не сидит на одном месте и спецификации PCI Express 4.0 определены: ревизия 0.9 принята в июне, первым коммерческим процессором с поддержкой новой технологии станет IBM POWER9. Однако существенная доля рынка принадлежит решениям на базе x86-совместимых процессоров, а пока ни Intel, ни AMD не поддерживают PCIe 4.0 даже в своих последних решениях — чипах Xeon Scalable и Naples EPYC, соответственно. В следующем году мы можем увидеть новые продукты с поддержкой нового стандарта, однако следует понимать, что четвёртая версия основной универсальной шины предусматривает лишь двукратное увеличение скорости передачи данных, что при нынешних темпах роста вычислительных мощностей кластеров и суперкомпьютеров может оказаться недостаточно. В планах PCI-SIG имеется и PCI Express 5.0 (32 Гбит/с на линию, 128 Гбайт/с на 16 линий в двух направлениях), но появления соответствующих спецификаций не следует ждать ранее 2019 года.

Рост пропускной способности и появление новых стандартов
Основным форм-фактором PCIe в серверных и кластерных системах является слот x8, более производительный x16 используется редко, и почти вся сетевая периферия и дисковые контроллеры используют именно конструктив с восемью линиями. Освоение скоростей порядка 400 Гбит/с как раз и потребует учетверения производительности PCIe 3.0 для того, чтобы однопортовые контроллеры InfiniBand, Ethernet и им подобные решения смогли сохранить конструктив x8, занимающий меньше места, нежели x16. Но найдется место новым скоростям и адаптерам с разъёмом x16. Производительность различных сопроцессоров, как на базе графических чипов и ПЛИС, так и специализированных решений вроде модулярно-логарифмического сопроцессора Осинина, также будет расти, что потребует расширения пропускной способности интерфейса, с помощью которого они будут общаться с другими компонентами системы.
Но внедрение PCI Express 5.0 не будет лёгким. Уже с PCIe 4.0 разработчики столкнулись с рядом проблем, а следующая итерация потребует ещё более жёстких мер по предотвращению утечек, наводок и обеспечению надёжного функционирования интерфейса на экивалентной частоте 32 ГГц. Президент PCI-SIG уверен в успехе и в том, что перехода на оптику не потребуется: PCI Express 5.0 будет использовать более компактные разъёмы с укороченными ключами, выполненные из новых материалов, но обратная механическая и электрическая совместимость с адаптерами стандартов PCIe 3.0 и 4.0 сохранится. Это особенно важно в свете того, что жизнь PCI Express 4.0 на рынке, судя по всему, будет довольно короткой: процессоры IBM POWER9 будут массово поставляться на рынок не ранее 2018 года, а Intel может отложить внедрение PCIe 4.0 до 2019 года в чипах Xeon Cannonlake. Похоже, именно PCIe 5.0 станет новым долгоживущим стандартом, так что разработчикам системных плат, сетевых и иных контроллеров следует задуматься о внедрении этого стандарта уже сейчас.
Но существует и иное мнение: хотя рост требуемой пропускной способности и может спровоцировать массовый переход производителей аппаратного обеспечения на использование PCI Express 5.0 в районе 2020 года, однако ещё до этого события может вырасти популярность таких шин, как Intel Omni-Path, IBM CAPI/OpenCAPI или NVIDIA NVLink. Собственно, именно задержки с внедрением PCI Express 4.0 вызвали к жизни эти промежуточные решения — но у них есть шанс из промежуточных стать основными там, где требуется высокая скорость соединения как системных компонентов, так и отдельных вычислительных узлов между собой.

Источник: servernews.ru