Обзор IBM Power E1080

08 сентября 2021 г. IBM анонсировал первый сервер в линейке Power10. В прошлый раз сначала вышли серверы начального уровня POWER9, а сейчас решили начать с High End.
В этой статье – первый обзор на русском языке, основное внимание – на отличия от E980.
Кстати, обратите внимание, серверы на базе процессоров Power10 называются именно так: IBM Power.

Model name:
Правильное название E1080: 9080-HEX

System nodes (CEC):
Как и E980, новый сервер будет доступен в варианте с 1, 2, 3 или 4 модулями CEC. Конфигурации с 3 и 4 модулями обещают в декабре 2021, сейчас (сентябрь 2021) доступны только варианты с одинм или двумя. Модули 5-юнитовые. 19 дюймов.
В каждом по 4 блока питания (резервирование N+2) и 5 вентиляторов (N+1).
Что есть в одном модуле:
4 процессора Power10. Обязательно. Т.е, нельзя взять модуль с двумя установленными процессорами.
64 слота памяти DDIMM DDR4.
backplane для 4х модулей mainstream NVMe. Каждый NVMe может быть назначен отдельному LPARу.
8 PCIe слотов: 6 слота Gen 4 x16 или PCIe Gen 5 x8 и 2 слота PCIe Gen 5 x8.
Нумерация CEC-ов изменилась. Теперь CEC 1 – нижний, номера 2, 3, 4 растут от него снизу вверх.

System Control Unit (SCU):
2-х юнитовый. Одна штука на сервер. В нём установлены 2 сервисных процессора FSP, панель оператора, порты USB и т.д. Интегрированного USB адаптера нет, только порты, так что если захотите подключить что-то – придётся ставить PCIe USB adapter.
Располагается в стойке прямо под CEC 1.

IO Drawers:
Как правило, 8 PCIe слотов для такой большой машины не хватает. Решение – дополнительные модули со слотами PCIe. Для тех, кто работает с IBM Power, они давно известны, они называются #EMX0.
Обратите внимание, что fanout должны быть #EMXH. Старые модели (#EMXF, #EMXG) в E1080 не поддерживаются. Больше относительно E980 ничего не поменялось, вроде.

Для тех, кому эти буквы ни о чём не говорят (остальные могут пролистать этот абзац):
#EMX0 – 4х юнитовый модуль, в него устанавливается один или два fanout-модуля #EMXF, в каждом fanout модуле по 6 PCIe слотов. В процессорный модуль CEC ставится пара специальных адаптеров PCIe Gen 4 cable adapter (#EJ24). IO Drawer подключается к адаптерам специальными кабелями Active Optical Cable (AOC).
Что получаем в итоге?
Минус 2 PCIe слота в CEC (они заняты спец адаптерами)
Плюс 12 PCIe слотов в IO Drawer.
Итого +10 портов.
Как можно понять из этой математики, максимум у одному CEC можно подключить 4 #EMX0 = 8 #EMXF = 8*6 = 48 слотов PCIe. А если модулей CEC 4 штуки, то и слотов тоже больше будет. В такой конфигурации свободных PCIe-слотов в CEC не остаётся.
(!) Внимание, я описываю именно E1080, в моделях S9xx бывает, что слоты в CEC есть, но подключить в них EMX нельзя.
Вопрос: А можно ли поставить этот “спец адаптер” EJ24 в слот в EMXF, чтобы сделать цепочку из таких модулей?
Ответ: Нет, нельзя.
Вопрос: А какая пропускная способность? Какие приоритеты у слотов?
Ответ: Спасибо за хороший вопрос. Я и так увлёкся рассказом про IO Drawers, всё есть в документации. Сейчас в фокусе – E1080.

Storage Subsystem:
Про флешки NVMe я уже написал. Можно поставить до 4 шт. в каждый CEC. Они так называемые “mainstream”, т.е. не подходят для больших нагрузок. А вот для VIOS – самое то! Четыре карты в одном CEC позволят установить Dual VIOS с резервированием дисков, а восемь карт в двух CEC – Quadro VIOS. Размеры: 800Gb, 1.6Tb, 3.2Tb. Этого более, чем достаточно. Мне бы хватило и в 10 раз меньше, но, наверное, меньшие размеры уже просто не выпускают.
Слоты для NVMe расположены между PCIe слотами в CEC. Конечно, hot swap.
Мало?
Ставим в PCIe слот SAS адаптер, подключаем полку расширения EXP24SX SAS Storage Enclosure. Как можно догадаться из названия, в полке 24 отсека для дисков. Документация утверждает, что всего можно поставить 168 таких полок. Хотя конструктивно эти диски получаются вроде как “внешние”, они всё равно считаются “внутренними”. Почему? Потому что внутренние.
Всё равно мало?
Про FC адаптеры и SAN слышали? Отлично!

RAS – Reliability, Availability, Serviceability:
Конечно, весь комплект есть: резервирование, замена компонентов на лету, встроенная диагностика и т.д. и т.п. Про это можно долго писать. Не буду.
Отличия от E980? Да, что-то новое появилось, ещё не разобрался.

PowerVM:
Конечно, куда без него? Enterprise Edition в комплекте. До 1000 LPARs на сервер. Live Partition Mobility, все дела.

Operating Systems:
AIX, IBM i, Linux. Всё, как обычно.
Какие нужны версии, пока не совсем понятно. В одних источниках пишут, что поддерживается AIX 7.1, но только с виртуальными устройствами и в режиме совместимости с POWER8, в других – что вообще не поддерживается.
AIX 7.2 – в режиме совместимости с POWER9.
AIX 7.3 – в родном режиме, ждём релиза в декабре 2021.
Конечно, потребуются свежие TL-SP.
Про требуемые версии IBM i писать не буду, не моё, извините.

Power Enterprise Pool:
В PEP v.1 можно объединить E980 и E1080.
На E980 достаточно иметь 8 статических активаций ядер, а вот на E1080 их нужно минимум 16. Почему? Потому, что не 8.
Как и раньше, минимум 50% установленной памяти должно быть активировано, минимум 25% – static.
PEP v.2 тоже поддерживаются.

Capacity on Demand:
Конечно. Про минимальное количество активаций я гаписал в предыдущем абзаце.
Появилась новая фича – Shared Utility Capacity.

HMC:
Нужна новая версия софта: V10R1. Она поддерживается только на аппаратных HMC 7063-CR1, 7063-CR2 и на Virtual HMC appliances. А вот серверы POWER7 новая HMC не поддерживает.
Хорошо, хотя бы старые мониторы 7316-TF3, TF4, TF5 с ней совместимы.
Впрочем, 7063, с POWER9 процессором, уже давно не новинка сезона. Консольное железо тоже нужно обновлять, хотя бы изредка.

System rack:
19 дюймовая стойка. Электропитание: 220-240 В.
Сертифицированные: 7965-S42, 7014-T42, 7014-T00, 7965-94Y. “Крайне рекомендованная“: #ECR0 (7965-S42).
Размещение PDU: все PDU в стойке с E1080 должны быть размещены горизонтально для обеспечения правильного каблирования. Есть и другие ограничения, подробнее, как всегда, в доке.
Для ценителей прекрасного предлагаются разные варианты дверей. Наверное, для демо-оборудования оно и прикольно.
Важно: обязательно планируйте место в стойке, не забывайте про возможное добавление CEC-ов и IO Drawer-ов.

System Administration:
А что? Железо – оно просто железо, даже местами пластиковое. Софты всякие – просто набор битов. Без рук и особенно головы – штука бесполезная. Сам сервер вводится в эксплуатацию только инженером IBM (если этот текст читает такой инженер – респект тебе и уважуха за твою тяжёлую работу!), но есть и то, что называется customer setup. Так вот, в документации встречаются фразы про “skilled, technically qualified person“. Андрестэнд? Причём ещё на стадии планирования покупки. Не шучу, это очень важно.

Снаружи, вроде, всё. Заглянем внутрь и посмотрим повнимательнее на железо.

Процессоры:
Главное отличие, конечно, в том, что они Power10.
OMI, PowerAXON и много других мудрёных слов… Про технологию можно отдельно долго писать, ограничусь тем, что техпроцесс теперь 7нм. Подробнее можно прочитать здесь >>>.
Более приземлённо о доступных в E1080 вариантах:
40-core (4×10) Typical 3.65 to 3.90 GHz (max)
48-core (4×12) Typical 3.60 to 4.15 GHZ (max)
60-core (4×15) Typical 3.55 to 4.00 GHz (max)
Помните, я написал, что в одном модуле CEC установлено 4 процессора? Вот они и дают эти 40, 48 или 60 ядер. Каждый процессор в своём сокете, т.е. это конфигурация SCM – Single Chip Module. DCM, говорят, будут доступны в серверах S10xx, но я вам этого не обещал.
Все процессоры во всех CEC должны быть одинаковые, так всегда было.
В документации пишут, что 40-ядерный вариант это entry point, 48-ядерный даёт максимальную производительность на ядро, а 60-ядерный – максимальную масштабируемость. Впрочем, это и так видно по тактовым частотам.
Что будет по rPerf и по стоимости? Увидим.
Как я уже написал, теперь минимальное количество статических активаций: 16, а не 8.
Вопрос: почему 15 ядер на процессор, а не 16?
Ответ: А вы пробовали впаять 16 ядер по технологии 7нм на пластину площадью 602 мм? И ещё кэши туда всякие поместить? Вообще, если картинку посмотреть, то их 16. Но последнее ядро уже не совсем влезает.
Вопрос: что такое активации? Мобильные активации – это как?
Ответ: почитайте про Power Enterprise Pools. Или посмотрите видео >>>.


Оперативная память:
DDIMM DDR4. В каждом CEC по 64 слота. Это совершенно новые модули, так что при переходе с E980 придётся старые вынуть. Зато они быстрее старых.
Объёмы модулей памяти, в ГБ: 32, 64 (частота 3200 МГц), 128 и 256 (частота 2933 МГц). Ставятся комплектами по 4 штуки. (*) на сентябрь 2021 большие планки пока недоступны для заказа.
Итого максимальный объём памяти в сервере с одним CEC – 16 Тб, а с четырьмя – 64 Тб.
Рекомендации стандартные: для лучшей производительности заполняем все слоты планками как можно меньшего, при этом одинакового, объёма. Конечно, так далеко не всегда получается, на то она и рекомендация.
Минимально должно быть активировано 50% установленной памяти, минимально 25% установленной памяти должно быть активировано как static. Не перепутайте, это совсем не равно “половина активированной памяти должна быть static”. Квант активации – 1 гигабайт.
Появилась новая фича – теперь можно активировать сразу 512Gb, а не 100, как в E980. Ну и правильно, потому что для ИТшника 512 – круглое число, а 100 – так, ерунда какая-то.
Вопрос: что такое активации? Мобильные активации – это как?
Ответ: почитайте про Power Enterprise Pools. Или посмотрите видео >>>.

Подсистема ввода-вывода:
В каждом CEC – 8 слотов PCIe Gen 5, LP (т.е., полноразмерные). Конечно, с горячей заменой адаптеров.
Плюс IO Drawer. Ой, опять я про него. Пропускная способность по сравнению с E980 выше, появились новые адаптеры. Да они часто новые выходят, не буду про них писать.

И самое интересное – производительность:
Информации пока немного. Вот всё, что у меня есть:
SAP Standard Application Benchmarks
IBM Power E1080; two-tier SAP SD standard application benchmark running SAP ERP 6.0 EHP5; Power10 3.55-4.0 GHz processor, 4,096 GB memory, 8p/120c/960t, 174,000 SD benchmark users (955,050 SAPS), AIX 7.2, DB2 11.5. Источник >>>
Так. 120 ядер, 3.55 ГГц. Значит, это конфигурация из 2-х CEC по 60 ядер.
А вот результат тестирования E980: 1,149,020 SAPS. IBM Power System E980, 16 processors / 192cores / 1,536threads, POWER9, 3.9GHz. Источник >>>.
Применяем знания математики (Внимание! Это я сам посчитал, не претендую на правильность методики!):
E1080. 955 050 / 120 = 7 958.75 SAPS/ядро.
E980. 1 149 020 / 192 = 5 984.48 SAPS/ядро.
Соотношение E1080/E980: 1.33.
Впечатляет!
Вот ещё один результат, в rPerf:
Power9 (12c) is 5081 rPerf @ 16,520 Watts (0.31 rPerf/Watt), Power10 (15c) is 7998 rPerf @ 17,320 Watts (0.46rPerf/Watt). 0.46 / 0.31 = 1.48 More rPerf/Watt. Источник >>>.
Считаем (опять предупреждаю, что это я сам посчитал, на истину не претендую).
E1080. 7 998 / 15 = 533.2 rPerf/ядро.
E980. 5 081 / 12 = 423.42 rPerf/ядро.
Соотношение E1080/E980: 1.26.
Тоже вполне неплохо.
Других результатов я пока не видел. Будут – добавлю. Каково оно реально – если кто уже тестировал, напишите.

Картинки:
Вопрос: Почему в тексте нет картинок?
Ответ: Вы что, никогда серверов не видели? Прямоугольные такие. Я думал добавить картинки, но потом решил, что они от текста будут отвлекать. Может быть, добавлю.

Спасибо, что прочитали!
Надеюсь, эта статья была для вас полезной.
А если вы нашли неточность или хотите что-то добавить – напишите об этом.

08 сентября 2021 г.
Дмитрий Миронов
IBM Champion


При подготовке статьи использованы материалы из IBM draft Redpaper IBM Power E1080 Technical Overview and Introduction и других открытых источников.

Оставьте комментарий

4 комментария “Обзор IBM Power E1080”