Ответ в теме: Largest IBM i partition in the world


Главная Форумы IBM i (OS/400) Largest IBM i partition in the world Ответ в теме: Largest IBM i partition in the world

#39298

Sever
Участник

Дмитрий, никаких секретов подобной конфигурации нет. Нужна грамотная локальная команда инженеров и много денег акционеров.

Целевая топология строилась нами на базе уже имеющейся у нас практической экспертизы по данной платформе и целевых требований к конечному решению исходя из нашего исторического опыта использования оборудования IBM для ОС IBMi.
При построении системы наши цели были следующими:
— максимальная возможная производительность IO;
— максимально возможная защита от сбоев на уровне оборудования и защита от инцидентов потери электропитания отдельными элементами или блоками системы.

1. Производительность IO решалась отказом от использования HDD, как класса конечных устройств хранения информации, и переходом на SSD. Для IBM i неважно какие у тебя процессоры, важно то, — каково время отклика системы хранения, важно — какая у тебя топология ввода вывода и какие устройства хранения используются. При переходе на SSD паралельно был принят за аксиому (для данной системы) отказ от использования защиты RAID для конечных устройств на уровне контроллеров ввода/вывода. Мы вернулись к зеркальной защите конечных устройств хранения на уровне ОС. При лавинной активности IO на запись вычисление parity для RAID является узким местом. При зеркальной защите конечные устройства работают в режиме JBOD, контролеры тупо пищут блоки данных и не отвлекаются на вычисление parity. Это было выявлено нами много лет назад на первых тестовых экспериментах c SSD и это было подтвержено при тестирование в лаборатории IBM в этом году. Наш вариант системы хранения на базе SSD с зеркальной защитой порвал в клочья предлагаемый нам вариант от IBM на базе флэш системы использущей на низком уровне RAID5. Текущее время отклика для операций записи в штатном режиме у нас равно 50 микросекунд. Ни одна из имеющихся стистем хранения в мире не может обеспечить подобных значений. Прикольно, что наш вариант оказался в разы дешевле предлагаемого варианта от IBM.
Секрета по размещению контроллеров тоже нет. Просто дисковых контроллеров должно быть столько, сколько вообще разрешено устанавливать в блоки ввода вывода. У нас их ровно 32 штуки. Это максимум для 4х блоков расширения EMX0.

2. Защита от сбоев отдельных элементов или блоков реализована следующим образом:
— обеспечена защита от сбоя отдельного SSD диска;
— обеспечена защита от сбоя отдельного контроллера IO;
— обеспечена защита от сбоя или потери элетропитания отдельного блока расширения EMX0, на котором располагается 8 контроллеров и 80 SSD;
— обеспечивается работа системы при полном обесточивании двух блоков EMX0, находящихся в одной стойке (16 контроллеров и 160 SSD);

— при полной потере системы мы переключаемся на другую систему в другом датацентре с полностью идентичными характеристиками, и на которой обеспечена консистентность и целлостность данных на момент отказа основной системы.

Ко всему прочему мы имеем инструмент контроля за ресурсом жизни SSD. Нам его никто официально не предоставлял, мы его нашли сами в дебрях ОС IBM i, он измеряется в процентах. За полгода с момента запуска системы в продуктив ни по одному SSD диску ресурс жизни не изменился даже на процент.