BladeCenter H — проблемы с FC 8Gb в bay 3 и 4


Главная Форумы System X (Lenovo) System X (Lenovo) — всё про серверы BladeCenter H — проблемы с FC 8Gb в bay 3 и 4

В этой теме 18 ответов, 5 участников, последнее обновление  uxTuaHgp 4 года/лет, 10 мес. назад.

  • Автор
    Сообщения
  • #17359

    Pavel Alexei
    Участник

    Возможно, кто-то уже сталкивался, кто-то уже знает.
    Похоже что текущая реализация BC-H имеет проблемы с высокоскоростными дивайсами в первых 4 bay (1,2,3,4). В первых 2-х всегда 1Gb Etherner, так что там все нормально. А вот с переходом на 8Gb в bay 3 и 4 траблы у народа поехали.
    Есть целый трактак, про то какая должна быть конфигурация FC HBA и свичей в случае 8 GB FC в bay 3,4
    https://www-947.ibm.com/support/entry/myportal/docdisplay?lndocid=MIGR-5087103&brandind=5000020&myns=x108750&mync=E
    Но судя по флэйму в форумах, это не всегда помогает. Даже опускание скорости до 4Gb не всегда помогает.
    В общем сделали новый midplane для BC-H и будет новое шасси.
    http://www.ibm.com/developerworks/forums/thread.jspa?messageID=14916661
    Так что если у кого будет задача в текущие шасси доустановить 8Gb FC, имейте ввиду.

    Я недавно запускал FC 8Gb,но по дизайну надо было 4 Ethernet, так что решил унести FC в 8 и 10 слоты, там такой проблемы нет, там сразу на большие скорости было расчитано. Так что я проскочил.

  • #17387

    Roman
    Участник

    Мнде, а мы наступили на эти грабли по полной программе ровно год назад…
    4-е месяца выносили мозг (как мы, так и нам) в общении со всеми уровнями саппорта… 🙁

  • #17668

    uxTuaHgp
    Участник

    У нас что-то подобное похоже, только вот коммутаторы у нас 4G.
    Проблемы с CRC и Encoding errors лезут после установки лезвий с 8G CIOv адаптерами.

    Что интересно, поддержка заявляет, что лезвия поставят на гарантию только через месяц после поставки…

  • #17671

    Pavel Alexei
    Участник

    А что за коммутаторы и что за CIOv? Надеюсь FC не Brocade 4Gb. Помню, что раньше Brocade 4Gb FC был несовместим с 8Gb Qlogic CIOv, но типа работало с Emulex 8Gb. Причем Emulex это «выпячивал». Смотрю в последнем на сайте IBM BladeCenter Interoperability Guide, так там вообще 4Fb Brocade убрали, осталось только Cisco. А в каком-то более старом что у себя нашел, за август 2012, уже и Emulex несовместим, зато Qlogic Combo оставили.

    Недавно а анонсах опять проскочил RETAIN на подключение 8Gb FC в BC, я не заметил изменений, может еще раз разослали, чтоб просто «намозолить».
    http://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=MIGR-5087103
    пересмотри, может что нового, я не заметил.

  • #17672

    uxTuaHgp
    Участник

    Коммутаторы именно Brocade 4G.
    CIOv от QLogic

    По ссылке описаны проблемы с коммутаторами 8G, а у нас старенькие 4G.

  • #17674

    Pavel Alexei
    Участник

    Qlogic 8Gb CIOv всегда были в черном списке совместимости в Brocade FC 4Gb. Я точно помню, что когда-то Emulex 8Gb в списке был как compatible.
    В последнем BC interop guide вообще нет Brocade 4Gb FC, а в сохранивщемся у меня старом даже Emulex 8Gb CIOv уже не подходит.
    http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/redpbcig.html?Open
    https://docs.google.com/file/d/0B2UULgVZiiXSdWZCMEVUYTZTN2s/edit
    Во! нашел за март 2011. тут типа с Emulex все ок.

    А вот кстати, еще 2 источника
    Qlogic 8Gb CIOv числится несовметимым с Brocade
    http://www.redbooks.ibm.com/abstracts/tips0692.html?Open
    а Emulex рулит
    http://www.redbooks.ibm.com/abstracts/tips0703.html?Open

  • #17676

    uxTuaHgp
    Участник

    Мда,

    нету наших модулей в листе
    Part Number 32R1819
    FRU Number 32R1821

  • #17677

    Pavel Alexei
    Участник

    http://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=migr-5083850
    Видимо ты уже нашел 🙁
    Попробуй обменять на Emulex. Вообще Qlogic более востребован, так что могут пойти навстречу.
    Хотя, если честно, я не уверен на все 100%, что и Emulex хорошо ляжет.

    Хохма. Заходим на SSIC и выбираем Adapter 44X1945 (Qlogic 8GB CIOv) и далее Switch Module 32R1812 или 32R1813. И получаем 300тыс совместимых комбинаций, которые на самом деле вроде как и несовместимы. Вот такое вот счастье. Правда если выбрать 44X1940 (Emulex CIOv), то счастья наступит еще больше, в размере 500тыс комбинаций.

  • #17681

    Olegg
    Участник

    Доброе утро!

    Да так и есть. 8Гб FC в шасси Н работает нестабильно. Даже пустое шасси, без серверов «стучит» и показывает потери синхронизации практически по всем слотам… Лезут «паразитные фреймы и «фантомные» потери пакетов… По отзывам компетентных товарищей, при скорости 8 Гб, реально все работает на 5Гб… :(((
    Лечится настройками карты (именно QLogic) — «Loop prefered, otherwize point to point» и EDC mode Brocade. Драйвер в win 2008SP2 -> x.x.8.38
    Однако у нас в другом шасси все работает и без этого «шамашства» с драйвером x.x.8.25

    Сам был удивлен «шумом» в пустом шасси. :))))

    Удачи в настройках.
    С Уважением, Олег.

  • #17690

    uxTuaHgp
    Участник

    Я все перепутал.
    Действительно 8G коммутаторы в одной из корзин, в которой как раз и есть проблемы…

  • #17707

    d9thc
    Участник

    у нас несколько проблемных шасси.
    саппорт инициировал замену мидплейнов.
    как обычно, предварительно нужно все и вся перепрошить.

  • #17708

    uxTuaHgp
    Участник

    В соответствии с январским документом
    обновил код коммутаторов до 6.4.2b4,
    EDC 3.37 и код CIOv до 05.07.01
    Зафиксировал 8G на коммутаторах и на адаптерах

    Ошибок не стало.
    Будем продолжать нагружать/тестировать.

  • #17710

    Pavel Alexei
    Участник

    Тут говорят, что скорости для этого сильно «сбавили». Можешь проверить? Читать с какого-то не сильно незагруженного сториджа небольшой кусок, чтоб только из cache получилось.

  • #17713

    uxTuaHgp
    Участник

    Сомневаюсь, что один хост может утилизировать 8G, а тем более 2 по 8G.
    Попробовал
    dd if=/dev/zero of=/tmp/test_file_delete_it bs=16M count=1000
    На запись получилось примерно 2×250 МБ/сек после пробоя локального кэша.
    На чтение грустно — что-то около 100-150МБ/сек
    Читал так
    cat /tmp/test_file_delete_it >/dev/null

    Предполагаю, что тормоза не в дисках.

  • #17714

    Pavel Alexei
    Участник

    запустить бы штук 50 «cat /tmp/test_file_delete_it >/dev/null» в паралели и по кругу и посмотреть на что показывает Storage Manager в performance compartment.

  • #17715

    uxTuaHgp
    Участник

    kernel time шкалит
    диски быстрее не работают

  • #17722

    Pavel Alexei
    Участник

    А если натравить Iometter?
    http://www.iometer.org/doc/downloads.html
    Что-то типа десяток worker с профйлом «128K; 100% Read; 0% random» и maximum disk size 256 sectors (чтоб оно читало один и тот же кусок в 128K).

    P.S. Ны могу успокоиться 🙂

  • #17727

    uxTuaHgp
    Участник

    Лезвия использовать под приложения с высокой дисковой нагрузкой в здравом уме никто не станет.
    Так что главное, чтобы не сбоило. Даже если будет 4G — ок.

    Не буду травить ничего — уже пашут 4 LPAR через NPIV — ошибок 0.

  • #17792

    uxTuaHgp
    Участник

    под реальной нагрузкой показывает ~300МБ/сек на порту коммутатора.
    Наверное может и больше, но я пока не видел, да и SVC у меня вроде бы больше 400 не вывозит, а на ней много кто еще ездит.
    Видел пики до 720 Мб/сек, так что наверное если и поджали по производительности то не до плинтуса.

Для ответа в этой теме необходимо авторизоваться.