BladeCenter H – проблемы с FC 8Gb в bay 3 и 4

Главная Форумы System X (Lenovo) System X (Lenovo) – всё про серверы BladeCenter H – проблемы с FC 8Gb в bay 3 и 4

Просмотр 18 веток ответов
  • Автор
    Сообщения
    • #17359
      Pavel Alexei
      Участник

      Возможно, кто-то уже сталкивался, кто-то уже знает.
      Похоже что текущая реализация BC-H имеет проблемы с высокоскоростными дивайсами в первых 4 bay (1,2,3,4). В первых 2-х всегда 1Gb Etherner, так что там все нормально. А вот с переходом на 8Gb в bay 3 и 4 траблы у народа поехали.
      Есть целый трактак, про то какая должна быть конфигурация FC HBA и свичей в случае 8 GB FC в bay 3,4
      https://www-947.ibm.com/support/entry/myportal/docdisplay?lndocid=MIGR-5087103&brandind=5000020&myns=x108750&mync=E
      Но судя по флэйму в форумах, это не всегда помогает. Даже опускание скорости до 4Gb не всегда помогает.
      В общем сделали новый midplane для BC-H и будет новое шасси.
      http://www.ibm.com/developerworks/forums/thread.jspa?messageID=14916661
      Так что если у кого будет задача в текущие шасси доустановить 8Gb FC, имейте ввиду.

      Я недавно запускал FC 8Gb,но по дизайну надо было 4 Ethernet, так что решил унести FC в 8 и 10 слоты, там такой проблемы нет, там сразу на большие скорости было расчитано. Так что я проскочил.

    • #17387
      Roman
      Участник

      Мнде, а мы наступили на эти грабли по полной программе ровно год назад…
      4-е месяца выносили мозг (как мы, так и нам) в общении со всеми уровнями саппорта… 🙁

    • #17668
      uxTuaHgp
      Участник

      У нас что-то подобное похоже, только вот коммутаторы у нас 4G.
      Проблемы с CRC и Encoding errors лезут после установки лезвий с 8G CIOv адаптерами.

      Что интересно, поддержка заявляет, что лезвия поставят на гарантию только через месяц после поставки…

    • #17671
      Pavel Alexei
      Участник

      А что за коммутаторы и что за CIOv? Надеюсь FC не Brocade 4Gb. Помню, что раньше Brocade 4Gb FC был несовместим с 8Gb Qlogic CIOv, но типа работало с Emulex 8Gb. Причем Emulex это “выпячивал”. Смотрю в последнем на сайте IBM BladeCenter Interoperability Guide, так там вообще 4Fb Brocade убрали, осталось только Cisco. А в каком-то более старом что у себя нашел, за август 2012, уже и Emulex несовместим, зато Qlogic Combo оставили.

      Недавно а анонсах опять проскочил RETAIN на подключение 8Gb FC в BC, я не заметил изменений, может еще раз разослали, чтоб просто “намозолить”.
      http://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=MIGR-5087103
      пересмотри, может что нового, я не заметил.

    • #17672
      uxTuaHgp
      Участник

      Коммутаторы именно Brocade 4G.
      CIOv от QLogic

      По ссылке описаны проблемы с коммутаторами 8G, а у нас старенькие 4G.

    • #17674
      Pavel Alexei
      Участник

      Qlogic 8Gb CIOv всегда были в черном списке совместимости в Brocade FC 4Gb. Я точно помню, что когда-то Emulex 8Gb в списке был как compatible.
      В последнем BC interop guide вообще нет Brocade 4Gb FC, а в сохранивщемся у меня старом даже Emulex 8Gb CIOv уже не подходит.
      http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/redpbcig.html?Open
      https://docs.google.com/file/d/0B2UULgVZiiXSdWZCMEVUYTZTN2s/edit
      Во! нашел за март 2011. тут типа с Emulex все ок.

      А вот кстати, еще 2 источника
      Qlogic 8Gb CIOv числится несовметимым с Brocade
      http://www.redbooks.ibm.com/abstracts/tips0692.html?Open
      а Emulex рулит
      http://www.redbooks.ibm.com/abstracts/tips0703.html?Open

    • #17676
      uxTuaHgp
      Участник

      Мда,

      нету наших модулей в листе
      Part Number 32R1819
      FRU Number 32R1821

    • #17677
      Pavel Alexei
      Участник

      http://www-947.ibm.com/support/entry/portal/docdisplay?lndocid=migr-5083850
      Видимо ты уже нашел 🙁
      Попробуй обменять на Emulex. Вообще Qlogic более востребован, так что могут пойти навстречу.
      Хотя, если честно, я не уверен на все 100%, что и Emulex хорошо ляжет.

      Хохма. Заходим на SSIC и выбираем Adapter 44X1945 (Qlogic 8GB CIOv) и далее Switch Module 32R1812 или 32R1813. И получаем 300тыс совместимых комбинаций, которые на самом деле вроде как и несовместимы. Вот такое вот счастье. Правда если выбрать 44X1940 (Emulex CIOv), то счастья наступит еще больше, в размере 500тыс комбинаций.

    • #17681
      Olegg
      Участник

      Доброе утро!

      Да так и есть. 8Гб FC в шасси Н работает нестабильно. Даже пустое шасси, без серверов “стучит” и показывает потери синхронизации практически по всем слотам… Лезут “паразитные фреймы и “фантомные” потери пакетов… По отзывам компетентных товарищей, при скорости 8 Гб, реально все работает на 5Гб… :(((
      Лечится настройками карты (именно QLogic) – “Loop prefered, otherwize point to point” и EDC mode Brocade. Драйвер в win 2008SP2 -> x.x.8.38
      Однако у нас в другом шасси все работает и без этого “шамашства” с драйвером x.x.8.25

      Сам был удивлен “шумом” в пустом шасси. :))))

      Удачи в настройках.
      С Уважением, Олег.

    • #17690
      uxTuaHgp
      Участник

      Я все перепутал.
      Действительно 8G коммутаторы в одной из корзин, в которой как раз и есть проблемы…

    • #17707
      d9thc
      Участник

      у нас несколько проблемных шасси.
      саппорт инициировал замену мидплейнов.
      как обычно, предварительно нужно все и вся перепрошить.

    • #17708
      uxTuaHgp
      Участник

      В соответствии с январским документом
      обновил код коммутаторов до 6.4.2b4,
      EDC 3.37 и код CIOv до 05.07.01
      Зафиксировал 8G на коммутаторах и на адаптерах

      Ошибок не стало.
      Будем продолжать нагружать/тестировать.

    • #17710
      Pavel Alexei
      Участник

      Тут говорят, что скорости для этого сильно “сбавили”. Можешь проверить? Читать с какого-то не сильно незагруженного сториджа небольшой кусок, чтоб только из cache получилось.

    • #17713
      uxTuaHgp
      Участник

      Сомневаюсь, что один хост может утилизировать 8G, а тем более 2 по 8G.
      Попробовал
      dd if=/dev/zero of=/tmp/test_file_delete_it bs=16M count=1000
      На запись получилось примерно 2×250 МБ/сек после пробоя локального кэша.
      На чтение грустно – что-то около 100-150МБ/сек
      Читал так
      cat /tmp/test_file_delete_it >/dev/null

      Предполагаю, что тормоза не в дисках.

    • #17714
      Pavel Alexei
      Участник

      запустить бы штук 50 “cat /tmp/test_file_delete_it >/dev/null” в паралели и по кругу и посмотреть на что показывает Storage Manager в performance compartment.

    • #17715
      uxTuaHgp
      Участник

      kernel time шкалит
      диски быстрее не работают

    • #17722
      Pavel Alexei
      Участник

      А если натравить Iometter?
      http://www.iometer.org/doc/downloads.html
      Что-то типа десяток worker с профйлом “128K; 100% Read; 0% random” и maximum disk size 256 sectors (чтоб оно читало один и тот же кусок в 128K).

      P.S. Ны могу успокоиться 🙂

    • #17727
      uxTuaHgp
      Участник

      Лезвия использовать под приложения с высокой дисковой нагрузкой в здравом уме никто не станет.
      Так что главное, чтобы не сбоило. Даже если будет 4G – ок.

      Не буду травить ничего – уже пашут 4 LPAR через NPIV – ошибок 0.

    • #17792
      uxTuaHgp
      Участник

      под реальной нагрузкой показывает ~300МБ/сек на порту коммутатора.
      Наверное может и больше, но я пока не видел, да и SVC у меня вроде бы больше 400 не вывозит, а на ней много кто еще ездит.
      Видел пики до 720 Мб/сек, так что наверное если и поджали по производительности то не до плинтуса.

Просмотр 18 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.