Как на самом деле работает NPIV+PowerVM?

Главная Форумы POWER Systems AIX/Hardware Как на самом деле работает NPIV+PowerVM?

Просмотр 6 веток ответов
  • Автор
    Сообщения
    • #19303
      Григорий
      Участник

      Всем доброго времени суток.

      Буквально на днях пришлось создавать конфигурацию на сервере Power c использованием NPIV. В процессе настройки столкнулся с очень интересной проблемой, о которой пока не нашел упоминаний в оф. документации.
      И так, описание.

      На сервере 2 раздела VIOS (2.2.2.2) и один раздел AIX (6.1-08).
      У каждого VIOS есть физический двухпортовый 8 Gb/s FC адаптер.
      Кроме того, у каждого VIOS в профиле заведено по одному виртуальному FC адаптеру, которые связаны с виртуальными FC адаптерами в профиле раздела c AIX.
      К локальной сети подключены оба VIOS, но IP адрес назначен только в одном из разделов VIOS (это важно!).
      Оба раздела VIOS загружены. Раздел AIX загружен. Команда маппинга физического порта FC адаптера на виртуальный адаптер пока не давалась.
      На VIOS выполняем lsmap -all -npiv. Видим, что виртуальный адаптер в состоянии
      Далее на обоих VIOS даем команду vfcmap.
      Опять проверяем статус в lsmap -all -npiv
      Адаптер в только состоянии
      , вроде бы все хорошо.
      В AIX выполняю cfgmgr. В результате получаю две ошибки cannot find a child device для /dev/fcs0 и /dev/fcs1 Это уже начинает вызывать подозрения.
      Выполняю на обоих VIOS cfgdev, затем cfgmgr в AIX. Картина не меняется.
      К слову сказать, на SAN свитчах WWPN физических портов видны, виртуальных нет.
      Проверил все профайлы, все подключения. Состояние портов на SAN свитчах показывает NPIV capability .. ON

      Далее стал спрашивать у гугла разными способам и наткнулся на следующие новые для меня команды HMC chnportlogin and lsnportlogin https://www.ibm.com/developerworks/community/blogs/cgaix/entry/new_hmc_commands_chnportlogin_and_lsnportlogin_login_in_virtual_fibre_channel_adapters_for_npiv_client_lpars1?lang=ru
      Пробую их и получаю сообщение о том, что HMC не может достучаться до радела с AIX и раздела со вторым VIOS, потому что сервис RMC не может установить с ней связь. Оно и понятно, IP адрес только в одном VIOS сконфигурирован.

      Провожу эксперимент: назначаю адреса во втором VIOS и в AIX. Далее, судя по информации про RMC, он пытается соединить HMC с разделами каждые 5 минут. Ждал 5 минут и даже 15. Набирал cfgdev и cfgmgr. Но AIX упорно не логинился в фабрику.
      Крайняя мера: выключаю раздел AIX, перезагружаю оба VIOS, включаю AIX.

      Виртуальные адаптеры залогинились в фабрику, WWPN увидились на свитчах, т.е. все зарарботало.

      И вот второй день меня мучает вопрос: при чему тут связь между разделами по сети и NPIV?
      Или это простое совпадение (не верю!!!) и локальная сеть тут вообще не причем?

      Времени на проверку различных теорий к сожалению уже не оставалось…

    • #19308
      andrewk
      Участник

      делайте сразу же правильно и не будет никаких проблем. связь RMC не при чем и сразу же при всем. Вам не надо RMC-соединение, чтобы сконфигурировать и запустить NPIV, но для некоторых команд оно может быть необходимо. Для того же chnportlogin – Вы даете эту команду на HMC, которая должна послать сообщение NLOGI с VIOS’а. Как она может сделать это, если нет сетевого соединения? Из Вашего сообщения, к сожалению, совершенно непонятно, в чем была первоначальная проблема – нет выводов lsattr -El fcs*, fscsi* на VIO и AIX, lsmap -all -npiv, errpt с VIO и AIX, а без этого невозможно даже предположить, в чем была Ваша проблема.

    • #19310
      Григорий
      Участник

      Я понимаю, что для команды chnportlogin нужно, чтобы было RMC соединение.
      После перезагрузки LPAR я не выполнял команду chnportlogin. Т.е. либо она выполнилась сама, когда загрузились VIOSы и AIX, либо дело вообще не в ней.
      По поводу выводов команд:
      В errpt не были ничего, касающегося адаптеров FC.
      Про lsmap -all -npiv я написал, обозначив наиболее интересные, на мой взгляд моменты. В остальном ничего необычного в выводе не было.
      lsattr уже конечно не посмотреть, а вот fcstat говорил что-то вроде Error: cannot open device /dev/fcs*

      Я просто хочу понять сам механизм работы NPIV, завязан ли он как-то на RMC и зачем нужна связь разделов с HMC при использовании NPIV.
      В мой предыдущий опыт настройки NPIV на Power все прошло без сучка без задоринки, но в тот раз на всех разделах сеть к тому моменту уже работала.
      В документах IBM вообще нигде не сказано, что для использования NPIV нужна связь разделов по сети. Если это конечно не динамически делается.

    • #19312
      andrewk
      Участник

      1. для работы NPIV не нужен RMC.
      2. то же самое, что делает chnportlogin на HMC, делает cfgmgr на AIX – посылает NLOGI в SAN.
      3. если fcstat на VIO говорил Error, то (скорее всего) не было соединения со свитчем.

    • #19316
      Григорий
      Участник

      fcstat говорил Error не на VIOS, а на AIX.
      Теперь, конечно, остается только гадать что было не так, но кроме назначения ip адресов и перезагрузки никаких изменений в конфигурацию не вносил…

      Думаю в скором времени опять придется настраивать NPIV, вот и попробую проверить теорию о необходимости RMC.

    • #19318
      MIkhail
      Участник

      Поддержу andrewk IP совсем не причем.
      Однако замечу, что недавно ставил VIOS 2.2.2.2 и действительно сталкнулся с рядом проблем с NPIV.
      В моем случае все мапилось отлично, однако в какойто момент мапинг отваливался внутри VIOS.
      Так же замечено, что при перегрузке всех LPAR сервера в том числе VIOS, мапинг внутри VIOS может не восстановиться, приходится еще раз перегружать виос для восстаноления мапинга, вот такое замечание, такого никогда не было в VIOS 2.1.x.x

    • #19320
      Alexander Tchoulkov
      Участник

      Здравствуйте,

      для работы NPIV RMC не нужно и не используется. Для работы NPIV нужно оборудование которое его поддержкивает (FC-адаптер и оптический коммутатор с поддержкой NPIV). RMC соединение нужно только для возможности работы на HMC некоторых команд, LPM, DLPAR. топологии. ESA и некоторых других подсиcтем HMC. chnportlogin, lsnportlogin на HMC просто выполняют команды AIX удаленно, т.е. в соответствии с заданной операцией и параметрами в командной строке этих команд HMC вызывает последовательность выполнения команд на AIX/VIOS и при необходимости использует возвращаемые значения. Для удалённого выполнения команд используется RMC.

      Как работает NPIV можно почитать здесь (функциональный профиль):
      ftp://ftp.t11.org/t11/member/fc/da/02-338v1.pdf

      краткая презентация суммирующая этот документ здесь:
      ftp://ftp.t11.org/t11/member/fc/da/02-340v1.pdf

      chnportlogin не выполняется при загрузке операционной системы. При инициализации VFC адаптера на ViOC соответствующий виртуальный хост адаптер на VIOS осуществляет логин в SAN.

      Насчёт ошибки fcstat. Я так полагаю Вы видели что то подобное:

      Error opening device: /dev/fscsi#
      errno: ########

      Для того чтобы определить почему fcstat не мог открыть устройство нужно знать вторую строку ошибки (errno: ######).

Просмотр 6 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.