Как на самом деле работает NPIV+PowerVM?


Главная Форумы POWER Systems AIX/Hardware Как на самом деле работает NPIV+PowerVM?

В этой теме 6 ответов, 4 участника, последнее обновление  Alexander Tchoulkov 4 года/лет, 2 мес. назад.

  • Автор
    Сообщения
  • #19303

    Григорий
    Участник

    Всем доброго времени суток.

    Буквально на днях пришлось создавать конфигурацию на сервере Power c использованием NPIV. В процессе настройки столкнулся с очень интересной проблемой, о которой пока не нашел упоминаний в оф. документации.
    И так, описание.

    На сервере 2 раздела VIOS (2.2.2.2) и один раздел AIX (6.1-08).
    У каждого VIOS есть физический двухпортовый 8 Gb/s FC адаптер.
    Кроме того, у каждого VIOS в профиле заведено по одному виртуальному FC адаптеру, которые связаны с виртуальными FC адаптерами в профиле раздела c AIX.
    К локальной сети подключены оба VIOS, но IP адрес назначен только в одном из разделов VIOS (это важно!).
    Оба раздела VIOS загружены. Раздел AIX загружен. Команда маппинга физического порта FC адаптера на виртуальный адаптер пока не давалась.
    На VIOS выполняем lsmap -all -npiv. Видим, что виртуальный адаптер в состоянии
    Далее на обоих VIOS даем команду vfcmap.
    Опять проверяем статус в lsmap -all -npiv
    Адаптер в только состоянии
    , вроде бы все хорошо.
    В AIX выполняю cfgmgr. В результате получаю две ошибки cannot find a child device для /dev/fcs0 и /dev/fcs1 Это уже начинает вызывать подозрения.
    Выполняю на обоих VIOS cfgdev, затем cfgmgr в AIX. Картина не меняется.
    К слову сказать, на SAN свитчах WWPN физических портов видны, виртуальных нет.
    Проверил все профайлы, все подключения. Состояние портов на SAN свитчах показывает NPIV capability .. ON

    Далее стал спрашивать у гугла разными способам и наткнулся на следующие новые для меня команды HMC chnportlogin and lsnportlogin https://www.ibm.com/developerworks/community/blogs/cgaix/entry/new_hmc_commands_chnportlogin_and_lsnportlogin_login_in_virtual_fibre_channel_adapters_for_npiv_client_lpars1?lang=ru
    Пробую их и получаю сообщение о том, что HMC не может достучаться до радела с AIX и раздела со вторым VIOS, потому что сервис RMC не может установить с ней связь. Оно и понятно, IP адрес только в одном VIOS сконфигурирован.

    Провожу эксперимент: назначаю адреса во втором VIOS и в AIX. Далее, судя по информации про RMC, он пытается соединить HMC с разделами каждые 5 минут. Ждал 5 минут и даже 15. Набирал cfgdev и cfgmgr. Но AIX упорно не логинился в фабрику.
    Крайняя мера: выключаю раздел AIX, перезагружаю оба VIOS, включаю AIX.

    Виртуальные адаптеры залогинились в фабрику, WWPN увидились на свитчах, т.е. все зарарботало.

    И вот второй день меня мучает вопрос: при чему тут связь между разделами по сети и NPIV?
    Или это простое совпадение (не верю!!!) и локальная сеть тут вообще не причем?

    Времени на проверку различных теорий к сожалению уже не оставалось…

  • #19308

    andrewk
    Участник

    делайте сразу же правильно и не будет никаких проблем. связь RMC не при чем и сразу же при всем. Вам не надо RMC-соединение, чтобы сконфигурировать и запустить NPIV, но для некоторых команд оно может быть необходимо. Для того же chnportlogin — Вы даете эту команду на HMC, которая должна послать сообщение NLOGI с VIOS’а. Как она может сделать это, если нет сетевого соединения? Из Вашего сообщения, к сожалению, совершенно непонятно, в чем была первоначальная проблема — нет выводов lsattr -El fcs*, fscsi* на VIO и AIX, lsmap -all -npiv, errpt с VIO и AIX, а без этого невозможно даже предположить, в чем была Ваша проблема.

  • #19310

    Григорий
    Участник

    Я понимаю, что для команды chnportlogin нужно, чтобы было RMC соединение.
    После перезагрузки LPAR я не выполнял команду chnportlogin. Т.е. либо она выполнилась сама, когда загрузились VIOSы и AIX, либо дело вообще не в ней.
    По поводу выводов команд:
    В errpt не были ничего, касающегося адаптеров FC.
    Про lsmap -all -npiv я написал, обозначив наиболее интересные, на мой взгляд моменты. В остальном ничего необычного в выводе не было.
    lsattr уже конечно не посмотреть, а вот fcstat говорил что-то вроде Error: cannot open device /dev/fcs*

    Я просто хочу понять сам механизм работы NPIV, завязан ли он как-то на RMC и зачем нужна связь разделов с HMC при использовании NPIV.
    В мой предыдущий опыт настройки NPIV на Power все прошло без сучка без задоринки, но в тот раз на всех разделах сеть к тому моменту уже работала.
    В документах IBM вообще нигде не сказано, что для использования NPIV нужна связь разделов по сети. Если это конечно не динамически делается.

  • #19312

    andrewk
    Участник

    1. для работы NPIV не нужен RMC.
    2. то же самое, что делает chnportlogin на HMC, делает cfgmgr на AIX — посылает NLOGI в SAN.
    3. если fcstat на VIO говорил Error, то (скорее всего) не было соединения со свитчем.

  • #19316

    Григорий
    Участник

    fcstat говорил Error не на VIOS, а на AIX.
    Теперь, конечно, остается только гадать что было не так, но кроме назначения ip адресов и перезагрузки никаких изменений в конфигурацию не вносил…

    Думаю в скором времени опять придется настраивать NPIV, вот и попробую проверить теорию о необходимости RMC.

  • #19318

    MIkhail
    Участник

    Поддержу andrewk IP совсем не причем.
    Однако замечу, что недавно ставил VIOS 2.2.2.2 и действительно сталкнулся с рядом проблем с NPIV.
    В моем случае все мапилось отлично, однако в какойто момент мапинг отваливался внутри VIOS.
    Так же замечено, что при перегрузке всех LPAR сервера в том числе VIOS, мапинг внутри VIOS может не восстановиться, приходится еще раз перегружать виос для восстаноления мапинга, вот такое замечание, такого никогда не было в VIOS 2.1.x.x

  • #19320

    Alexander Tchoulkov
    Участник

    Здравствуйте,

    для работы NPIV RMC не нужно и не используется. Для работы NPIV нужно оборудование которое его поддержкивает (FC-адаптер и оптический коммутатор с поддержкой NPIV). RMC соединение нужно только для возможности работы на HMC некоторых команд, LPM, DLPAR. топологии. ESA и некоторых других подсиcтем HMC. chnportlogin, lsnportlogin на HMC просто выполняют команды AIX удаленно, т.е. в соответствии с заданной операцией и параметрами в командной строке этих команд HMC вызывает последовательность выполнения команд на AIX/VIOS и при необходимости использует возвращаемые значения. Для удалённого выполнения команд используется RMC.

    Как работает NPIV можно почитать здесь (функциональный профиль):
    ftp://ftp.t11.org/t11/member/fc/da/02-338v1.pdf

    краткая презентация суммирующая этот документ здесь:
    ftp://ftp.t11.org/t11/member/fc/da/02-340v1.pdf

    chnportlogin не выполняется при загрузке операционной системы. При инициализации VFC адаптера на ViOC соответствующий виртуальный хост адаптер на VIOS осуществляет логин в SAN.

    Насчёт ошибки fcstat. Я так полагаю Вы видели что то подобное:

    Error opening device: /dev/fscsi#
    errno: ########

    Для того чтобы определить почему fcstat не мог открыть устройство нужно знать вторую строку ошибки (errno: ######).

Для ответа в этой теме необходимо авторизоваться.