Главная › Форумы › POWER Systems › AIX/Hardware › Как на самом деле работает NPIV+PowerVM?
- В этой теме 6 ответов, 4 участника, последнее обновление 7 лет, 3 месяца назад сделано
Alexander Tchoulkov.
-
АвторСообщения
-
-
06.11.2013 в 11:23 #19303
Григорий
УчастникВсем доброго времени суток.
Буквально на днях пришлось создавать конфигурацию на сервере Power c использованием NPIV. В процессе настройки столкнулся с очень интересной проблемой, о которой пока не нашел упоминаний в оф. документации.
И так, описание.На сервере 2 раздела VIOS (2.2.2.2) и один раздел AIX (6.1-08).
У каждого VIOS есть физический двухпортовый 8 Gb/s FC адаптер.
Кроме того, у каждого VIOS в профиле заведено по одному виртуальному FC адаптеру, которые связаны с виртуальными FC адаптерами в профиле раздела c AIX.
К локальной сети подключены оба VIOS, но IP адрес назначен только в одном из разделов VIOS (это важно!).
Оба раздела VIOS загружены. Раздел AIX загружен. Команда маппинга физического порта FC адаптера на виртуальный адаптер пока не давалась.
На VIOS выполняем lsmap -all -npiv. Видим, что виртуальный адаптер в состоянии
Далее на обоих VIOS даем команду vfcmap.
Опять проверяем статус в lsmap -all -npiv
Адаптер в только состоянии, вроде бы все хорошо.
В AIX выполняю cfgmgr. В результате получаю две ошибки cannot find a child device для /dev/fcs0 и /dev/fcs1 Это уже начинает вызывать подозрения.
Выполняю на обоих VIOS cfgdev, затем cfgmgr в AIX. Картина не меняется.
К слову сказать, на SAN свитчах WWPN физических портов видны, виртуальных нет.
Проверил все профайлы, все подключения. Состояние портов на SAN свитчах показывает NPIV capability .. ONДалее стал спрашивать у гугла разными способам и наткнулся на следующие новые для меня команды HMC chnportlogin and lsnportlogin https://www.ibm.com/developerworks/community/blogs/cgaix/entry/new_hmc_commands_chnportlogin_and_lsnportlogin_login_in_virtual_fibre_channel_adapters_for_npiv_client_lpars1?lang=ru
Пробую их и получаю сообщение о том, что HMC не может достучаться до радела с AIX и раздела со вторым VIOS, потому что сервис RMC не может установить с ней связь. Оно и понятно, IP адрес только в одном VIOS сконфигурирован.Провожу эксперимент: назначаю адреса во втором VIOS и в AIX. Далее, судя по информации про RMC, он пытается соединить HMC с разделами каждые 5 минут. Ждал 5 минут и даже 15. Набирал cfgdev и cfgmgr. Но AIX упорно не логинился в фабрику.
Крайняя мера: выключаю раздел AIX, перезагружаю оба VIOS, включаю AIX.Виртуальные адаптеры залогинились в фабрику, WWPN увидились на свитчах, т.е. все зарарботало.
И вот второй день меня мучает вопрос: при чему тут связь между разделами по сети и NPIV?
Или это простое совпадение (не верю!!!) и локальная сеть тут вообще не причем?Времени на проверку различных теорий к сожалению уже не оставалось…
-
06.11.2013 в 11:49 #19308
andrewk
Участникделайте сразу же правильно и не будет никаких проблем. связь RMC не при чем и сразу же при всем. Вам не надо RMC-соединение, чтобы сконфигурировать и запустить NPIV, но для некоторых команд оно может быть необходимо. Для того же chnportlogin – Вы даете эту команду на HMC, которая должна послать сообщение NLOGI с VIOS’а. Как она может сделать это, если нет сетевого соединения? Из Вашего сообщения, к сожалению, совершенно непонятно, в чем была первоначальная проблема – нет выводов lsattr -El fcs*, fscsi* на VIO и AIX, lsmap -all -npiv, errpt с VIO и AIX, а без этого невозможно даже предположить, в чем была Ваша проблема.
-
06.11.2013 в 13:24 #19310
Григорий
УчастникЯ понимаю, что для команды chnportlogin нужно, чтобы было RMC соединение.
После перезагрузки LPAR я не выполнял команду chnportlogin. Т.е. либо она выполнилась сама, когда загрузились VIOSы и AIX, либо дело вообще не в ней.
По поводу выводов команд:
В errpt не были ничего, касающегося адаптеров FC.
Про lsmap -all -npiv я написал, обозначив наиболее интересные, на мой взгляд моменты. В остальном ничего необычного в выводе не было.
lsattr уже конечно не посмотреть, а вот fcstat говорил что-то вроде Error: cannot open device /dev/fcs*Я просто хочу понять сам механизм работы NPIV, завязан ли он как-то на RMC и зачем нужна связь разделов с HMC при использовании NPIV.
В мой предыдущий опыт настройки NPIV на Power все прошло без сучка без задоринки, но в тот раз на всех разделах сеть к тому моменту уже работала.
В документах IBM вообще нигде не сказано, что для использования NPIV нужна связь разделов по сети. Если это конечно не динамически делается. -
06.11.2013 в 15:13 #19312
andrewk
Участник1. для работы NPIV не нужен RMC.
2. то же самое, что делает chnportlogin на HMC, делает cfgmgr на AIX – посылает NLOGI в SAN.
3. если fcstat на VIO говорил Error, то (скорее всего) не было соединения со свитчем. -
07.11.2013 в 08:11 #19316
Григорий
Участникfcstat говорил Error не на VIOS, а на AIX.
Теперь, конечно, остается только гадать что было не так, но кроме назначения ip адресов и перезагрузки никаких изменений в конфигурацию не вносил…Думаю в скором времени опять придется настраивать NPIV, вот и попробую проверить теорию о необходимости RMC.
-
07.11.2013 в 12:16 #19318
MIkhail
УчастникПоддержу andrewk IP совсем не причем.
Однако замечу, что недавно ставил VIOS 2.2.2.2 и действительно сталкнулся с рядом проблем с NPIV.
В моем случае все мапилось отлично, однако в какойто момент мапинг отваливался внутри VIOS.
Так же замечено, что при перегрузке всех LPAR сервера в том числе VIOS, мапинг внутри VIOS может не восстановиться, приходится еще раз перегружать виос для восстаноления мапинга, вот такое замечание, такого никогда не было в VIOS 2.1.x.x -
07.11.2013 в 21:10 #19320
Alexander Tchoulkov
УчастникЗдравствуйте,
для работы NPIV RMC не нужно и не используется. Для работы NPIV нужно оборудование которое его поддержкивает (FC-адаптер и оптический коммутатор с поддержкой NPIV). RMC соединение нужно только для возможности работы на HMC некоторых команд, LPM, DLPAR. топологии. ESA и некоторых других подсиcтем HMC. chnportlogin, lsnportlogin на HMC просто выполняют команды AIX удаленно, т.е. в соответствии с заданной операцией и параметрами в командной строке этих команд HMC вызывает последовательность выполнения команд на AIX/VIOS и при необходимости использует возвращаемые значения. Для удалённого выполнения команд используется RMC.
Как работает NPIV можно почитать здесь (функциональный профиль):
ftp://ftp.t11.org/t11/member/fc/da/02-338v1.pdfкраткая презентация суммирующая этот документ здесь:
ftp://ftp.t11.org/t11/member/fc/da/02-340v1.pdfchnportlogin не выполняется при загрузке операционной системы. При инициализации VFC адаптера на ViOC соответствующий виртуальный хост адаптер на VIOS осуществляет логин в SAN.
Насчёт ошибки fcstat. Я так полагаю Вы видели что то подобное:
Error opening device: /dev/fscsi#
errno: ########Для того чтобы определить почему fcstat не мог открыть устройство нужно знать вторую строку ошибки (errno: ######).
-
-
АвторСообщения
- Для ответа в этой теме необходимо авторизоваться.