SAN и EZSwitchSetup

Главная Форумы POWER Systems AIX/Hardware SAN и EZSwitchSetup

В этой теме 21 ответ, 8 участников, последнее обновление  SPQR 1 год, 3 мес. назад.

  • Автор
    Сообщения
  • #12481

    Александр
    Участник

    Здравствуйте!
    К сожалению, никогда не сталкивался с SAN. А тут пришлось и что-то я “ничего не понимаю”.
    сервер power720, полка 3500, посередине SAN Switch. Читаю – при помощи EZSwitchSetup SAN может настроить и дурак. А я, видимо, “полный кретин” 🙁 Дохожу до пункта где картинка со свичом и подсоединенные к разным портам устройства. так вот полка видна, а сервер нет. В EZManager’e смотрю этот порт, там видно что есть два устройства, но манагер их не определяет.
    И если не трудно, кто-нибудь, раскажите последовательность установки системы из двух power720, двух SAN и двух полок. Нужно несколько (2-3) виртуальных кластеров. На данный момент на северах разбиты разделы, установлен VIOS, на разделы установлен AIX 6.1, полки сконфигурены (все диcки в RAID и одним устройством), теперь пытаюсь сделать так чтобы VIOS увидел хотя бы одну полку. Затем, видимо, надо устанавливать PowerHA?

  • #12483

    andrewk
    Участник

    я с EZManager’ом не знаком, но обычно чтобы SAN увидел AIX помогает банальный cfgmgr

  • #12485

    Eldar Zhensykbaev
    Участник

    Настоятельно рекомендую создать зоны и не полагаться на открытость default зоны.
    Это может привести к плохим и трудно разыскиваемым проблемам, как падение производительности.

  • #12488

    Oldnick
    Участник

    мне удалось с помощью EZSwitchSetup настроить только IP для свитча.
    теперь не понимаю как настроить зонинг в web-морде. Если возможно напишине краткие пошаговые инсрукции что надо сделать.
    опыта в конфигурировании сана никакого нет.

  • #12492

    Eldar Zhensykbaev
    Участник

    Направление мысли правильное. Вот только чтобы увидеть WWN, надо устройство подключить к коммутатору (ну или руками забить в Add Other…)

    P.S. Ну почему я объясняю как настраивать коммутаторы конкурентов?! 😉

  • #12501

    Александр
    Участник

    Дык, WWN он видит, но за HBA не держит
    Вот картинки
    в нулевом порту полка, в первом сервер

    1

    Полку видит, сервер нет
    Зона строил и дефолтную и вот так

    2

    Или вот такая картинка

    5-2

    А вот в этой картинке видно, что SAN полку видит, а хост нет.

    Attachments:
  • #12502

    Andrey
    Участник

    # switchshow

    давай в студию (с обоих свичей)
    всад картинки…
    на картинке нарисуй как планируешь все подключать

  • #12504

    Александр
    Участник

    Либо первая, либо вторая схема. Причем первую предложил сам IBM. Во второй я решил обойтись одним VIOS’ом. м.б. я не прав.

    7-2

    На данный момент оптика которая по середине еще не проложена, поэтому тренируюсь на двух раздельных AIX-VIOS-SAN-switch-полка. Причем скорее не на двух, а на одном

    IBM_SAN_M:admin> switchshow
    switchName: IBM_SAN_M
    switchType: 71.2
    switchState: Online
    switchMode: Native
    switchRole: Principal
    switchDomain: 1
    switchId: fffc01
    switchWwn: 10:00:00:05:33:3f:a6:c0
    zoning: ON (cfg)
    switchBeacon: OFF

    Index Port Address Media Speed State Proto
    ==============================================
    0 0 010000 id N8 Online FC F-Port 20:34:00:80:e5:1b:f9:f4
    1 1 010100 id N8 Online FC F-Port 1 N Port + 1 NPIV public
    2 2 010200 id N8 No_Light FC
    3 3 010300 — N8 No_Module FC
    4 4 010400 id N8 No_Light FC
    5 5 010500 id N8 No_Light FC
    6 6 010600 id N8 No_Light FC
    7 7 010700 — N8 No_Module FC
    8 8 010800 — N8 No_Module FC (No POD License) Disabled
    9 9 010900 — N8 No_Module FC (No POD License) Disabled
    10 10 010a00 — N8 No_Module FC (No POD License) Disabled
    11 11 010b00 — N8 No_Module FC (No POD License) Disabled
    12 12 010c00 — N8 No_Module FC (No POD License) Disabled
    13 13 010d00 — N8 No_Module FC (No POD License) Disabled
    14 14 010e00 — N8 No_Module FC (No POD License) Disabled
    15 15 010f00 — N8 No_Module FC (No POD License) Disabled
    16 16 011000 — N8 No_Module FC (No POD License) Disabled
    17 17 011100 — N8 No_Module FC (No POD License) Disabled
    18 18 011200 — N8 No_Module FC (No POD License) Disabled
    19 19 011300 — N8 No_Module FC (No POD License) Disabled
    20 20 011400 — N8 No_Module FC (No POD License) Disabled
    21 21 011500 — N8 No_Module FC (No POD License) Disabled
    22 22 011600 — N8 No_Module FC (No POD License) Disabled
    23 23 011700 — N8 No_Module FC (No POD License) Disabled

    На втором пока нет раздела с установленным AIX, только VIOS и отмаплен виртуальный адаптер на реальный

    IBM_SAN_R:admin> switchshow
    switchName: IBM_SAN_R
    switchType: 71.2
    switchState: Online
    switchMode: Native
    switchRole: Principal
    switchDomain: 1
    switchId: fffc01
    switchWwn: 10:00:00:05:33:3e:1b:ab
    zoning: ON (cfg)
    switchBeacon: OFF

    Index Port Address Media Speed State Proto
    ==============================================
    0 0 010000 id N8 Online FC F-Port 20:32:00:80:e5:1c:07:9a
    1 1 010100 id N8 Online FC F-Port 10:00:00:00:c9:ac:5b:98
    2 2 010200 id N8 No_Light FC
    3 3 010300 — N8 No_Module FC
    4 4 010400 id N8 No_Light FC
    5 5 010500 id N8 No_Light FC
    6 6 010600 id N8 No_Light FC
    7 7 010700 — N8 No_Module FC
    8 8 010800 — N8 No_Module FC (No POD License) Disabled
    9 9 010900 — N8 No_Module FC (No POD License) Disabled
    10 10 010a00 — N8 No_Module FC (No POD License) Disabled
    11 11 010b00 — N8 No_Module FC (No POD License) Disabled
    12 12 010c00 — N8 No_Module FC (No POD License) Disabled
    13 13 010d00 — N8 No_Module FC (No POD License) Disabled
    14 14 010e00 — N8 No_Module FC (No POD License) Disabled
    15 15 010f00 — N8 No_Module FC (No POD License) Disabled
    16 16 011000 — N8 No_Module FC (No POD License) Disabled
    17 17 011100 — N8 No_Module FC (No POD License) Disabled
    18 18 011200 — N8 No_Module FC (No POD License) Disabled
    19 19 011300 — N8 No_Module FC (No POD License) Disabled
    20 20 011400 — N8 No_Module FC (No POD License) Disabled
    21 21 011500 — N8 No_Module FC (No POD License) Disabled
    22 22 011600 — N8 No_Module FC (No POD License) Disabled
    23 23 011700 — N8 No_Module FC (No POD License) Disabled

    Тут я еще учусь и не все осознал. IBM’овцы сказали и вроде как из книжек я понял что в разделе можно создать виртуальный SCSI пробросить его на VIOS на виртуальный FC, а тот отмапить на реальный. Но это не получилось. Ругается. Говорит адаптеры разных типов. Может попробовать связать виртуальный SCSI с виртуальным SCSI на VIOS, а тот отмапить на реальный FC?

    сейчас, пока, связка виртуальный FC на виртуальный FC(VIOS) отмаплен на реальный.

  • #12505

    Andrey
    Участник

    1. ибм дело говорит
    vios`ов нужно делать по два

    2. пока не поздно
    изменить дефолтовый switchDomain, на что-то более уникальное, например: 101 и 102.
    это важнее чем именование свичей.

    на первом свиче IBM_SAN_M дисковая система – port 0, и VIOS/NPIV – port 1,
    на втором свиче IBM_SAN_R дисковая система – port 0, и VIOS – port 1

    так в чем проблема?
    не видно WWN на port 1, IBM_SAN_M?

    так и должно быть:
    # portshow 1

  • #12508

    Александр
    Участник

    Для меня пока это темный лес. Читаю параллельно Джада “Основы проектирования SAN” и брокадовские админ гид, комманд референс, трабл и диагностик гид. А тут попалась тоже брокадовская EZSwitchSetup. Они там пишут: “ты все настроишь, даже если новичок”. Запустил, пошел по шагам, дошел до картинки, где нарисован свич и подключения к нему. На картинке в порту 0 есть диск, в порту 1 ничего и рекомендации подключи хост к порту 2, 3 и т.д. и дальше настраивать не дает. переподключаю хост к порту 2 и опять нифига на картинке гаснет соединение с портом 2 и загорается рекомендация подключи хост к порту 1 :-(. Вот я и решил что свич не видит хост.
    Я понимаю, что я пока еще чайник, но может кто из экспертов нарисует по шагам последовательность настройки свича. Может я еще не зная уже его настроил, хотя бы в первом приближении?
    Насколько я понимаю свичи, в моем случае независимы друг от друга. т.е. сложных конфигураций там не должно быть.

    IBM_SAN_M:admin> portshow 1
    portIndex: 1
    portName:
    portHealth: No Fabric Watch License

    Authentication: None
    portDisableReason: None
    portCFlags: 0x1
    portFlags: 0x24b03 PRESENT ACTIVE F_PORT G_PORT U_PORT NPIV LOGICAL_ONLINE LOGIN NOELP LED ACCEPT FLOGI
    portType: 18.0
    POD Port: Port is licensed
    portState: 1 Online
    Protocol: FC
    portPhys: 6 In_Sync portScn: 32 F_Port
    port generation number: 22
    state transition count: 11

    portId: 010100
    portIfId: 43020015
    portWwn: 20:01:00:05:33:3f:a6:c0
    portWwn of device(s) connected:
    c0:50:76:03:ae:32:00:04
    10:00:00:00:c9:d0:0b:40
    Distance: normal
    portSpeed: N8Gbps

    LE domain: 0
    FC Fastwrite: OFF
    Interrupts: 0 Link_failure: 8 Frjt: 0
    Unknown: 0 Loss_of_sync: 6 Fbsy: 0
    Lli: 110 Loss_of_sig: 7
    Proc_rqrd: 108 Protocol_err: 0
    Timed_out: 0 Invalid_word: 3475905
    Rx_flushed: 0 Invalid_crc: 0
    Tx_unavail: 0 Delim_err: 0
    Free_buffer: 0 Address_err: 0
    Overrun: 0 Lr_in: 12
    Suspended: 0 Lr_out: 0
    Parity_err: 0 Ols_in: 0
    2_parity_err: 0 Ols_out: 12
    CMI_bus_err: 0

    Port part of other ADs: No

    я вижу что на порту видны wwn VIOS’a и NPIV, но все-таки почему EZswitchsetup или EZswitchmanager не видит этого? Видимо что-то, где-то не так. 🙁

  • #12509

    MIkhail
    Участник

    Сервер маленьки для организации 2-х полноценных VIOS, либо надо смотреть конфигурацию имеется ли возможность сплит бэкплайн, если не то придется один VIOS на SAN вешать.
    HBA какой стоит?
    Если 8Г два порта, то я бы отказался от vSCSI и сделал все на NPIV.

  • #12510

    Александр
    Участник

    Да, два двухпортовых 8Г. Спасибо, буду читать про NPIV.

  • #12517

    Eldar Zhensykbaev
    Участник

    От хоста идет 2 pWWN, причем второй логин очень странный. У меня есть сильное подозрение, что формат WWN не отвечает стандарту IEEE. Поэтому лучше использовать не port-zoning, а wwn-zoning и включить туда только pWWN сервера и стораджа.
    Рекомендую еще включить функцию NPIV на коммутаторе

  • #12520

    Andrey
    Участник

    общая последовательность настройки SAN-коммутатора Brocade:

    I. Начальная настройка
    1. подключится к COM порту (9600-8-1, no-flow-control)
    2. ввести логин/пароль (admin/password)
    3. изменить имя коммутатора
    # switchname
    4. установить IP адрес
    # ipaddrset
    5. изменить Domain-ID (рекомендуется использовать из диапазона 99..127)
    # switchdisable
    # configure

    – ответить “yes” на вопрос об изменении параметров фабрики
    Domain ID: 101 (на втором коммутаторе: 102)
    – остальные параметры оставить как есть (нажимать “Enter”)
    # switchenable
    # reboot

    II. Настройка зон
    смотрим что у нас на коммутаторе
    # switchShow
    если обрудование подключено, но wwn не показан(ы) смотрим порт
    # portShow
    1. создаем алиасы для подключенного обурудования:
    # aliCreate
    2. создаем зоны, зоны создаем по wwn, т.е. алиасам созданным в предыдущем пункте. зоны делаем из двух мемберов: инициатор(hba/виртуальный fc), таргет (порт дисковой системы или библиотеки и пр.)
    # zoneCreate “z_зона1”, “алиас_сервера1; алиас_дисково_системы1”
    # zonecreate “z_зона2”, “алиас_сервера1; алиас_дисково_системы2”
    # zonecreate “z_зона3”, “алиас_сервера2; алиас_дисково_системы1”
    # zonecreate “z_зона4”, “алиас_сервера2; алиас_дисково_системы2”
    и тд.
    3. создаем конфигурацию
    # cfgCreate “cfgSAN1”, “z_зона1; z_зона2; z_зона3; z_зона4”
    4. активируем конфигурацию
    # cfgEnable “cfgSAN1”

    5. посмотрим что получилось
    # cfgShow

    – есть еще любимая команда help

    виртуальные wwn выглядят “странно” как говорит посторонний коллега:
    c0:50:76:03:ae:32:00:04 – виртуальный FC (NPIV)
    10:00:00:00:c9:d0:0b:40 – emulex 8Gb

    обрати внимание: wwn виртуального FC может измениться!
    т.е. правильная последовательность:
    – создать виртуальный fc (vios)
    – прописать виртуальный fc в профиль LPAR
    – остановить LPAR
    – запустить LPAR
    – посмотреть wwn на LPAR (хосте)
    – замапить виртуальный FC с физическим fc (vios)

    проверить на свиче:
    – должен быть виден виртуальный wwn (как на хосте)

    дальше уже на дисковой системе заводим хосты, хост группы, отдаем луны

    вот, как-то так

  • #12521

    Александр
    Участник

    Спасибо всем.
    В пятницу я переделал зонинг с портов на WWN и “чего-то нажал” 🙂 и мои VIOS и AIX увидели полку.
    Но все равно попробую переконфигурить по шагам, чтобы было правильно. Осталось только 3 маленьких вопроса. Почему 2 VIOS’а более правильно чем один? и как понять, что NPIV на коммутаторе включен? и как его включтить, если он не включен? я как-то посчитал, что если “portFlags: 0x24b03 PRESENT ACTIVE F_PORT G_PORT U_PORT NPIV LOGICAL_ONLINE LOGIN NOELP LED ACCEPT FLOGI”, то он включен?
    И “От хоста идет 2 pWWN, причем второй логин очень странный.” что странного? один WWN от VIOS, второй от раздела с AIX’ом через NPIV. Или я опять не прав.

  • #12523

    Oldnick
    Участник

    общая последовательность настройки SAN-коммутатора Brocade:

    спасибо . буду пытаться делать тоже самое но через GUI

  • #12524

    Andrey
    Участник

    Осталось только 3 маленьких вопроса. Почему 2 VIOS’а более правильно чем один? и как понять, что NPIV на коммутаторе включен? и как его включтить, если он не включен? я как-то посчитал, что если “portFlags: 0x24b03 PRESENT ACTIVE F_PORT G_PORT U_PORT NPIV LOGICAL_ONLINE LOGIN NOELP LED ACCEPT FLOGI”, то он включен?
    И “От хоста идет 2 pWWN, причем второй логин очень странный.” что странного? один WWN от VIOS, второй от раздела с AIX’ом через NPIV. Или я опять не прав.

    1. два vios – правильно, по той же причине что и
    – два hba одно-портовых vs один двух-портовый;
    – два коммутатора (с разными фабриками) vs один коммутатор;
    – два контроллера дисковой системы vs один контроллер;
    называется: single point of failure (SPOF).
    исключение: если доступность ресурсов не важна, можно делать и без дублирования компонентов.

    2. NPIV “включать” не надо, это технологическая фича, которая или поддерживается коммутатором или нет. portFlags показывает NPIV – все ок.
    прочем, если кто знает команду которая включает/выключает NPIV на коммутаторе brocade – “встудию”.

    3. все правильно, ничего странного. только обрати внимание: виртуальный wwn может измениться при перегрузке aix (не знаю поправили эту багу(?), см. предыдущий пост. об этой баге здесь уже говорили)

  • #39922

    Alexander Frolov
    Участник

    Прошу прощения за поднятие старой темы.

    Есть 4 сервера IBM x3550 m4, есть коммутатор IBM SAN24b-4. Один сервер был в резерве, у одного сломалась мат. плата. Со сломанного переставил жесткие диски в резервный, все запустилось, сервер пингуется по витой паре, а по оптике, подключенной в коммутатор ibm, нет. Линк есть, зеленая лампочка в порте сервера и коммутатора горит.

    В чем может быть причина? Разные мак адреса? Могу ли я исправить это программой EZSwitch?

    Спасибо.

  • #39926

    SPQR
    Участник

    Можно ещё и fc-карточки переставить, тогда должно заработать. А ещё есть Brocade Network Advisor (и перебрендированная версия для IBM), оттуда настраивать поудобнее.

  • #39928

    Alexander Frolov
    Участник

    Спасибо, попробую!

  • #39932

    Alexander Frolov
    Участник

    К сожалению, не помогло. Нода видна, могу мигрировать на нее виртуалки (примерно за минуту переносится). Через диспетчер hyper-v могу заходить на виртуалки в ноде. Но не могу заставить работать через виртуальный коммутатор. Могу ли я без последний в диспетчере hyper-v поменять виртуальный коммутатор на ноде на тот, через который пинг идет?

  • #39933

    SPQR
    Участник

    А можно всю систему описать? Что по оптике отдаётся, как дальше разруливается?

Для ответа в этой теме необходимо авторизоваться.