Как правильно настроить MPIO?

Главная Форумы POWER Systems Виртуализация POWER Как правильно настроить MPIO?

Просмотр 16 веток ответов
  • Автор
    Сообщения
    • #6304
      yota
      Участник

      Есть 570-я машина из двух билдинг блоков. Собираем конфигурацию из двух VIOS. Для rootvg VIO серверов используем локальные диски, все остальные диски подводятся из SAN (по два пути на каждый VIOS). Устанавливаем атрибуты как на Figure 4-2 MPIO attributes в PowerVM Virtualization on IBM System p: Introduction and Configuration. Создаем тестовый LPAR, ставим в него AIX, убеждаемся, что все работает каждый диск в лпаре видится по 2-м путям. Теперь выдираем одну оптику из одного виоса и смотрим состояние путей в виос (lspath). Виос показывает оба пути Enable, при этом lspath в лпаре чесно показывает failed одного из пути (диски не отвалились). Возвращаем оптику на место пути в лпаре через какое время оба enable. Почему аналогичным образом не работает lspath in VIOS? Это фича, или я что то делаю не по фен-шую?

      Самое интересное, что если выдернуть оптику, дать cfgmgr в виосе (или перезагрузить его), то отключенный путь переходит в состояние missing и после возвращения оптики на место уже не переключается сам (без cfgmgr) в enable (в лпаре тоже самое).

    • #6305
      Александр
      Участник

      Может я чего не так понял, но VIOs (1.5.2.1-FP-11.1) на команду lspath показывает пути внутренних scsi дисков и никак не SAN-дисков.

    • #6307
      andrewk
      Участник

      не делайте по два пути на каждый VIOS – это вредно. Вы делаете двойное дублирование, в результате чего Вы можете получить дополнительные проблемы. Об этом очень хорошо рассказывал Валера Груздев на одном из технологических клубов.

    • #6308
      Александр
      Участник

      А можно поподробнее, по поводу проблем с двумя путями?
      Уже больше трех лет сижу на такой конфигурации и никаких проблем не было замечено.

    • #6309
      andrewk
      Участник

      смысл, что на проверку каждого пути через каждый FC HBA потратится x секунд. Чем больше путей – тем дольше будет отрабатывать процедура переключения пути с одного адаптера на другой, что в свою очередь может повлечь проблемы с клиентскими приложениями, например с Oracle RAC. Если у Вас уже сделано дублирование VIOS’ов и LUN отдается через оба VIOS’а, то нет никакого смысла дополнительно дублировать пути в каждом из VIOS’ов – Вы не добавляете этим надежности.

    • #6310
      yota
      Участник

      andrewk писал(а):

      не делайте по два пути на каждый VIOS – это вредно. Вы делаете двойное дублирование, в результате чего Вы можете получить дополнительные проблемы. Об этом очень хорошо рассказывал Валера Груздев на одном из технологических клубов.

      Я может неточно выразился, я имел в виду по одному пути на каждый виос – в общем два пути на каждый из лунов.

    • #6311
      Александр
      Участник

      Здается мне, что вариант, когда каждый VIOs видит DS по двум путям, через оба контроллера, тоже имеет право на жизнь. Полагаю, что c двумя каналами VIOs должен справиться.

    • #6350
      Григорий
      Участник

      Есть замечательная книжка PowerVM Virtualization on IBM System p: Introduction and Configuration Fourth Edition в которой как раз рассматривается нужный вам сценарий. В частности, по поводу подключения VIOS к дисковому массиву написано следующее:
      [code]When using only one Fibre Channel per Virtual I/O Server, you need an additional switch
      to have a highly available configuration. In this case, it is important that the SAN zoning be
      configured such that the single Fibre Channel in each Virtual I/O Server LPAR is zoned to see
      both storage controllers in the FAStT. If a second Fibre Channel is used for additional
      redundancy, the storage administrator must ensure that each Fibre Channel is zoned to only one
      of the DS4200 controllers. Rules for attachment of FAStT storage units to AIX can be found in
      the Storage Manager documentation of the Storage Manager products.[/code]

    • #6392
      yota
      Участник

      Grishka писал(а):

      Есть замечательная книжка [url url=http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg247940.html?Open]PowerVM Virtualization on IBM System p: Introduction and Configuration Fourth Edition[/url] в которой как раз рассматривается нужный вам сценарий. В частности, по поводу подключения VIOS к дисковому массиву написано следующее:
      When using only one Fibre Channel per Virtual I/O Server, you need an additional switch to have a highly available configuration. In this case, it is important that the SAN zoning be configured such that the single Fibre Channel in each Virtual I/O Server LPAR is zoned to see both storage controllers in the FAStT. If a second Fibre Channel is used for additional redundancy, the storage administrator must ensure that each Fibre Channel is zoned to only one of the DS4200 controllers. Rules for attachment of FAStT storage units to AIX can be found in the Storage Manager documentation of the Storage Manager products.

      Все по этой книжке и сделано, я даже приводил конкретную страницу по которой настраивались параметры. Естественно, у нас два FC свитча, и само собой разумеется, что зонирование настроено нужным образом.

      Я повторю вопрос ещё раз. На каждый IO Server заведён один FC линк. Вопрос: почему, когда открываешь один из путей, команда lspath в VIOS продолжает показывать, что с путями все нормально, несмотря на то, что в логе этого VIOS есть куча ошибок, и все lpar’ы, использующие этот VIOS пишут о недоступности пути. Почему сам VIOS не помечает у себя отсутствующие пути как missing или failed, до тех пор пока не скажешь ему cfgmgr?

    • #6403
      Andrey
      Участник

      а что нам покажет VIOS:

      $ lsdev -dev hdiskX -attr

    • #6417
      yota
      Участник

      Excellence писал(а):

      а что нам покажет VIOS:

      $ lsdev -dev hdiskX -attr

      Ну, к примеру:

      $ lsdev -dev hdisk26 -attr
      attribute value description user_settable

      PCM PCM/friend/fcpother Path Control Module False
      algorithm fail_over Algorithm True
      clr_q no Device CLEARS its Queue on error True
      dist_err_pcnt 0 Distributed Error Percentage True
      dist_tw_width 50 Distributed Error Sample Time True
      hcheck_cmd test_unit_rdy Health Check Command True
      hcheck_interval 60 Health Check Interval True
      hcheck_mode nonactive Health Check Mode True
      location Location Label True
      lun_id 0x25000000000000 Logical Unit Number ID False
      lun_reset_spt yes LUN Reset Supported True
      max_retry_delay 60 Maximum Quiesce Time True
      max_transfer 0x40000 Maximum TRANSFER Size True
      node_name 0x50060e80035b8a01 FC Node Name False
      pvid none Physical volume identifier False
      q_err yes Use QERR bit True
      q_type simple Queuing TYPE True
      queue_depth 1 Queue DEPTH True
      reassign_to 120 REASSIGN time out value True
      reserve_policy no_reserve Reserve Policy True
      rw_timeout 30 READ/WRITE time out value True
      scsi_id 0x50f00 SCSI ID False
      start_timeout 60 START unit time out value True
      unique_id 240C04515B8A009306OPEN-E07HITACHIfcp Unique device identifier False
      ww_name 0x50060e80035b8a01 FC World Wide Name False

    • #6418
      Andrey
      Участник

      ok.
      (как вариант тюнинга: algorithm=round_robin и hcheck_interval поставить меньше, но это не к теме вопроса)

      $ lsdev -dev fscsi*

    • #6429
      yota
      Участник

      Excellence писал(а):

      ok.
      (как вариант тюнинга: algorithm=round_robin и hcheck_interval поставить меньше, но это не к теме вопроса)

      $ lsdev -dev fscsi*

      $ lsdev -dev fscsi0 -attr
      attribute value description user_settable

      attach switch How this adapter is CONNECTED False
      dyntrk yes Dynamic Tracking of FC Devices True
      fc_err_recov fast_fail FC Fabric Event Error RECOVERY Policy True
      scsi_id 0x13900 Adapter SCSI ID False
      sw_fc_class 3 FC Class for Fabric True

      round_robin ставить нету смысла, к каждому виосу подходит только одна оптика :blush:

    • #6570
      yota
      Участник

      Ещё один вопрос: по умолчанию при добавлении новый дисков в VIOS им ставится атрибут reserve_policy=single_path, что нужно сделать, чтобы по умолчанию ставился no_reserve?

    • #6588
      boombox
      Участник

      yota писал(а):

      Ещё один вопрос: по умолчанию при добавлении новый дисков в VIOS им ставится атрибут reserve_policy=single_path, что нужно сделать, чтобы по умолчанию ставился no_reserve?

      Ничто.
      Применять команду chdev.

    • #6591
      _KIRill
      Хранитель

      Timofey писал(а):

      Ничто.
      Применять команду chdev.

      Не совсем верно. Есть вариант изменить ODM базу PdAt. Но _нафига_? Или влом изменить атрибуты дисков?

      ---As If, But Not---

    • #6601
      yota
      Участник

      KIRill писал(а):

      [b]Timofey писал(а):

      [quote]Ничто.
      Применять команду chdev.

      Не совсем верно. Есть вариант изменить ODM базу PdAt. Но _нафига_? Или влом изменить атрибуты дисков?[/quote]
      Да нужно в ODM поменять дефолтную установку. chdev делать не в лом, тут другое. Допустим есть lpar, куда подцеплена LUN из SAN’а, по одному пути через один VIOS. Теперь мы заводим этот лун на второй VIOS, делаем cgfmgr и ему назначается политика single_path. При этом VIOS посылает команду scsi reserve по шине и это лун от лпара кратковременно отваливается. Во, чтобы этого не было и нужно задать политику по умолчанию для новых дисков no_reserve. Да плюс банально надоело каждый раз ставить no_reserve руками, зачем такая дефолтная политика стоит не понятно.

Просмотр 16 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.