Просветите про MPIO


Главная Форумы POWER Systems AIX/Hardware Просветите про MPIO

В этой теме 16 ответов, 5 участников, последнее обновление  andrewk 7 года/лет, 11 мес. назад.

  • Автор
    Сообщения
  • #5722

    Theodor
    Участник

    Добрый день!

    Очень хочу понять, работает ли на сервере MPIO. И если работает MPIO, то с функцией load balancer или нет.
    Сервер с тремя FC картами подключен параллельно через два IBM SAN Switch 2005 к DS4700 с двумя контроллерами.

    Смотрю в разделе с AIX

    255 [/root]# oslevel
    5.3.0.0

    0 [/root]# lsdev |grep -i FC
    dac0 Available 05-08-02 fcparray Disk Array Controller
    dac1 Available 06-08-02 fcparray Disk Array Controller
    dar0 Available fcparray Disk Array Router
    fcnet0 Defined 07-08-01 Fibre Channel Network Protocol Device
    fcnet1 Defined 05-08-01 Fibre Channel Network Protocol Device
    fcnet2 Defined 06-08-01 Fibre Channel Network Protocol Device
    fcs0 Available 07-08 FC Adapter
    fcs1 Available 05-08 FC Adapter
    fcs2 Available 06-08 FC Adapter
    fscsi0 Available 07-08-02 FC SCSI I/O Controller Protocol Device
    fscsi1 Available 05-08-02 FC SCSI I/O Controller Protocol Device
    fscsi2 Available 06-08-02 FC SCSI I/O Controller Protocol Device
    hdisk1 Available 06-08-02 fcparray Disk Array Device
    hdisk2 Available 05-08-02 fcparray Disk Array Device
    hdisk3 Available 06-08-02 fcparray Disk Array Device

    0 [/root]# lspath
    Enabled hdisk0 vscsi0

    0 [/root]# lslpp -L devices.common.IBM.mpio.rte
    Fileset Level State Type Description (Uninstaller)
    —————————————————————————-
    devices.common.IBM.mpio.rte
    5.3.0.40 C F MPIO Disk Path Control Module

    1 [/root]# mpio_get_config -Av
    bash: mpio_get_config: command not found

    С уважением …

  • #5723

    uxTuaHgp
    Участник

    DS4700 только RDAC стало быть никакого load balance, только failover.
    Знач 3 FC — это лишка.
    fget_config смотрите

  • #5724

    Theodor
    Участник

    Александр писал(а):

    DS4700 только RDAC стало быть никакого load balance, только failover.

    Понял, проверяю.
    RDAC это devices.fcp.disk.array.rte и он установлен

    [/root]# lslpp -L devices.fcp.disk.array.rte
    Fileset Level State Type Description (Uninstaller)
    —————————————————————————-
    devices.fcp.disk.array.rte
    5.3.0.40 C F FC SCSI RAIDiant Array Device
    Support Software

    Знач 3 FC — это лишка.

    будем думать.

    fget_config смотрите

    Так понимаю — надо ставить Storage Manager, что бы появилась эта команда.

    Вопрос — насколько функционален Storage Manager в AIX из командной строки?

    Или лучше ставить Storage Manager сразу в Windows?

    С уважением ….

    PS В выходные дни с девайсом ds4700 работали прикладные программисты. Тестировали свои программы. Теперь утверждают — по субботам-воскресеньям по своему внутреннему расписанию ds4700 что-то энергично делает и поэтому все медленно работает. Якобы ds4700 верифицирует данные. А в рабочие дни программы нормально работают. Это может быть похоже на правду?

  • #5725

    uxTuaHgp
    Участник

    сторидж мэнеджер не нужно ставить, оно и так должно быть

  • #5726

    uxTuaHgp
    Участник

    Я ставлю SM на Windows — удобнее, ИМХО.
    Некоторые предпочитают команд лайн интерфейс, но чтобы с ним разобраться потребуется некоторое время.
    Что касается каких-то плановых работ на DS4700 по выходным — сильно сомнительно.
    Если медленно сразу у всех, а не только на хосте, с которым игрались разработчики, то, возможно, у вас RAID5 массивы и они садят весь сторадж.
    Если на конкретном хосте, то смотрите iostat, nmon, filemon кто там что делает в выходные, а для начала настройте сбор sar статистики по расписанию, чтобы удостовериться, что проблемы есть.

  • #5727

    Theodor
    Участник

    Александр писал(а):

    сторидж мэнеджер не нужно ставить, оно и так должно быть

    Storage Manager нет в AIX.
    Команды fget_config и пакетов SM нет

    Я ставлю SM на Windows — удобнее, ИМХО.

    В AIX могу прямо сейчас поставить.
    А в Win не раньше чем через неделю, когда в net с ds4700 установят комп с Win.

    Некоторые предпочитают команд лайн интерфейс, но чтобы с ним разобраться потребуется некоторое время.

    В документации не нашел команд CLI окромя fget_config.
    Может быть их и нет?

    Что касается каких-то плановых работ на DS4700 по выходным — сильно сомнительно.

    Мне тоже сомнительно.
    Но я увидел DS4700 первый раз три недели назад.
    Но до этого сталкивался с проблемой подобного рода на HP VA7100
    И люди говорят, что на ds3000 такая беда есть

    Если медленно сразу у всех, а не только на хосте, с которым игрались разработчики, то, возможно, у вас RAID5 массивы и они садят весь сторадж.

    Хост один.
    Только RAID-10. Никаких RAID-5.

    Если на конкретном хосте, то смотрите iostat, nmon, filemon кто там что делает в выходные, а для начала настройте сбор sar статистики по расписанию, чтобы удостовериться, что проблемы есть.

    Если DS4700 что-то «тихо сам с обою» делает, это в sar не попадет?
    Или попадет ожидание ввода-вывода?
    До выходных целая неделя 🙁
    С другой стороны — откуда ds4700 знает когда воскресенье, когда пятница?
    Очень сомневаюсь, что кто-то в нем настроил системные часы.

  • #5728

    uxTuaHgp
    Участник

    часы то там есть, но вот в DS4800 я никаких планировщиков не наблюдаю, так что ищите что там разработчики накрутили.
    Если Oracle, то могли к примеру зарядить сбор статистики по базе, на sybase могли перестройку индексов запланировать.

  • #5729

    Theodor
    Участник

    Александр писал(а):

    часы то там есть, но вот в DS4800 я никаких планировщиков не наблюдаю, так что ищите что там разработчики накрутили.

    Вот что нашел в документации
    IBM System Storage DS4000 Storage Manager Concepts Guide

    Media scan
    A media scan is a background process that runs on all logical drives in the storage subsystem for which it is enabled, providing error detection on the drive media. Media scan checks the physical disks for defects by reading the raw data from the disk and, if there are errors, writing it back. The advantage of enabling media scan is that the process can find media errors before they disrupt normal logical-drive read and write functions. The media scan process scans all logical-drive data to verify that it is accessible.

    Так что буду мануалы шерстить.
    И CLI команду для AIX в мануале нашел — SMcli называется.
    Значить, надо ставить Storage Manager в AIX.

  • #5730

    uxTuaHgp
    Участник

    на счет SM под AIX почему-то не помню.
    Возможно я аикс ставил уже при подключенном DS4800, а может быть и доставлял что-то.
    Откуда-то ведь у меня fget_config появился 😉

  • #5731

    Theodor
    Участник

    Вот вывод команды

    1 [/root]# fget_config -v -l dar0
    User array name = ‘VBF-DS4700’
    dac0 ACTIVE dac1 ACTIVE

    Disk DAC LUN Logical Drive
    hdisk1 dac1 0 data
    hdisk2 dac0 1 redo1
    hdisk3 dac1 2 redo2

    Как я понял DAC — это disk array controller.
    На массиве активны два контроллера.
    Доступ к дискам hdisk1 и hdisk3 через контроллер 1,
    к диску hdisk2 через контроллер 0.
    А про MPIO никакой информации 🙁
    Или MPIO работает, т.к. активны два контроллера?

  • #5732

    Michael
    Участник

    Storage Manager под AIX есть. Как и под Linux. Только его надо скачивать и ставить… 🙂 Ибо на дисках, скорее всего, устаревшая версия.

    SMCLI = Storage Manager Command Line Interface, проще гря, та же командная строка, только в профиль 😉
    И она у Вас будет, когда поставите SM на AIX. Но начните работу в нём всё-таки с GUI — с картинками оно как-то попроще, да и понагляднее…

    Еще один нюанс: на курсах нам говорили, что в принципе не очень-то рекомендуется ставить SM на тот сервер, который работает с DS. Но это не страшно.

    Для Вас, может быть, для начала было бы лучше установить SM в режиме Management Station и работать с DS по EtherNet, а не по оптике…

  • #5733

    Aleksey
    Участник

    dac0 ACTIVE dac1 ACTIVE
    Значит оба контроллера доступны.

    Если дернуть один FC кабель или изменить preferred path на DS, луны переедут на доступный контроллер. Никакого load balancing здесь нет. Работа с луном идёт по одному пути всегда.

  • #5734

    Michael
    Участник

    На массиве активны два контроллера.
    Доступ к дискам hdisk1 и hdisk3 через контроллер 1,
    к диску hdisk2 через контроллер 0.

    Скажем так: в терминах DS контроллер 1 есть Preferred Path для hdisk1 и 3… 🙂 Т. е. с этими дисками работа идёт преимущественно через этот контроллер. Если он выйдёт из строя, то диски будут переброшены на «запасной путь», т. е. второй контроллер.

    fscsi0 Available 07-08-02 FC SCSI I/O Controller Protocol Device

    Да, вот этот контроллер у Вас «висит в воздухе», т. е. через него ничего из DS не подключено, насколько я вижу… Запас на будущее? 🙂

    mpio_get_config -Av
    bash: mpio_get_config: command not found

    А Вы точно уверены, что mpio_get_config у Вас отсутствует? Не пробовали поискать её с помощью find?

  • #5735

    Theodor
    Участник

    mih писал(а):

    И она у Вас будет, когда поставите SM на AIX. Но начните работу в нём всё-таки с GUI — с картинками оно как-то попроще, да и понагляднее…

    Точно!
    Я сразу и не сообразил, что и в AIX можно GUI смотреть!
    Так что — export DISPLAY=x.x.x.x:0.0
    И все на экране!

    Для Вас, может быть, для начала было бы лучше установить SM в режиме Management Station и работать с DS по EtherNet, а не по оптике…

    Так и получилось — discovery net … и на картинке подопытный DS4700!

    Спасибо!

    Посмотрел журнал на DS4700.

    Последняя запись — Media scan (scrub) started
    Дата — 8 ноября.
    Записи о том, что
    Media scan (scrub) completed
    нет

    Найти бы место, где время показано текущее …

  • #5736

    Theodor
    Участник

    mih писал(а):

    Скажем так: в терминах DS контроллер 1 есть Preferred Path для hdisk1 и 3… 🙂 Т. е. с этими дисками работа идёт преимущественно через этот контроллер. Если он выйдёт из строя, то диски будут переброшены на «запасной путь», т. е. второй контроллер.

    Может быть я слишком нудный, но
    на основании чего сделан вывод, что произойдет переброс на «запасный путь»?
    Какая команда показывает «запасный путь»?

    Дернуть кабель?
    Чур меня, чур ….

    fscsi0 Available 07-08-02 FC SCSI I/O Controller Protocol Device

    Да, вот этот контроллер у Вас «висит в воздухе», т. е. через него ничего из DS не подключено, насколько я вижу… Запас на будущее? 🙂
    [/quote]
    Где-то должна быть летночная библиотека TS3100 …
    Искать буду позже …
    И вас вопросами мучить 😉

    А Вы точно уверены, что mpio_get_config у Вас отсутствует? Не пробовали поискать её с помощью find?

    Искал — нет такой команды.
    И на aixportal где-то видел, что эта команда с 5.3.7 появилась.
    А у меня 5.3.4

  • #5737

    Michael
    Участник

    Найти бы место, где время показано текущее …

    Так это, открыли DS4700 в GUI SM, в меню вверху жмём на storage Partition -> synchronize controller clock — там всё видно.

    на основании чего сделан вывод, что произойдет переброс на «запасный путь»?
    Какая команда показывает «запасный путь»?

    Примите пока за аксиому, что DS устроена следующим образом:
    1. В каждой DS обязательно 2 контроллера.
    2. «Чётные диски» работают по одному контроллеру, «нечётные» — по второму.
    3. DS сделана так, что при выходе из строя одного контроллера ВСЕ диски этого контроллера АВТОМАТОМ перебрасываются на второй.

    На всякий случай: Вам не помешает программка SAN Health, особенно если Вы имеете доступ к оптическим свитчам, через которые у Вас работает вся SAN. Качнитё её с сайта Brocade и просканируйте свою SAN — многое будет лучше видно.

    Ленточную библиотеку можно увидеть через lscfg|grep rmt — я так думаю 🙂

  • #5739

    andrewk
    Участник

    Batutex писал(а):

    Искал — нет такой команды.
    И на aixportal где-то видел, что эта команда с 5.3.7 появилась.
    А у меня 5.3.4[/quote]
    обновляйтесь. TL4 уже не поддерживается. До TL7 специально для DS4000 должна быть команда fget_config с теми же ключами, но afair load balancing не поддерживается

Для ответа в этой теме необходимо авторизоваться.