Не могу сделать ImportVG

Главная Форумы POWER Systems AIX/Hardware Не могу сделать ImportVG

Помечено: ,

Просмотр 19 веток ответов
  • Автор
    Сообщения
    • #43331
      Stanislav Svirin
      Участник

      Доброго дня, форумчане!

      Была рабочая система (AIX 5,3  к ней через фабрику примаплен ЛУН с datavg с СХД IBM DS). Аварийно отключилось питание и теперь я вижу диск который приходит с СХД но не могу сделать importvg.

      bash-3.2# lspv

      hdisk0          00c3e69d646291e1                    rootvg          active

      hdisk1          00c3e69d6492e97d                    rootvg          active

      hdisk2          none                                None

       

      bash-3.2# importvg -y datavg hdisk2

      0516-024 lqueryvg: Unable to open physical volume.

      Either PV was not configured or could not be opened. Run

      diagnostics.

      0516-024 lqueryvg: Unable to open physical volume.

      Either PV was not configured or could not be opened. Run

      diagnostics.

      0516-1140 importvg: Unable to read the volume group descriptor area

      on specified physical volume.

       

      bash-3.2#  chdev -l hdisk2 -a pv=yes

      Method error (/usr/lib/methods/chgdisk):

      0514-047 Cannot access a device.

      pv

      Диск hdisk2 отдается с 2-х viosов как virtual SCSI. На SAN свичах все ок – все порты как F-port, nodefindoм видит и таргет и инициатор, правда инициатор вот так:

      IBM_2005_B16:admin> nodefind 10:00:00:00:c9:56:22:3a

      Local:

      Type Pid    COS     PortName                NodeName                 SCR

      N    010200;    2,3;10:00:00:00:c9:56:22:3a;20:00:00:00:c9:56:22:3a; 3

      Fabric Port Name: 20:02:00:05:1e:02:f6:4c

      Permanent Port Name: 10:00:00:00:c9:56:22:3a

      Device type: Physical Unknown(initiator/target)

      Port Index: 2

      Share Area: No

      Device Shared in Other AD: No

      Redirect: No

      Aliases:

       

      Что посоветуете?

       

       

    • #43332
      sdudnik
      Участник

      проверить его доступность командами

      lsdev  | grep hdisk2

      lquerypv  -h /dev/hdisk2

      • #43333
        Stanislav Svirin
        Участник

        bash-3.2# lsdev  | grep hdisk2

        hdisk2     Available 03-08-02 MPIO Other FC SCSI Disk Drive

        bash-3.2# lquerypv  -h /dev/hdisk2

        ничего не выдает

        Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую

        bash-3.2# lsdev  -Cc adapter

        ent0   Available       Virtual I/O Ethernet Adapter (l-lan)

        fcs0   Available 03-08 FC Adapter

        fcs1   Available 04-08 FC Adapter

        ide0   Defined   02-08 ATA/IDE Controller Device

        vsa0   Available       LPAR Virtual Serial Adapter

        vscsi0 Available       Virtual SCSI Client Adapter

        vscsi1 Available       Virtual SCSI Client Adapter

         

         

        • Ответ изменён 2 года, 1 месяц назад пользователем Stanislav Svirin.
        • Ответ изменён 2 года, 1 месяц назад пользователем Stanislav Svirin.
        • #43336
          sdudnik
          Участник

          похоже что он просто недоступен. Можно попробовать удалить его и добавить заново

           

          rmdev -Rdl hdisk2

          cfgmgr

          и снова проверить его доступность

          • #43337
            Stanislav Svirin
            Участник

            Делал много раз. Сейчас после перезагрузки lpar:

            bash-3.2# lspath

            Enabled hdisk0 vscsi0

            Enabled hdisk1 vscsi1

            Failed  hdisk2 fscsi0

            Failed  hdisk2 fscsi1

            Failed  hdisk2 fscsi1

            bash-3.2# rmdev -Rdl hdisk2

            hdisk2 deleted

            bash-3.2# cfgmgr

            bash-3.2# lspath

            Enabled hdisk0 vscsi0

            Enabled hdisk1 vscsi1

            Enabled hdisk2 fscsi0

            Enabled hdisk2 fscsi1

            Enabled hdisk2 fscsi1

            Дальше все по старому: pvid не присваивается, datavg не импортируется.

             

            • #43338
              sdudnik
              Участник

              а со стороны схд с этим луном всё ок? если с него почитать dd-ой выводить что нибудь?

            • #43339
              Stanislav Svirin
              Участник

              На СХД никаких ошибок нет.

              Вообще на СХД 3 луна, которые отданы 3lparaм (3 FC-карты отданы 3м lparaм) и со всеми такая история

              bash-3.2# dd if=/dev/hdisk2 of=/tmp/mytempfile bs=2k count=1000

              dd: /dev/hdisk2: There is an input or output error.

            • #43340
              sdudnik
              Участник

              Тогда это проблема с схд. можно попробовать создать новый лун, прицепить к аиксу  проверить как он добавиться

            • #43341
              Stanislav Svirin
              Участник

              Спасибо, поковыряюсь с ней еще. Потом отпишусь сюда.

    • #43342
      Дмитрий
      Участник

      похоже, что диск заблокирован. или на уровне схд или SCSI disk reservation.

    • #43345
      Stanislav Svirin
      Участник

      Сделал на СХД новый LUN – он увиделся как hdisk3, но pvid все равно не присваивается – ошибка та же.

      Что значит диск заблокирован на уровне СХД? На СХД (DS6800)  везде все normal – online

       

      bash-3.2# lspv

      hdisk0          00c3e68d647c0a5f                    rootvg          active

      hdisk1          00c3e68d649b4588                    rootvg          active

      hdisk2          none                                None

      hdisk3          none                                None

      bash-3.2# lquerypv  -h /dev/hdisk3

       

      bash-3.2# chdev -l hdisk3 -a pv=yes

      Method error (/usr/lib/methods/chgdisk):

      0514-047 Cannot access a device.

      pv

       

      bash-3.2# lsattr -El hdisk3

      PCM             PCM/friend/fcpother              Path Control Module              False

      algorithm       fail_over                        Algorithm                        True

      clr_q           no                               Device CLEARS its Queue on error True

      dist_err_pcnt   0                                Distributed Error Percentage     True

      dist_tw_width   50                               Distributed Error Sample Time    True

      hcheck_cmd      test_unit_rdy                    Health Check Command             True

      hcheck_interval 60                               Health Check Interval            True

      hcheck_mode     nonactive                        Health Check Mode                True

      location                                         Location Label                   True

      lun_id          0x4011400000000000               Logical Unit Number ID           False

      max_transfer    0x40000                          Maximum TRANSFER Size            True

      node_name       0x500507630efe0764               FC Node Name                     False

      pvid            none                             Physical volume identifier       False

      q_err           yes                              Use QERR bit                     True

      q_type          simple                           Queuing TYPE                     True

      queue_depth     8                                Queue DEPTH                      True

      reassign_to     120                              REASSIGN time out value          True

      reserve_policy  single_path                      Reserve Policy                   True

      rw_timeout      30                               READ/WRITE time out value        True

      scsi_id         0x10000                          SCSI ID                          False

      start_timeout   60                               START unit time out value        True

      timeout_policy  retry_path                       Timeout Policy                   True

      unique_id       200B6875551110007175050003IBMfcp Unique device identifier         False

      ww_name         0x500507630e000764               FC World Wide Name               False

       

      В какую сторону копать?

       

    • #43346
      Oldnick
      Участник

      данный DS кроме этих лунов еще какие-то луны кому-то раздает, они работают?

      • #43347
        Stanislav Svirin
        Участник

        Нет, всего 3 (теперь 4 луна) – у всех одинаковые проблемы.

        На ДСке нет ошибок (БП только на exp умирает), перезагружал ее – все логи посмотрел, SAN-коммутаторы перезагружал

         

    • #43348
      Oldnick
      Участник

      с данным типом DS я не работал, слабо представляю что это такое.

      если не критично, может попробовать отформатировать лун в Аиксе? DS пробовали штатно выключать, перегружать….?

      на стороне DS может все убить, заново перенарезать пул, луны или что там на ней….

      короче говоря надо попытаться помучить DS, может проблема на ее стороне? клюк, микрокод….

    • #43349
      Дмитрий
      Участник

      Отформатировать LUN на AIX-е не получится. Со стороны ОС к нему нет доступа. Это однозначно Persistent SCSI disk reservation.
      Т.е., ОС, пока работала с дисками, их заблокировала, а теперь не может разблокировать.
      Надо скачать утилиты работы со SCSI-командами (подойдут и от других вендоров), подключить диски к, например, Windows 🙂 и сбросить резервацию дисков.

      Ищите по ключевым словам scsi persistent disk reservation
      например, мне поиск сразу выдал старую статью https://bazanovv.livejournal.com/23019.html
      к сожалению, ссылки на IBM-овские документы в ней уже не работают, но способ лечения в общем правильный.

      У нас была похожая ситуация, исправили без потери данных.

    • #43363
      Stanislav Svirin
      Участник

      DS6800 это почти как DS8000 только маленькая

      С СХД и ОС уже делал все возможные манипуляции.

      По поводу reservation, попробовал вот этой утилитой, кто-то пользовался? http://nixys.fr/blog/?p=311

      Выдает вот что:

      bash-3.2# ./devscan -t f -c9 | egrep “hdisk|Reserv”

      You have specified a flag which can potentially cause a state change

      to a device on the SAN. You should consider this equivalent to running

      cfgmgr, except that devscan cannot cause any changes to the ODM. Are

      you sure you wish to continue?

      y/[n] : y

      Copyright (C) 2010-2017 IBM Corp., All Rights Reserved

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk2  Path:            1  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk3  Path:            1  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk2  Path:            0  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk3  Path:            0  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk2  Path:            3  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk3  Path:            3  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk2  Path:            2  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

      Name:           hdisk3  Path:            2  VG:       None found

      PR IN Read Reservation failed with errno EIO

      PR IN Read Reservation got SCSI status:

       

      Правильно я понимаю, что это и есть reservation?

    • #43364
      Дмитрий
      Участник

      Да.  попробуйте другие утилиты и подключите дискт к другой ос. Windows, Linux .

    • #43366
      andrewk
      Участник

      а vios вы проверили? у вас vscsi – вы должны диск на vios’ах видеть и резервация должна быть там правильно проставлена

      • #43368
        Stanislav Svirin
        Участник

        У меня FC-карта целиком отдана lparу.  С виосов приходит rootvg через vscsi с локальных дисков. Так сделано потому что все старое и npiv не поддерживается

        • #43371
          andrewk
          Участник

          Неправильный ответ. У Вас диск проброшен на LPAR через VSCSI. Соответственно он должен быть:

          а) виден на обеих VIOS’ах

          б) правильно настроен

          в) правильно замаплен

          Проверьте, пожалуйста!

          • #43373
            sdudnik
            Участник

            vscsi тут не при чём.

          • #43375
            Stanislav Svirin
            Участник

            Эльпару с 2-х виосов отдан LV как vscsi, собран в зеркало на lpare с ним проблем никаких нет

    • #43374
      Дмитрий
      Участник

      @Stanislav Svirin, если Вы в Москве, то могу свести Вас с экспертом по СХД, который сталкивался с подобной проблемой. Он готов поковыряться из “спортивного интереса”.


      @Andrewk
      , посмотри повнимательнее. Это не vscsi, это fc.

      bash-3.2# lsdev  | grep hdisk2

      hdisk2     Available 03-08-02 MPIO Other FC SCSI Disk Drive

      bash-3.2# lquerypv  -h /dev/hdisk2

      ничего не выдает

      Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую

      bash-3.2# lsdev  -Cc adapter

      ent0   Available       Virtual I/O Ethernet Adapter (l-lan)

      fcs0   Available 03-08 FC Adapter

    • #43376
      Stanislav Svirin
      Участник

      В продолжении темы – установил SUSE11 SP4 отдал ему тот же адаптер, который был у lpara  с аиксом – он ЛУН не видит

    • #43382
      Владимир
      Участник

      Мне не нравиться эта строка

      MPIO Other FC SCSI Disk Drive

      Обычно так происходит, когда не установлены драйверы. Судя по этому https://www.ibm.com/support/home/product/5329629/DS6800 у Вас должен быть установлен SDD. Что выводит команда pcmpath query device, работает ли она вообще?

      • Ответ изменён 2 года, 1 месяц назад пользователем Владимир.
      • #43384
        Stanislav Svirin
        Участник

        И без SDDPCD все работало – на 4-х лунах одна и та же ошибка, это явно не драйвер.

        Хотя я поставил SDD:

        bash-3.2# pcmpath query device

         

        Total Dual Active and Active/Asymmetrc Devices : 1

         

         

        DEV#:   2  DEVICE NAME: hdisk2  TYPE: 1750500  ALGORITHM:  Load Balance

        SERIAL: 68755511000

        ==========================================================================

        Path#      Adapter/Path Name          State     Mode     Select     Errors

        0           fscsi0/path0          CLOSE   NORMAL          0          0

        1           fscsi0/path1          CLOSE   NORMAL          0          0

        2           fscsi1/path2          CLOSE   NORMAL          0          0

        3           fscsi1/path3          CLOSE   NORMAL          0          0

        bash-3.2# lsdev -Cc disk

        hdisk0 Available          Virtual SCSI Disk Drive

        hdisk1 Available          Virtual SCSI Disk Drive

        hdisk2 Available 05-08-02 IBM MPIO FC 1750

        bash-3.2# importvg -y datavg hdisk2

        0516-024 lqueryvg: Unable to open physical volume.

        Either PV was not configured or could not be opened. Run

        diagnostics.

        0516-024 lqueryvg: Unable to open physical volume.

        Either PV was not configured or could not be opened. Run

        diagnostics.

        0516-1140 importvg: Unable to read the volume group descriptor area

        on specified physical volume.

         

        Пытались снять резервацию с SUSE, но утилитка sg_persist оказалась “слабой” и не может этого сделать. Буду покупать FC-адаптер и пробовать с 2003 винды

         

    • #43385
      Владимир
      Участник

      Посмотрите ещё pcmpath это довольно мощная утилита. Например там есть такая опция

      pcmquerypr: Read and clear persistent reserve and registration keys

      Возможно это именно то, что Вам нужно. Вот ещё полезная ссылка

      http://aix4admins.blogspot.com/2015/01/sddpcm-sddpcm-is-loadable-path-control.html

      Не торопитесь с importvg, перед тем как это делать Вы должны увидеть pvid, и pcmpath должен показать что диски в состоянии open

      • Ответ изменён 2 года, 1 месяц назад пользователем Владимир.
      • Ответ изменён 2 года, 1 месяц назад пользователем Владимир.
      • #43388
        Stanislav Svirin
        Участник

        Не помогает:

        bash-3.2# pcmquerypr -Vh /dev/hdisk2

        connection type: fscsi0

        open dev: /dev/hdisk2

        couldn’t open /dev/hdisk2, errno=5

         

        bash-3.2# pcmquerypr -h /dev/hdisk2

        couldn’t open /dev/hdisk2, errno=5

         

        bash-3.2# pcmquerypr -rh /dev/hdisk2

        couldn’t open /dev/hdisk2, errno=5

         

    • #43389
      Владимир
      Участник

      Вот описание случая, очень похожего на Ваш

      https://it.toolbox.com/question/cant-access-san-luns-after-a-power-outage-080811

      Можете попробовать сделать

      chdev -l hdisk2 -a reserve_policy=no_reserve -P

      и перезагрузиться

      Значение этой команды описано здесь http://www.talkwithtrend.com/Article/20590

      • #43391
        Stanislav Svirin
        Участник

        Случай 1 в 1 и в результате резервацию сняла поддержка IBM….

        К сожалению, изменения атрибута <span style=”color: #5a5a5a; font-family: Verdana, Geneva, sans-serif; font-size: 12px;”>reserve_policy никакого эффекта не дало( все тоже самое</span>

         

    • #43390
      Владимир
      Участник

      http://www-01.ibm.com/support/docview.wss?uid=ssg1S7000303&aid=15

      страница 143-144

      3. To query and display which type of persistent reservation is on

      a device, enter pcmquerypr -Vh /dev/hdisk#.

      The following output indicates there is SCSI-2 reserve on the

      device:

      # pcmquerypr -Vh /dev/hdisk27

      connection type: fscsi3

      open dev: /dev/hdisk27

      Attempt to read reservation key…

      *> ioctl(PR_READ) error; errno = 5 (I/O error)

      *> status_validity=0x1, scsi_bus_status=0x2

      Attempt to read reservation key…

      *> ioctl(PR_READ) error; errno = 5 (I/O error)

      *> status_validity=0x1, scsi_bus_status=0x18

      Attempt to read reservation key…

      *> ioctl(PR_READ) error; errno = 5 (I/O error)

      *> status_validity=0x1, scsi_bus_status=0x18

      Attempt to read reservation key…

      *> ioctl(PR_READ) error; errno = 5 (I/O error)

      *> status_validity=0x1, scsi_bus_status=0x18

      The following output indicates that there is SCSI-3 reserve on

      the device:

      # pcmquerypr -Vh /dev/hdisk43

      connection type: fscsi0

      open dev: /dev/hdisk43

      Attempt to read reservation key…

      *> ioctl(PR_READ) error; errno = 5 (I/O error)

      *> status_validity=0x1, scsi_bus_status=0x2

      Attempt to read reservation key…

      Attempt to read registration keys…

      Read Keys parameter

      Generation : 12

      Additional Length: 32

      Key0 : 0x3236303232344446

      Key1 : 0x3236303232344446

      Key2 : 0x3236303232344446

      Key3 : 0x3236303232344446

      resrvpolicy= no_reserve

      Reserve Key provided by current host = none (hex)0924ffff

      Reserve Key on the device: 0x3236303232344446

      Reservation key type: 0x6

      Device is reserved by SDD device.

      4. To release the persistent reservation if the device is reserved by

      the current host, enter pcmquerypr -rh /dev/hdisk30.

      This command releases the persistent reserve if the device is

      reserved by the current host. It returns 0 if the command

      succeeds or the device is not reserved. It returns 2 if the

      command fails.

      Chapter 3. Using SDDPCM on an AIX host system 143

      5. To reset any persistent reserve and clear all reservation key

      registrations, enter pcmquerypr -ch /dev/hdisk30.

      This command resets any persistent reserve and clears all

      reservation key registrations on a device. It returns 0 if the

      command succeeds, or 2 if the command fails.

      6. To remove the persistent reservation if the device is reserved by

      another host, enter pcmquerypr -ph /dev/hdisk30.

      This command removes an existing registration and persistent

      reserve from another host. It returns 0 if the command succeeds

      or if the device is not persistent reserved. It returns 2 if the

      command fails.

    • #43392
      Владимир
      Участник

      По моему идея подключения проблемного диска к хосту с другой ОС не из лучших, есть высокой риск потери данных. Если у Вас есть ресурсы поднимите lpar с AIX 6.1, а лучше 7.1 или 7.2, и попробуйте pcmquerypr из него, в этих версиях есть команда devrsrv. Уточните пожалуйста, Вы уже пробовали использовать pcmquerypr -ch ? Если со свежей версией AIX не получится надо искать как снять резервацию на СХД. Я сегодня поищу как это сделать.

    • #43393
      Владимир
      Участник

      Нашёл статью про scsi reservation

      https://kb.netapp.com/app/answers/answer_view/a_id/1001463

      Хоть СХД и другая, но это не имеет значения, так как scsi reservation это фича протокола. Из статьи следует, что резервацию надо снимать с хоста, как это сделать с СХД информации я не нашёл.

      И ещё статья про devrsrv, она появилась в AIX 6.1 TL7

      https://www.ibm.com/developerworks/community/blogs/KRblog?lang=en

      • Ответ изменён 2 года, 1 месяц назад пользователем Владимир.
    • #43395
      Владимир
      Участник

      Ну и ещё рекомендация, с которой обычно начинает техподдержка любого вендора: обновите firmware сервера и адаптеров, версию ОС.

    • #44317
      Stanislav Svirin
      Участник

      История с реанимированием СХД закончилась плачевно…

      Пробовали и с SUSE  и с Windows Server 2003 что-то сделать – все тщетно

      Дмитрий, спасибо, что познакомили с Павлом – он очень большой эксперт и приложил немало усилий в восстановлении, но к сожалению диагноз оказался – SCSI check condition. И дальнейшее восстановление головы возможно через ТП IBM (а хранилка тех денег не стоит).

      Вот так.

       

Просмотр 19 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.