Не могу сделать ImportVG

Главная Форумы POWER Systems AIX/Hardware Не могу сделать ImportVG

Помечено: ,

В этой теме 33 ответа, 6 участников, последнее обновление  Владимир 1 неделя, 2 дн. назад.

  • Автор
    Сообщения
  • #43331

    Stanislav Svirin
    Участник

    Доброго дня, форумчане!

    Была рабочая система (AIX 5,3  к ней через фабрику примаплен ЛУН с datavg с СХД IBM DS). Аварийно отключилось питание и теперь я вижу диск который приходит с СХД но не могу сделать importvg.

    bash-3.2# lspv

    hdisk0          00c3e69d646291e1                    rootvg          active

    hdisk1          00c3e69d6492e97d                    rootvg          active

    hdisk2          none                                None

     

    bash-3.2# importvg -y datavg hdisk2

    0516-024 lqueryvg: Unable to open physical volume.

    Either PV was not configured or could not be opened. Run

    diagnostics.

    0516-024 lqueryvg: Unable to open physical volume.

    Either PV was not configured or could not be opened. Run

    diagnostics.

    0516-1140 importvg: Unable to read the volume group descriptor area

    on specified physical volume.

     

    bash-3.2#  chdev -l hdisk2 -a pv=yes

    Method error (/usr/lib/methods/chgdisk):

    0514-047 Cannot access a device.

    pv

    Диск hdisk2 отдается с 2-х viosов как virtual SCSI. На SAN свичах все ок – все порты как F-port, nodefindoм видит и таргет и инициатор, правда инициатор вот так:

    IBM_2005_B16:admin> nodefind 10:00:00:00:c9:56:22:3a

    Local:

    Type Pid    COS     PortName                NodeName                 SCR

    N    010200;    2,3;10:00:00:00:c9:56:22:3a;20:00:00:00:c9:56:22:3a; 3

    Fabric Port Name: 20:02:00:05:1e:02:f6:4c

    Permanent Port Name: 10:00:00:00:c9:56:22:3a

    Device type: Physical Unknown(initiator/target)

    Port Index: 2

    Share Area: No

    Device Shared in Other AD: No

    Redirect: No

    Aliases:

     

    Что посоветуете?

     

     

  • #43332

    sdudnik
    Участник

    проверить его доступность командами

    lsdev  | grep hdisk2

    lquerypv  -h /dev/hdisk2

    • #43333

      Stanislav Svirin
      Участник

      bash-3.2# lsdev  | grep hdisk2

      hdisk2     Available 03-08-02 MPIO Other FC SCSI Disk Drive

      bash-3.2# lquerypv  -h /dev/hdisk2

      ничего не выдает

      Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую

      bash-3.2# lsdev  -Cc adapter

      ent0   Available       Virtual I/O Ethernet Adapter (l-lan)

      fcs0   Available 03-08 FC Adapter

      fcs1   Available 04-08 FC Adapter

      ide0   Defined   02-08 ATA/IDE Controller Device

      vsa0   Available       LPAR Virtual Serial Adapter

      vscsi0 Available       Virtual SCSI Client Adapter

      vscsi1 Available       Virtual SCSI Client Adapter

       

       

      • Ответ изменён 3 нед., 4 дн. назад пользователем  Stanislav Svirin.
      • Ответ изменён 3 нед., 4 дн. назад пользователем  Stanislav Svirin.
      • #43336

        sdudnik
        Участник

        похоже что он просто недоступен. Можно попробовать удалить его и добавить заново

         

        rmdev -Rdl hdisk2

        cfgmgr

        и снова проверить его доступность

        • #43337

          Stanislav Svirin
          Участник

          Делал много раз. Сейчас после перезагрузки lpar:

          bash-3.2# lspath

          Enabled hdisk0 vscsi0

          Enabled hdisk1 vscsi1

          Failed  hdisk2 fscsi0

          Failed  hdisk2 fscsi1

          Failed  hdisk2 fscsi1

          bash-3.2# rmdev -Rdl hdisk2

          hdisk2 deleted

          bash-3.2# cfgmgr

          bash-3.2# lspath

          Enabled hdisk0 vscsi0

          Enabled hdisk1 vscsi1

          Enabled hdisk2 fscsi0

          Enabled hdisk2 fscsi1

          Enabled hdisk2 fscsi1

          Дальше все по старому: pvid не присваивается, datavg не импортируется.

           

          • #43338

            sdudnik
            Участник

            а со стороны схд с этим луном всё ок? если с него почитать dd-ой выводить что нибудь?

          • #43339

            Stanislav Svirin
            Участник

            На СХД никаких ошибок нет.

            Вообще на СХД 3 луна, которые отданы 3lparaм (3 FC-карты отданы 3м lparaм) и со всеми такая история

            bash-3.2# dd if=/dev/hdisk2 of=/tmp/mytempfile bs=2k count=1000

            dd: /dev/hdisk2: There is an input or output error.

          • #43340

            sdudnik
            Участник

            Тогда это проблема с схд. можно попробовать создать новый лун, прицепить к аиксу  проверить как он добавиться

          • #43341

            Stanislav Svirin
            Участник

            Спасибо, поковыряюсь с ней еще. Потом отпишусь сюда.

  • #43342

    Дмитрий
    Участник

    похоже, что диск заблокирован. или на уровне схд или SCSI disk reservation.

  • #43345

    Stanislav Svirin
    Участник

    Сделал на СХД новый LUN – он увиделся как hdisk3, но pvid все равно не присваивается – ошибка та же.

    Что значит диск заблокирован на уровне СХД? На СХД (DS6800)  везде все normal – online

     

    bash-3.2# lspv

    hdisk0          00c3e68d647c0a5f                    rootvg          active

    hdisk1          00c3e68d649b4588                    rootvg          active

    hdisk2          none                                None

    hdisk3          none                                None

    bash-3.2# lquerypv  -h /dev/hdisk3

     

    bash-3.2# chdev -l hdisk3 -a pv=yes

    Method error (/usr/lib/methods/chgdisk):

    0514-047 Cannot access a device.

    pv

     

    bash-3.2# lsattr -El hdisk3

    PCM             PCM/friend/fcpother              Path Control Module              False

    algorithm       fail_over                        Algorithm                        True

    clr_q           no                               Device CLEARS its Queue on error True

    dist_err_pcnt   0                                Distributed Error Percentage     True

    dist_tw_width   50                               Distributed Error Sample Time    True

    hcheck_cmd      test_unit_rdy                    Health Check Command             True

    hcheck_interval 60                               Health Check Interval            True

    hcheck_mode     nonactive                        Health Check Mode                True

    location                                         Location Label                   True

    lun_id          0x4011400000000000               Logical Unit Number ID           False

    max_transfer    0x40000                          Maximum TRANSFER Size            True

    node_name       0x500507630efe0764               FC Node Name                     False

    pvid            none                             Physical volume identifier       False

    q_err           yes                              Use QERR bit                     True

    q_type          simple                           Queuing TYPE                     True

    queue_depth     8                                Queue DEPTH                      True

    reassign_to     120                              REASSIGN time out value          True

    reserve_policy  single_path                      Reserve Policy                   True

    rw_timeout      30                               READ/WRITE time out value        True

    scsi_id         0x10000                          SCSI ID                          False

    start_timeout   60                               START unit time out value        True

    timeout_policy  retry_path                       Timeout Policy                   True

    unique_id       200B6875551110007175050003IBMfcp Unique device identifier         False

    ww_name         0x500507630e000764               FC World Wide Name               False

     

    В какую сторону копать?

     

  • #43346

    Oldnick
    Участник

    данный DS кроме этих лунов еще какие-то луны кому-то раздает, они работают?

    • #43347

      Stanislav Svirin
      Участник

      Нет, всего 3 (теперь 4 луна) – у всех одинаковые проблемы.

      На ДСке нет ошибок (БП только на exp умирает), перезагружал ее – все логи посмотрел, SAN-коммутаторы перезагружал

       

  • #43348

    Oldnick
    Участник

    с данным типом DS я не работал, слабо представляю что это такое.

    если не критично, может попробовать отформатировать лун в Аиксе? DS пробовали штатно выключать, перегружать….?

    на стороне DS может все убить, заново перенарезать пул, луны или что там на ней….

    короче говоря надо попытаться помучить DS, может проблема на ее стороне? клюк, микрокод….

  • #43349

    Дмитрий
    Участник

    Отформатировать LUN на AIX-е не получится. Со стороны ОС к нему нет доступа. Это однозначно Persistent SCSI disk reservation.
    Т.е., ОС, пока работала с дисками, их заблокировала, а теперь не может разблокировать.
    Надо скачать утилиты работы со SCSI-командами (подойдут и от других вендоров), подключить диски к, например, Windows 🙂 и сбросить резервацию дисков.

    Ищите по ключевым словам scsi persistent disk reservation
    например, мне поиск сразу выдал старую статью https://bazanovv.livejournal.com/23019.html
    к сожалению, ссылки на IBM-овские документы в ней уже не работают, но способ лечения в общем правильный.

    У нас была похожая ситуация, исправили без потери данных.

  • #43363

    Stanislav Svirin
    Участник

    DS6800 это почти как DS8000 только маленькая

    С СХД и ОС уже делал все возможные манипуляции.

    По поводу reservation, попробовал вот этой утилитой, кто-то пользовался? http://nixys.fr/blog/?p=311

    Выдает вот что:

    bash-3.2# ./devscan -t f -c9 | egrep “hdisk|Reserv”

    You have specified a flag which can potentially cause a state change

    to a device on the SAN. You should consider this equivalent to running

    cfgmgr, except that devscan cannot cause any changes to the ODM. Are

    you sure you wish to continue?

    y/[n] : y

    Copyright (C) 2010-2017 IBM Corp., All Rights Reserved

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk2  Path:            1  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk3  Path:            1  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk2  Path:            0  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk3  Path:            0  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk2  Path:            3  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk3  Path:            3  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk2  Path:            2  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

    Name:           hdisk3  Path:            2  VG:       None found

    PR IN Read Reservation failed with errno EIO

    PR IN Read Reservation got SCSI status:

     

    Правильно я понимаю, что это и есть reservation?

  • #43364

    Дмитрий
    Участник

    Да.  попробуйте другие утилиты и подключите дискт к другой ос. Windows, Linux .

  • #43366

    andrewk
    Участник

    а vios вы проверили? у вас vscsi – вы должны диск на vios’ах видеть и резервация должна быть там правильно проставлена

    • #43368

      Stanislav Svirin
      Участник

      У меня FC-карта целиком отдана lparу.  С виосов приходит rootvg через vscsi с локальных дисков. Так сделано потому что все старое и npiv не поддерживается

      • #43371

        andrewk
        Участник

        Неправильный ответ. У Вас диск проброшен на LPAR через VSCSI. Соответственно он должен быть:

        а) виден на обеих VIOS’ах

        б) правильно настроен

        в) правильно замаплен

        Проверьте, пожалуйста!

        • #43373

          sdudnik
          Участник

          vscsi тут не при чём.

        • #43375

          Stanislav Svirin
          Участник

          Эльпару с 2-х виосов отдан LV как vscsi, собран в зеркало на lpare с ним проблем никаких нет

  • #43374

    Дмитрий
    Участник

    @Stanislav Svirin, если Вы в Москве, то могу свести Вас с экспертом по СХД, который сталкивался с подобной проблемой. Он готов поковыряться из “спортивного интереса”.

    @andrewk, посмотри повнимательнее. Это не vscsi, это fc.

    bash-3.2# lsdev  | grep hdisk2

    hdisk2     Available 03-08-02 MPIO Other FC SCSI Disk Drive

    bash-3.2# lquerypv  -h /dev/hdisk2

    ничего не выдает

    Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую

    bash-3.2# lsdev  -Cc adapter

    ent0   Available       Virtual I/O Ethernet Adapter (l-lan)

    fcs0   Available 03-08 FC Adapter

  • #43376

    Stanislav Svirin
    Участник

    В продолжении темы – установил SUSE11 SP4 отдал ему тот же адаптер, который был у lpara  с аиксом – он ЛУН не видит

  • #43382

    Владимир
    Участник

    Мне не нравиться эта строка

    MPIO Other FC SCSI Disk Drive

    Обычно так происходит, когда не установлены драйверы. Судя по этому https://www.ibm.com/support/home/product/5329629/DS6800 у Вас должен быть установлен SDD. Что выводит команда pcmpath query device, работает ли она вообще?

    • Ответ изменён 1 неделя, 5 дн. назад пользователем  Владимир.
    • #43384

      Stanislav Svirin
      Участник

      И без SDDPCD все работало – на 4-х лунах одна и та же ошибка, это явно не драйвер.

      Хотя я поставил SDD:

      bash-3.2# pcmpath query device

       

      Total Dual Active and Active/Asymmetrc Devices : 1

       

       

      DEV#:   2  DEVICE NAME: hdisk2  TYPE: 1750500  ALGORITHM:  Load Balance

      SERIAL: 68755511000

      ==========================================================================

      Path#      Adapter/Path Name          State     Mode     Select     Errors

      0           fscsi0/path0          CLOSE   NORMAL          0          0

      1           fscsi0/path1          CLOSE   NORMAL          0          0

      2           fscsi1/path2          CLOSE   NORMAL          0          0

      3           fscsi1/path3          CLOSE   NORMAL          0          0

      bash-3.2# lsdev -Cc disk

      hdisk0 Available          Virtual SCSI Disk Drive

      hdisk1 Available          Virtual SCSI Disk Drive

      hdisk2 Available 05-08-02 IBM MPIO FC 1750

      bash-3.2# importvg -y datavg hdisk2

      0516-024 lqueryvg: Unable to open physical volume.

      Either PV was not configured or could not be opened. Run

      diagnostics.

      0516-024 lqueryvg: Unable to open physical volume.

      Either PV was not configured or could not be opened. Run

      diagnostics.

      0516-1140 importvg: Unable to read the volume group descriptor area

      on specified physical volume.

       

      Пытались снять резервацию с SUSE, но утилитка sg_persist оказалась “слабой” и не может этого сделать. Буду покупать FC-адаптер и пробовать с 2003 винды

       

  • #43385

    Владимир
    Участник

    Посмотрите ещё pcmpath это довольно мощная утилита. Например там есть такая опция

    pcmquerypr: Read and clear persistent reserve and registration keys

    Возможно это именно то, что Вам нужно. Вот ещё полезная ссылка

    http://aix4admins.blogspot.com/2015/01/sddpcm-sddpcm-is-loadable-path-control.html

    Не торопитесь с importvg, перед тем как это делать Вы должны увидеть pvid, и pcmpath должен показать что диски в состоянии open

    • Ответ изменён 1 неделя, 3 дн. назад пользователем  Владимир.
    • Ответ изменён 1 неделя, 3 дн. назад пользователем  Владимир.
    • #43388

      Stanislav Svirin
      Участник

      Не помогает:

      bash-3.2# pcmquerypr -Vh /dev/hdisk2

      connection type: fscsi0

      open dev: /dev/hdisk2

      couldn’t open /dev/hdisk2, errno=5

       

      bash-3.2# pcmquerypr -h /dev/hdisk2

      couldn’t open /dev/hdisk2, errno=5

       

      bash-3.2# pcmquerypr -rh /dev/hdisk2

      couldn’t open /dev/hdisk2, errno=5

       

  • #43389

    Владимир
    Участник

    Вот описание случая, очень похожего на Ваш

    https://it.toolbox.com/question/cant-access-san-luns-after-a-power-outage-080811

    Можете попробовать сделать

    chdev -l hdisk2 -a reserve_policy=no_reserve -P

    и перезагрузиться

    Значение этой команды описано здесь http://www.talkwithtrend.com/Article/20590

    • #43391

      Stanislav Svirin
      Участник

      Случай 1 в 1 и в результате резервацию сняла поддержка IBM….

      К сожалению, изменения атрибута <span style=”color: #5a5a5a; font-family: Verdana, Geneva, sans-serif; font-size: 12px;”>reserve_policy никакого эффекта не дало( все тоже самое</span>

       

  • #43390

    Владимир
    Участник

    http://www-01.ibm.com/support/docview.wss?uid=ssg1S7000303&aid=15

    страница 143-144

    3. To query and display which type of persistent reservation is on

    a device, enter pcmquerypr -Vh /dev/hdisk#.

    The following output indicates there is SCSI-2 reserve on the

    device:

    # pcmquerypr -Vh /dev/hdisk27

    connection type: fscsi3

    open dev: /dev/hdisk27

    Attempt to read reservation key…

    *> ioctl(PR_READ) error; errno = 5 (I/O error)

    *> status_validity=0x1, scsi_bus_status=0x2

    Attempt to read reservation key…

    *> ioctl(PR_READ) error; errno = 5 (I/O error)

    *> status_validity=0x1, scsi_bus_status=0x18

    Attempt to read reservation key…

    *> ioctl(PR_READ) error; errno = 5 (I/O error)

    *> status_validity=0x1, scsi_bus_status=0x18

    Attempt to read reservation key…

    *> ioctl(PR_READ) error; errno = 5 (I/O error)

    *> status_validity=0x1, scsi_bus_status=0x18

    The following output indicates that there is SCSI-3 reserve on

    the device:

    # pcmquerypr -Vh /dev/hdisk43

    connection type: fscsi0

    open dev: /dev/hdisk43

    Attempt to read reservation key…

    *> ioctl(PR_READ) error; errno = 5 (I/O error)

    *> status_validity=0x1, scsi_bus_status=0x2

    Attempt to read reservation key…

    Attempt to read registration keys…

    Read Keys parameter

    Generation : 12

    Additional Length: 32

    Key0 : 0x3236303232344446

    Key1 : 0x3236303232344446

    Key2 : 0x3236303232344446

    Key3 : 0x3236303232344446

    resrvpolicy= no_reserve

    Reserve Key provided by current host = none (hex)0924ffff

    Reserve Key on the device: 0x3236303232344446

    Reservation key type: 0x6

    Device is reserved by SDD device.

    4. To release the persistent reservation if the device is reserved by

    the current host, enter pcmquerypr -rh /dev/hdisk30.

    This command releases the persistent reserve if the device is

    reserved by the current host. It returns 0 if the command

    succeeds or the device is not reserved. It returns 2 if the

    command fails.

    Chapter 3. Using SDDPCM on an AIX host system 143

    5. To reset any persistent reserve and clear all reservation key

    registrations, enter pcmquerypr -ch /dev/hdisk30.

    This command resets any persistent reserve and clears all

    reservation key registrations on a device. It returns 0 if the

    command succeeds, or 2 if the command fails.

    6. To remove the persistent reservation if the device is reserved by

    another host, enter pcmquerypr -ph /dev/hdisk30.

    This command removes an existing registration and persistent

    reserve from another host. It returns 0 if the command succeeds

    or if the device is not persistent reserved. It returns 2 if the

    command fails.

  • #43392

    Владимир
    Участник

    По моему идея подключения проблемного диска к хосту с другой ОС не из лучших, есть высокой риск потери данных. Если у Вас есть ресурсы поднимите lpar с AIX 6.1, а лучше 7.1 или 7.2, и попробуйте pcmquerypr из него, в этих версиях есть команда devrsrv. Уточните пожалуйста, Вы уже пробовали использовать pcmquerypr -ch ? Если со свежей версией AIX не получится надо искать как снять резервацию на СХД. Я сегодня поищу как это сделать.

  • #43393

    Владимир
    Участник

    Нашёл статью про scsi reservation

    https://kb.netapp.com/app/answers/answer_view/a_id/1001463

    Хоть СХД и другая, но это не имеет значения, так как scsi reservation это фича протокола. Из статьи следует, что резервацию надо снимать с хоста, как это сделать с СХД информации я не нашёл.

    И ещё статья про devrsrv, она появилась в AIX 6.1 TL7

    https://www.ibm.com/developerworks/community/blogs/KRblog?lang=en

    • Ответ изменён 1 неделя, 2 дн. назад пользователем  Владимир.
  • #43395

    Владимир
    Участник

    Ну и ещё рекомендация, с которой обычно начинает техподдержка любого вендора: обновите firmware сервера и адаптеров, версию ОС.

Для ответа в этой теме необходимо авторизоваться.