Не могу сделать ImportVG

[Stanislav Svirin]

Доброго дня, форумчане!

Была рабочая система (AIX 5,3  к ней через фабрику примаплен ЛУН с datavg с СХД IBM DS). Аварийно отключилось питание и теперь я вижу диск который приходит с СХД но не могу сделать importvg.

bash-3.2# lspv

hdisk0          00c3e69d646291e1                    rootvg          active

hdisk1          00c3e69d6492e97d                    rootvg          active

hdisk2          none                                None

 

bash-3.2# importvg -y datavg hdisk2

0516-024 lqueryvg: Unable to open physical volume.

Either PV was not configured or could not be opened. Run

diagnostics.

0516-024 lqueryvg: Unable to open physical volume.

Either PV was not configured or could not be opened. Run

diagnostics.

0516-1140 importvg: Unable to read the volume group descriptor area

on specified physical volume.

 

bash-3.2#  chdev -l hdisk2 -a pv=yes

Method error (/usr/lib/methods/chgdisk):

0514-047 Cannot access a device.

pv

Диск hdisk2 отдается с 2-х viosов как virtual SCSI. На SAN свичах все ок – все порты как F-port, nodefindoм видит и таргет и инициатор, правда инициатор вот так:

IBM_2005_B16:admin> nodefind 10:00:00:00:c9:56:22:3a

Local:

Type Pid    COS     PortName                NodeName                 SCR

N    010200;    2,3;10:00:00:00:c9:56:22:3a;20:00:00:00:c9:56:22:3a; 3

Fabric Port Name: 20:02:00:05:1e:02:f6:4c

Permanent Port Name: 10:00:00:00:c9:56:22:3a

Device type: Physical Unknown(initiator/target)

Port Index: 2

Share Area: No

Device Shared in Other AD: No

Redirect: No

Aliases:

 

Что посоветуете?

 

 

[sdudnik]

проверить его доступность командами

lsdev  | grep hdisk2

lquerypv  -h /dev/hdisk2

[Stanislav Svirin]

bash-3.2# lsdev  | grep hdisk2

hdisk2     Available 03-08-02 MPIO Other FC SCSI Disk Drive

bash-3.2# lquerypv  -h /dev/hdisk2

ничего не выдает

Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую

bash-3.2# lsdev  -Cc adapter

ent0   Available       Virtual I/O Ethernet Adapter (l-lan)

fcs0   Available 03-08 FC Adapter

fcs1   Available 04-08 FC Adapter

ide0   Defined   02-08 ATA/IDE Controller Device

vsa0   Available       LPAR Virtual Serial Adapter

vscsi0 Available       Virtual SCSI Client Adapter

vscsi1 Available       Virtual SCSI Client Adapter

 

 

• Ответ изменён 2 года, 10 месяцев назад пользователем Stanislav Svirin.
• Ответ изменён 2 года, 10 месяцев назад пользователем Stanislav Svirin.

[sdudnik]

похоже что он просто недоступен. Можно попробовать удалить его и добавить заново

 

rmdev -Rdl hdisk2

cfgmgr

и снова проверить его доступность

[Stanislav Svirin]

Делал много раз. Сейчас после перезагрузки lpar:

bash-3.2# lspath

Enabled hdisk0 vscsi0

Enabled hdisk1 vscsi1

Failed  hdisk2 fscsi0

Failed  hdisk2 fscsi1

Failed  hdisk2 fscsi1

bash-3.2# rmdev -Rdl hdisk2

hdisk2 deleted

bash-3.2# cfgmgr

bash-3.2# lspath

Enabled hdisk0 vscsi0

Enabled hdisk1 vscsi1

Enabled hdisk2 fscsi0

Enabled hdisk2 fscsi1

Enabled hdisk2 fscsi1

Дальше все по старому: pvid не присваивается, datavg не импортируется.

 

[sdudnik]

а со стороны схд с этим луном всё ок? если с него почитать dd-ой выводить что нибудь?

[Stanislav Svirin]

На СХД никаких ошибок нет.

Вообще на СХД 3 луна, которые отданы 3lparaм (3 FC-карты отданы 3м lparaм) и со всеми такая история

bash-3.2# dd if=/dev/hdisk2 of=/tmp/mytempfile bs=2k count=1000

dd: /dev/hdisk2: There is an input or output error.

[sdudnik]

Тогда это проблема с схд. можно попробовать создать новый лун, прицепить к аиксу  проверить как он добавиться

[Stanislav Svirin]

Спасибо, поковыряюсь с ней еще. Потом отпишусь сюда.

[Дмитрий]

похоже, что диск заблокирован. или на уровне схд или SCSI disk reservation.

[Stanislav Svirin]

Сделал на СХД новый LUN – он увиделся как hdisk3, но pvid все равно не присваивается – ошибка та же.

Что значит диск заблокирован на уровне СХД? На СХД (DS6800)  везде все normal – online

 

bash-3.2# lspv

hdisk0          00c3e68d647c0a5f                    rootvg          active

hdisk1          00c3e68d649b4588                    rootvg          active

hdisk2          none                                None

hdisk3          none                                None

bash-3.2# lquerypv  -h /dev/hdisk3

 

bash-3.2# chdev -l hdisk3 -a pv=yes

Method error (/usr/lib/methods/chgdisk):

0514-047 Cannot access a device.

pv

 

bash-3.2# lsattr -El hdisk3

PCM             PCM/friend/fcpother              Path Control Module              False

algorithm       fail_over                        Algorithm                        True

clr_q           no                               Device CLEARS its Queue on error True

dist_err_pcnt   0                                Distributed Error Percentage     True

dist_tw_width   50                               Distributed Error Sample Time    True

hcheck_cmd      test_unit_rdy                    Health Check Command             True

hcheck_interval 60                               Health Check Interval            True

hcheck_mode     nonactive                        Health Check Mode                True

location                                         Location Label                   True

lun_id          0x4011400000000000               Logical Unit Number ID           False

max_transfer    0x40000                          Maximum TRANSFER Size            True

node_name       0x500507630efe0764               FC Node Name                     False

pvid            none                             Physical volume identifier       False

q_err           yes                              Use QERR bit                     True

q_type          simple                           Queuing TYPE                     True

queue_depth     8                                Queue DEPTH                      True

reassign_to     120                              REASSIGN time out value          True

reserve_policy  single_path                      Reserve Policy                   True

rw_timeout      30                               READ/WRITE time out value        True

scsi_id         0x10000                          SCSI ID                          False

start_timeout   60                               START unit time out value        True

timeout_policy  retry_path                       Timeout Policy                   True

unique_id       200B6875551110007175050003IBMfcp Unique device identifier         False

ww_name         0x500507630e000764               FC World Wide Name               False

 

В какую сторону копать?

 

[Oldnick]

данный DS кроме этих лунов еще какие-то луны кому-то раздает, они работают?

[Stanislav Svirin]

Нет, всего 3 (теперь 4 луна) – у всех одинаковые проблемы.

На ДСке нет ошибок (БП только на exp умирает), перезагружал ее – все логи посмотрел, SAN-коммутаторы перезагружал

 

[Oldnick]

с данным типом DS я не работал, слабо представляю что это такое.

если не критично, может попробовать отформатировать лун в Аиксе? DS пробовали штатно выключать, перегружать….?

на стороне DS может все убить, заново перенарезать пул, луны или что там на ней….

короче говоря надо попытаться помучить DS, может проблема на ее стороне? клюк, микрокод….

[Дмитрий]

Отформатировать LUN на AIX-е не получится. Со стороны ОС к нему нет доступа. Это однозначно Persistent SCSI disk reservation.
Т.е., ОС, пока работала с дисками, их заблокировала, а теперь не может разблокировать.
Надо скачать утилиты работы со SCSI-командами (подойдут и от других вендоров), подключить диски к, например, Windows 🙂 и сбросить резервацию дисков.

Ищите по ключевым словам scsi persistent disk reservation
например, мне поиск сразу выдал старую статью https://bazanovv.livejournal.com/23019.html
к сожалению, ссылки на IBM-овские документы в ней уже не работают, но способ лечения в общем правильный.

У нас была похожая ситуация, исправили без потери данных.

[Stanislav Svirin]

DS6800 это почти как DS8000 только маленькая

С СХД и ОС уже делал все возможные манипуляции.

По поводу reservation, попробовал вот этой утилитой, кто-то пользовался? http://nixys.fr/blog/?p=311

Выдает вот что:

bash-3.2# ./devscan -t f -c9 | egrep “hdisk|Reserv”

You have specified a flag which can potentially cause a state change

to a device on the SAN. You should consider this equivalent to running

cfgmgr, except that devscan cannot cause any changes to the ODM. Are

you sure you wish to continue?

y/[n] : y

Copyright (C) 2010-2017 IBM Corp., All Rights Reserved

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk2  Path:            1  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk3  Path:            1  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk2  Path:            0  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk3  Path:            0  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk2  Path:            3  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk3  Path:            3  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk2  Path:            2  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

Name:           hdisk3  Path:            2  VG:       None found

PR IN Read Reservation failed with errno EIO

PR IN Read Reservation got SCSI status:

 

Правильно я понимаю, что это и есть reservation?

[Дмитрий]

Да.  попробуйте другие утилиты и подключите дискт к другой ос. Windows, Linux .

[andrewk]

а vios вы проверили? у вас vscsi – вы должны диск на vios’ах видеть и резервация должна быть там правильно проставлена

[Stanislav Svirin]

У меня FC-карта целиком отдана lparу.  С виосов приходит rootvg через vscsi с локальных дисков. Так сделано потому что все старое и npiv не поддерживается

[andrewk]

Неправильный ответ. У Вас диск проброшен на LPAR через VSCSI. Соответственно он должен быть:

а) виден на обеих VIOS’ах

б) правильно настроен

в) правильно замаплен

Проверьте, пожалуйста!

[sdudnik]

vscsi тут не при чём.

[Stanislav Svirin]

Эльпару с 2-х виосов отдан LV как vscsi, собран в зеркало на lpare с ним проблем никаких нет

[Дмитрий]

@Stanislav Svirin, если Вы в Москве, то могу свести Вас с экспертом по СХД, который сталкивался с подобной проблемой. Он готов поковыряться из “спортивного интереса”.

@Andrewk, посмотри повнимательнее. Это не vscsi, это fc.

bash-3.2# lsdev  | grep hdisk2

hdisk2     Available 03-08-02 MPIO Other FC SCSI Disk Drive

bash-3.2# lquerypv  -h /dev/hdisk2

ничего не выдает

Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую

bash-3.2# lsdev  -Cc adapter

ent0   Available       Virtual I/O Ethernet Adapter (l-lan)

fcs0   Available 03-08 FC Adapter

[Stanislav Svirin]

В продолжении темы – установил SUSE11 SP4 отдал ему тот же адаптер, который был у lpara  с аиксом – он ЛУН не видит

[Владимир]

Мне не нравиться эта строка

MPIO Other FC SCSI Disk Drive

Обычно так происходит, когда не установлены драйверы. Судя по этому https://www.ibm.com/support/home/product/5329629/DS6800 у Вас должен быть установлен SDD. Что выводит команда pcmpath query device, работает ли она вообще?

• Ответ изменён 2 года, 10 месяцев назад пользователем Владимир.

[Stanislav Svirin]

И без SDDPCD все работало – на 4-х лунах одна и та же ошибка, это явно не драйвер.

Хотя я поставил SDD:

bash-3.2# pcmpath query device

 

Total Dual Active and Active/Asymmetrc Devices : 1

 

 

DEV#:   2  DEVICE NAME: hdisk2  TYPE: 1750500  ALGORITHM:  Load Balance

SERIAL: 68755511000

==========================================================================

Path#      Adapter/Path Name          State     Mode     Select     Errors

0           fscsi0/path0          CLOSE   NORMAL          0          0

1           fscsi0/path1          CLOSE   NORMAL          0          0

2           fscsi1/path2          CLOSE   NORMAL          0          0

3           fscsi1/path3          CLOSE   NORMAL          0          0

bash-3.2# lsdev -Cc disk

hdisk0 Available          Virtual SCSI Disk Drive

hdisk1 Available          Virtual SCSI Disk Drive

hdisk2 Available 05-08-02 IBM MPIO FC 1750

bash-3.2# importvg -y datavg hdisk2

0516-024 lqueryvg: Unable to open physical volume.

Either PV was not configured or could not be opened. Run

diagnostics.

0516-024 lqueryvg: Unable to open physical volume.

Either PV was not configured or could not be opened. Run

diagnostics.

0516-1140 importvg: Unable to read the volume group descriptor area

on specified physical volume.

 

Пытались снять резервацию с SUSE, но утилитка sg_persist оказалась “слабой” и не может этого сделать. Буду покупать FC-адаптер и пробовать с 2003 винды

 

[Владимир]

Посмотрите ещё pcmpath это довольно мощная утилита. Например там есть такая опция

pcmquerypr: Read and clear persistent reserve and registration keys

Возможно это именно то, что Вам нужно. Вот ещё полезная ссылка

http://aix4admins.blogspot.com/2015/01/sddpcm-sddpcm-is-loadable-path-control.html

Не торопитесь с importvg, перед тем как это делать Вы должны увидеть pvid, и pcmpath должен показать что диски в состоянии open

• Ответ изменён 2 года, 10 месяцев назад пользователем Владимир.
• Ответ изменён 2 года, 10 месяцев назад пользователем Владимир.

[Stanislav Svirin]

Не помогает:

bash-3.2# pcmquerypr -Vh /dev/hdisk2

connection type: fscsi0

open dev: /dev/hdisk2

couldn’t open /dev/hdisk2, errno=5

 

bash-3.2# pcmquerypr -h /dev/hdisk2

couldn’t open /dev/hdisk2, errno=5

 

bash-3.2# pcmquerypr -rh /dev/hdisk2

couldn’t open /dev/hdisk2, errno=5

 

[Владимир]

Вот описание случая, очень похожего на Ваш

https://it.toolbox.com/question/cant-access-san-luns-after-a-power-outage-080811

Можете попробовать сделать

chdev -l hdisk2 -a reserve_policy=no_reserve -P

и перезагрузиться

Значение этой команды описано здесь http://www.talkwithtrend.com/Article/20590

[Stanislav Svirin]

Случай 1 в 1 и в результате резервацию сняла поддержка IBM….

К сожалению, изменения атрибута <span style=”color: #5a5a5a; font-family: Verdana, Geneva, sans-serif; font-size: 12px;”>reserve_policy никакого эффекта не дало( все тоже самое</span>

 

[Владимир]

http://www-01.ibm.com/support/docview.wss?uid=ssg1S7000303&aid=15

страница 143-144

3. To query and display which type of persistent reservation is on

a device, enter pcmquerypr -Vh /dev/hdisk#.

The following output indicates there is SCSI-2 reserve on the

device:

# pcmquerypr -Vh /dev/hdisk27

connection type: fscsi3

open dev: /dev/hdisk27

Attempt to read reservation key…

*> ioctl(PR_READ) error; errno = 5 (I/O error)

*> status_validity=0x1, scsi_bus_status=0x2

Attempt to read reservation key…

*> ioctl(PR_READ) error; errno = 5 (I/O error)

*> status_validity=0x1, scsi_bus_status=0x18

Attempt to read reservation key…

*> ioctl(PR_READ) error; errno = 5 (I/O error)

*> status_validity=0x1, scsi_bus_status=0x18

Attempt to read reservation key…

*> ioctl(PR_READ) error; errno = 5 (I/O error)

*> status_validity=0x1, scsi_bus_status=0x18

The following output indicates that there is SCSI-3 reserve on

the device:

# pcmquerypr -Vh /dev/hdisk43

connection type: fscsi0

open dev: /dev/hdisk43

Attempt to read reservation key…

*> ioctl(PR_READ) error; errno = 5 (I/O error)

*> status_validity=0x1, scsi_bus_status=0x2

Attempt to read reservation key…

Attempt to read registration keys…

Read Keys parameter

Generation : 12

Additional Length: 32

Key0 : 0x3236303232344446

Key1 : 0x3236303232344446

Key2 : 0x3236303232344446

Key3 : 0x3236303232344446

resrvpolicy= no_reserve

Reserve Key provided by current host = none (hex)0924ffff

Reserve Key on the device: 0x3236303232344446

Reservation key type: 0x6

Device is reserved by SDD device.

4. To release the persistent reservation if the device is reserved by

the current host, enter pcmquerypr -rh /dev/hdisk30.

This command releases the persistent reserve if the device is

reserved by the current host. It returns 0 if the command

succeeds or the device is not reserved. It returns 2 if the

command fails.

Chapter 3. Using SDDPCM on an AIX host system 143

5. To reset any persistent reserve and clear all reservation key

registrations, enter pcmquerypr -ch /dev/hdisk30.

This command resets any persistent reserve and clears all

reservation key registrations on a device. It returns 0 if the

command succeeds, or 2 if the command fails.

6. To remove the persistent reservation if the device is reserved by

another host, enter pcmquerypr -ph /dev/hdisk30.

This command removes an existing registration and persistent

reserve from another host. It returns 0 if the command succeeds

or if the device is not persistent reserved. It returns 2 if the

command fails.

[Владимир]

По моему идея подключения проблемного диска к хосту с другой ОС не из лучших, есть высокой риск потери данных. Если у Вас есть ресурсы поднимите lpar с AIX 6.1, а лучше 7.1 или 7.2, и попробуйте pcmquerypr из него, в этих версиях есть команда devrsrv. Уточните пожалуйста, Вы уже пробовали использовать pcmquerypr -ch ? Если со свежей версией AIX не получится надо искать как снять резервацию на СХД. Я сегодня поищу как это сделать.

[Владимир]

Нашёл статью про scsi reservation

https://kb.netapp.com/app/answers/answer_view/a_id/1001463

Хоть СХД и другая, но это не имеет значения, так как scsi reservation это фича протокола. Из статьи следует, что резервацию надо снимать с хоста, как это сделать с СХД информации я не нашёл.

И ещё статья про devrsrv, она появилась в AIX 6.1 TL7

https://www.ibm.com/developerworks/community/blogs/KRblog?lang=en

• Ответ изменён 2 года, 10 месяцев назад пользователем Владимир.

[Владимир]

Ну и ещё рекомендация, с которой обычно начинает техподдержка любого вендора: обновите firmware сервера и адаптеров, версию ОС.

[Stanislav Svirin]

История с реанимированием СХД закончилась плачевно…

Пробовали и с SUSE  и с Windows Server 2003 что-то сделать – все тщетно

Дмитрий, спасибо, что познакомили с Павлом – он очень большой эксперт и приложил немало усилий в восстановлении, но к сожалению диагноз оказался – SCSI check condition. И дальнейшее восстановление головы возможно через ТП IBM (а хранилка тех денег не стоит).

Вот так.

 

[Автор]

Сообщения