В этой теме 34 ответа, 6 участников, последнее обновление 
-
Сообщения
-
Доброго дня, форумчане!
Была рабочая система (AIX 5,3 к ней через фабрику примаплен ЛУН с datavg с СХД IBM DS). Аварийно отключилось питание и теперь я вижу диск который приходит с СХД но не могу сделать importvg.
bash-3.2# lspv
hdisk0 00c3e69d646291e1 rootvg active
hdisk1 00c3e69d6492e97d rootvg active
hdisk2 none None
bash-3.2# importvg -y datavg hdisk2
0516-024 lqueryvg: Unable to open physical volume.
Either PV was not configured or could not be opened. Run
diagnostics.
0516-024 lqueryvg: Unable to open physical volume.
Either PV was not configured or could not be opened. Run
diagnostics.
0516-1140 importvg: Unable to read the volume group descriptor area
on specified physical volume.
bash-3.2# chdev -l hdisk2 -a pv=yes
Method error (/usr/lib/methods/chgdisk):
0514-047 Cannot access a device.
pv
Диск hdisk2 отдается с 2-х viosов как virtual SCSI. На SAN свичах все ок – все порты как F-port, nodefindoм видит и таргет и инициатор, правда инициатор вот так:
IBM_2005_B16:admin> nodefind 10:00:00:00:c9:56:22:3a
Local:
Type Pid COS PortName NodeName SCR
N 010200; 2,3;10:00:00:00:c9:56:22:3a;20:00:00:00:c9:56:22:3a; 3
Fabric Port Name: 20:02:00:05:1e:02:f6:4c
Permanent Port Name: 10:00:00:00:c9:56:22:3a
Device type: Physical Unknown(initiator/target)
Port Index: 2
Share Area: No
Device Shared in Other AD: No
Redirect: No
Aliases:
Что посоветуете?
-
проверить его доступность командами
lsdev | grep hdisk2
lquerypv -h /dev/hdisk2
-
bash-3.2# lsdev | grep hdisk2
hdisk2 Available 03-08-02 MPIO Other FC SCSI Disk Drive
bash-3.2# lquerypv -h /dev/hdisk2
ничего не выдает
Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую
bash-3.2# lsdev -Cc adapter
ent0 Available Virtual I/O Ethernet Adapter (l-lan)
fcs0 Available 03-08 FC Adapter
fcs1 Available 04-08 FC Adapter
ide0 Defined 02-08 ATA/IDE Controller Device
vsa0 Available LPAR Virtual Serial Adapter
vscsi0 Available Virtual SCSI Client Adapter
vscsi1 Available Virtual SCSI Client Adapter
-
Ответ изменён 1 год, 1 месяц назад пользователем
Stanislav Svirin.
-
Ответ изменён 1 год, 1 месяц назад пользователем
-
похоже что он просто недоступен. Можно попробовать удалить его и добавить заново
rmdev -Rdl hdisk2
cfgmgr
и снова проверить его доступность
-
Делал много раз. Сейчас после перезагрузки lpar:
bash-3.2# lspath
Enabled hdisk0 vscsi0
Enabled hdisk1 vscsi1
Failed hdisk2 fscsi0
Failed hdisk2 fscsi1
Failed hdisk2 fscsi1
bash-3.2# rmdev -Rdl hdisk2
hdisk2 deleted
bash-3.2# cfgmgr
bash-3.2# lspath
Enabled hdisk0 vscsi0
Enabled hdisk1 vscsi1
Enabled hdisk2 fscsi0
Enabled hdisk2 fscsi1
Enabled hdisk2 fscsi1
Дальше все по старому: pvid не присваивается, datavg не импортируется.
-
а со стороны схд с этим луном всё ок? если с него почитать dd-ой выводить что нибудь?
-
На СХД никаких ошибок нет.
Вообще на СХД 3 луна, которые отданы 3lparaм (3 FC-карты отданы 3м lparaм) и со всеми такая история
bash-3.2# dd if=/dev/hdisk2 of=/tmp/mytempfile bs=2k count=1000
dd: /dev/hdisk2: There is an input or output error.
-
Тогда это проблема с схд. можно попробовать создать новый лун, прицепить к аиксу проверить как он добавиться
-
Спасибо, поковыряюсь с ней еще. Потом отпишусь сюда.
-
-
-
Ответ изменён 1 год, 1 месяц назад пользователем
-
-
похоже, что диск заблокирован. или на уровне схд или SCSI disk reservation.
-
Сделал на СХД новый LUN – он увиделся как hdisk3, но pvid все равно не присваивается – ошибка та же.
Что значит диск заблокирован на уровне СХД? На СХД (DS6800) везде все normal – online
bash-3.2# lspv
hdisk0 00c3e68d647c0a5f rootvg active
hdisk1 00c3e68d649b4588 rootvg active
hdisk2 none None
hdisk3 none None
bash-3.2# lquerypv -h /dev/hdisk3
bash-3.2# chdev -l hdisk3 -a pv=yes
Method error (/usr/lib/methods/chgdisk):
0514-047 Cannot access a device.
pv
bash-3.2# lsattr -El hdisk3
PCM PCM/friend/fcpother Path Control Module False
algorithm fail_over Algorithm True
clr_q no Device CLEARS its Queue on error True
dist_err_pcnt 0 Distributed Error Percentage True
dist_tw_width 50 Distributed Error Sample Time True
hcheck_cmd test_unit_rdy Health Check Command True
hcheck_interval 60 Health Check Interval True
hcheck_mode nonactive Health Check Mode True
location Location Label True
lun_id 0x4011400000000000 Logical Unit Number ID False
max_transfer 0x40000 Maximum TRANSFER Size True
node_name 0x500507630efe0764 FC Node Name False
pvid none Physical volume identifier False
q_err yes Use QERR bit True
q_type simple Queuing TYPE True
queue_depth 8 Queue DEPTH True
reassign_to 120 REASSIGN time out value True
reserve_policy single_path Reserve Policy True
rw_timeout 30 READ/WRITE time out value True
scsi_id 0x10000 SCSI ID False
start_timeout 60 START unit time out value True
timeout_policy retry_path Timeout Policy True
unique_id 200B6875551110007175050003IBMfcp Unique device identifier False
ww_name 0x500507630e000764 FC World Wide Name False
В какую сторону копать?
-
данный DS кроме этих лунов еще какие-то луны кому-то раздает, они работают?
-
Нет, всего 3 (теперь 4 луна) – у всех одинаковые проблемы.
На ДСке нет ошибок (БП только на exp умирает), перезагружал ее – все логи посмотрел, SAN-коммутаторы перезагружал
-
-
с данным типом DS я не работал, слабо представляю что это такое.
если не критично, может попробовать отформатировать лун в Аиксе? DS пробовали штатно выключать, перегружать….?
на стороне DS может все убить, заново перенарезать пул, луны или что там на ней….
короче говоря надо попытаться помучить DS, может проблема на ее стороне? клюк, микрокод….
-
Отформатировать LUN на AIX-е не получится. Со стороны ОС к нему нет доступа. Это однозначно Persistent SCSI disk reservation.
Т.е., ОС, пока работала с дисками, их заблокировала, а теперь не может разблокировать.
Надо скачать утилиты работы со SCSI-командами (подойдут и от других вендоров), подключить диски к, например, Windows 🙂 и сбросить резервацию дисков.Ищите по ключевым словам scsi persistent disk reservation
например, мне поиск сразу выдал старую статью https://bazanovv.livejournal.com/23019.html
к сожалению, ссылки на IBM-овские документы в ней уже не работают, но способ лечения в общем правильный.У нас была похожая ситуация, исправили без потери данных.
-
DS6800 это почти как DS8000 только маленькая
С СХД и ОС уже делал все возможные манипуляции.
По поводу reservation, попробовал вот этой утилитой, кто-то пользовался? http://nixys.fr/blog/?p=311
Выдает вот что:
bash-3.2# ./devscan -t f -c9 | egrep “hdisk|Reserv”
You have specified a flag which can potentially cause a state change
to a device on the SAN. You should consider this equivalent to running
cfgmgr, except that devscan cannot cause any changes to the ODM. Are
you sure you wish to continue?
y/[n] : y
Copyright (C) 2010-2017 IBM Corp., All Rights Reserved
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk2 Path: 1 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk3 Path: 1 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk2 Path: 0 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk3 Path: 0 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk2 Path: 3 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk3 Path: 3 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk2 Path: 2 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Name: hdisk3 Path: 2 VG: None found
PR IN Read Reservation failed with errno EIO
PR IN Read Reservation got SCSI status:
Правильно я понимаю, что это и есть reservation?
-
Да. попробуйте другие утилиты и подключите дискт к другой ос. Windows, Linux .
-
а vios вы проверили? у вас vscsi – вы должны диск на vios’ах видеть и резервация должна быть там правильно проставлена
-
У меня FC-карта целиком отдана lparу. С виосов приходит rootvg через vscsi с локальных дисков. Так сделано потому что все старое и npiv не поддерживается
-
Неправильный ответ. У Вас диск проброшен на LPAR через VSCSI. Соответственно он должен быть:
а) виден на обеих VIOS’ах
б) правильно настроен
в) правильно замаплен
Проверьте, пожалуйста!
-
vscsi тут не при чём.
-
Эльпару с 2-х виосов отдан LV как vscsi, собран в зеркало на lpare с ним проблем никаких нет
-
-
-
-
@Stanislav Svirin, если Вы в Москве, то могу свести Вас с экспертом по СХД, который сталкивался с подобной проблемой. Он готов поковыряться из “спортивного интереса”.
@andrewk, посмотри повнимательнее. Это не vscsi, это fc.
bash-3.2# lsdev | grep hdisk2
hdisk2 Available 03-08-02 MPIO Other FC SCSI Disk Drive
bash-3.2# lquerypv -h /dev/hdisk2
ничего не выдает
Я не правильно написал – это rootvg отдается как vSCSI. LUN по FC подключен напрямую
bash-3.2# lsdev -Cc adapter
ent0 Available Virtual I/O Ethernet Adapter (l-lan)
fcs0 Available 03-08 FC Adapter
-
В продолжении темы – установил SUSE11 SP4 отдал ему тот же адаптер, который был у lpara с аиксом – он ЛУН не видит
-
Мне не нравиться эта строка
MPIO Other FC SCSI Disk Drive
Обычно так происходит, когда не установлены драйверы. Судя по этому https://www.ibm.com/support/home/product/5329629/DS6800 у Вас должен быть установлен SDD. Что выводит команда pcmpath query device, работает ли она вообще?
-
Ответ изменён 1 год, 1 месяц назад пользователем
Владимир.
-
И без SDDPCD все работало – на 4-х лунах одна и та же ошибка, это явно не драйвер.
Хотя я поставил SDD:
bash-3.2# pcmpath query device
Total Dual Active and Active/Asymmetrc Devices : 1
DEV#: 2 DEVICE NAME: hdisk2 TYPE: 1750500 ALGORITHM: Load Balance
SERIAL: 68755511000
==========================================================================
Path# Adapter/Path Name State Mode Select Errors
0 fscsi0/path0 CLOSE NORMAL 0 0
1 fscsi0/path1 CLOSE NORMAL 0 0
2 fscsi1/path2 CLOSE NORMAL 0 0
3 fscsi1/path3 CLOSE NORMAL 0 0
bash-3.2# lsdev -Cc disk
hdisk0 Available Virtual SCSI Disk Drive
hdisk1 Available Virtual SCSI Disk Drive
hdisk2 Available 05-08-02 IBM MPIO FC 1750
bash-3.2# importvg -y datavg hdisk2
0516-024 lqueryvg: Unable to open physical volume.
Either PV was not configured or could not be opened. Run
diagnostics.
0516-024 lqueryvg: Unable to open physical volume.
Either PV was not configured or could not be opened. Run
diagnostics.
0516-1140 importvg: Unable to read the volume group descriptor area
on specified physical volume.
Пытались снять резервацию с SUSE, но утилитка sg_persist оказалась “слабой” и не может этого сделать. Буду покупать FC-адаптер и пробовать с 2003 винды
-
Ответ изменён 1 год, 1 месяц назад пользователем
-
Посмотрите ещё pcmpath это довольно мощная утилита. Например там есть такая опция
pcmquerypr: Read and clear persistent reserve and registration keys
Возможно это именно то, что Вам нужно. Вот ещё полезная ссылка
http://aix4admins.blogspot.com/2015/01/sddpcm-sddpcm-is-loadable-path-control.html
Не торопитесь с importvg, перед тем как это делать Вы должны увидеть pvid, и pcmpath должен показать что диски в состоянии open
-
Не помогает:
bash-3.2# pcmquerypr -Vh /dev/hdisk2
connection type: fscsi0
open dev: /dev/hdisk2
couldn’t open /dev/hdisk2, errno=5
bash-3.2# pcmquerypr -h /dev/hdisk2
couldn’t open /dev/hdisk2, errno=5
bash-3.2# pcmquerypr -rh /dev/hdisk2
couldn’t open /dev/hdisk2, errno=5
-
-
Вот описание случая, очень похожего на Ваш
https://it.toolbox.com/question/cant-access-san-luns-after-a-power-outage-080811
Можете попробовать сделать
chdev -l hdisk2 -a reserve_policy=no_reserve -P
и перезагрузиться
Значение этой команды описано здесь http://www.talkwithtrend.com/Article/20590
-
Случай 1 в 1 и в результате резервацию сняла поддержка IBM….
К сожалению, изменения атрибута <span style=”color: #5a5a5a; font-family: Verdana, Geneva, sans-serif; font-size: 12px;”>reserve_policy никакого эффекта не дало( все тоже самое</span>
-
-
http://www-01.ibm.com/support/docview.wss?uid=ssg1S7000303&aid=15
страница 143-144
3. To query and display which type of persistent reservation is on
a device, enter pcmquerypr -Vh /dev/hdisk#.
The following output indicates there is SCSI-2 reserve on the
device:
# pcmquerypr -Vh /dev/hdisk27
connection type: fscsi3
open dev: /dev/hdisk27
Attempt to read reservation key…
*> ioctl(PR_READ) error; errno = 5 (I/O error)
*> status_validity=0x1, scsi_bus_status=0x2
Attempt to read reservation key…
*> ioctl(PR_READ) error; errno = 5 (I/O error)
*> status_validity=0x1, scsi_bus_status=0x18
Attempt to read reservation key…
*> ioctl(PR_READ) error; errno = 5 (I/O error)
*> status_validity=0x1, scsi_bus_status=0x18
Attempt to read reservation key…
*> ioctl(PR_READ) error; errno = 5 (I/O error)
*> status_validity=0x1, scsi_bus_status=0x18
The following output indicates that there is SCSI-3 reserve on
the device:
# pcmquerypr -Vh /dev/hdisk43
connection type: fscsi0
open dev: /dev/hdisk43
Attempt to read reservation key…
*> ioctl(PR_READ) error; errno = 5 (I/O error)
*> status_validity=0x1, scsi_bus_status=0x2
Attempt to read reservation key…
Attempt to read registration keys…
Read Keys parameter
Generation : 12
Additional Length: 32
Key0 : 0x3236303232344446
Key1 : 0x3236303232344446
Key2 : 0x3236303232344446
Key3 : 0x3236303232344446
resrvpolicy= no_reserve
Reserve Key provided by current host = none (hex)0924ffff
Reserve Key on the device: 0x3236303232344446
Reservation key type: 0x6
Device is reserved by SDD device.
4. To release the persistent reservation if the device is reserved by
the current host, enter pcmquerypr -rh /dev/hdisk30.
This command releases the persistent reserve if the device is
reserved by the current host. It returns 0 if the command
succeeds or the device is not reserved. It returns 2 if the
command fails.
Chapter 3. Using SDDPCM on an AIX host system 143
5. To reset any persistent reserve and clear all reservation key
registrations, enter pcmquerypr -ch /dev/hdisk30.
This command resets any persistent reserve and clears all
reservation key registrations on a device. It returns 0 if the
command succeeds, or 2 if the command fails.
6. To remove the persistent reservation if the device is reserved by
another host, enter pcmquerypr -ph /dev/hdisk30.
This command removes an existing registration and persistent
reserve from another host. It returns 0 if the command succeeds
or if the device is not persistent reserved. It returns 2 if the
command fails.
-
По моему идея подключения проблемного диска к хосту с другой ОС не из лучших, есть высокой риск потери данных. Если у Вас есть ресурсы поднимите lpar с AIX 6.1, а лучше 7.1 или 7.2, и попробуйте pcmquerypr из него, в этих версиях есть команда devrsrv. Уточните пожалуйста, Вы уже пробовали использовать pcmquerypr -ch ? Если со свежей версией AIX не получится надо искать как снять резервацию на СХД. Я сегодня поищу как это сделать.
-
Нашёл статью про scsi reservation
https://kb.netapp.com/app/answers/answer_view/a_id/1001463
Хоть СХД и другая, но это не имеет значения, так как scsi reservation это фича протокола. Из статьи следует, что резервацию надо снимать с хоста, как это сделать с СХД информации я не нашёл.
И ещё статья про devrsrv, она появилась в AIX 6.1 TL7
https://www.ibm.com/developerworks/community/blogs/KRblog?lang=en
-
Ответ изменён 1 год, 1 месяц назад пользователем
-
Ответ изменён 1 год, 1 месяц назад пользователем
-
Ну и ещё рекомендация, с которой обычно начинает техподдержка любого вендора: обновите firmware сервера и адаптеров, версию ОС.
-
История с реанимированием СХД закончилась плачевно…
Пробовали и с SUSE и с Windows Server 2003 что-то сделать – все тщетно
Дмитрий, спасибо, что познакомили с Павлом – он очень большой эксперт и приложил немало усилий в восстановлении, но к сожалению диагноз оказался – SCSI check condition. И дальнейшее восстановление головы возможно через ТП IBM (а хранилка тех денег не стоит).
Вот так.
Для ответа в этой теме необходимо авторизоваться.
