Проблемы с монтированием файловых систем после выключения сервера


Главная Форумы POWER Systems AIX/Hardware Проблемы с монтированием файловых систем после выключения сервера

В этой теме 14 ответов, 4 участника, последнее обновление  Денис 8 года/лет, 11 мес. назад.

  • Автор
    Сообщения
  • #3412

    Денис
    Участник

    Добрый день (вечер) !
    Подскажите пожалуйста, как решить проблему с автоматическим монтированием файловых систем после выключения сервера.
    Два сервера Power6 поделены пополам каждый. В серверной меняли автомат, севера погасили штатно, через shutdown -F. После старта всех четырех нод обнаружилось, что файловые системы (с базами) примонтировались только ко двум нодам, принадлежащим к разным физическим машинам. Две другие ноды остались без нужных мне файловых систем ( монтированы только /usr /home /proc /opt). Причем на обоих “голых” нодах uname -a показывает одно и то же имя хоста. Переименование хостов с последующим ребутом не помогло. В /etc/filesystems требуемые ФС упоминаются. Попытка примонтировать их вручную не удается.

  • #3414

    Денис
    Участник

    Монитор дискового массива показывет что диски живы, разрушений нет. Сервера дисковый массив “видят”, пинг до него идет

  • #3415

    ksn
    Участник

    Я в этих вопросах не силен(т.к. пока опыта маловато), но свои мысли озвучу 🙂
    Для знающих людей нужно знать хотя бы конфигурацию системы.

    Под фразой “сервер пополам” вы имеете ввиду две LPAR-ы на каждом сервере ?

    Если это БД и 4 LPAR-ы могу предоположить, что на первом сервере лпары prod_main stby_fail, на втором сервере prod_fail и stby_main.

    Прозвучало слова node , значит у вас настроен HACMP ?

    Как файловые системы видятся на серверах – подымается ресурсная группа ?
    Если так то ФС смонтированна может быть только на одной ноде HACMP, a на другой ноде должны быть видны только сами диски PV с такими же PVID.

    Определитесь сперва видны ли диски на второй ноде.

    Вообщем нужно больше информации.
    p.s. возможно у вас конечно настроенна GPFS, но я с таким дел не имел:)

  • #3417

    Денис
    Участник

    HACMP – конечно-же настроен
    сервер пополам – сервера поделены по 2 лпары на каждом
    диски видны – Storage откликается на пинг с ноды

  • #3418

    ksn
    Участник

    Возможно я что-то путаю,но
    Если у вас не настроен GPFS, то как вы одну и ту же ФС хотите одновременно увидеть на обоих нодах ?

    Я бы сперва убедился выполнив lspv на всех нодах кластера , что видны все диски (сверив их PVID )

    Проверил бы состояние ресурсной группы, в On-line ли она и на какой ноде /usr/es/sbin/cluster/clstat

  • #3419

    Денис
    Участник

    Нет, все не так, файловые системы должны смонтироваться разные на одну ноду – ФС с базой , на другую ФС сервера приложений, они на разных нодах монтировались раньше.
    каждая из нод пытается именоваться одним именем

  • #3421

    Денис
    Участник

    текущее состояние HACMP

    [MORE…25]

    Network Name: net_diskhb_01 State: DOWN

    Network Name: net_ether_01 State: DOWN

    Address: 10.0.0.104 Label: mvknode2-b1 State: DOWN
    Address: 10.0.1.104 Label: mvknode2-b2 State: DOWN

    Network Name: net_ether_02 State: DOWN

    Address: 10.255.255.10 Label: mvknode2 State: DOWN

    Cluster Name: mvkhacmp1

    Resource Group Name: rgdb
    Startup Policy: Online On Home Node Only
    Fallover Policy: Fallover To Next Priority Node In The List
    Fallback Policy: Never Fallback
    Site Policy: ignore
    Node Group State
    —————————- —————
    mvknode1 ERROR
    mvknode2 OFFLINE

    Resource Group Name: rgapps
    Startup Policy: Online On Home Node Only
    Fallover Policy: Fallover To Next Priority Node In The List
    Fallback Policy: Never Fallback
    Site Policy: ignore
    Node Group State
    —————————- —————
    mvknode2 OFFLINE
    mvknode1 OFFLINE

    [BOTTOM]
    COMMAND STATUS

    Command: OK stdout: yes stderr: no

    Before command completion, additional instructions may appear below.

    [TOP]

    Obtaining information via SNMP from Node: mvknode1…

    _____________________________________________________________________________
    Cluster Name: mvkhacmp1
    Cluster State: UP
    Cluster Substate: STABLE
    _____________________________________________________________________________

    Node Name: mvknode1 State: UP

    Network Name: net_diskhb_01 State: UP

    Address: Label: mvknode1_hdisk9_01 State: UP

    Network Name: net_ether_01 State: UP

    Address: 10.0.0.103 Label: mvknode1-b1 State: UP
    Address: 10.0.1.103 Label: mvknode1-b2 State: UP

    Network Name: net_ether_02 State: UP

    Address: 10.255.255.9 Label: mvknode1 State: UP

    Node Name: mvknode2 State: DOWN

    Network Name: net_diskhb_01 State: DOWN

    Network Name: net_ether_01 State: DOWN

    Address: 10.0.0.104 Label: mvknode2-b1 State: DOWN
    Address: 10.0.1.104 Label: mvknode2-b2 State: DOWN
    [MORE…28]

  • #3429

    Дмитрий
    Участник

    >mvknode1 ERROR

    Смотрим errpt, cluster.log, hacmp.out.

    А по этим данным ничего не скажешь.

  • #3433

    Денис
    Участник

    errpt

    9DBCFDEE 0505205709 T O errdemon ERROR LOGGING TURNED ON
    192AC071 0505205409 T O errdemon ERROR LOGGING TURNED OFF
    AFA89905 0505200309 I O grpsvcs Group Services daemon started
    97419D60 0505200309 I O topsvcs Topology Services daemon started
    A6DF45AA 0505200309 I O RMCdaemon The daemon is started.
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
    2BFA76F6 0505200109 T S SYSPROC SYSTEM SHUTDOWN BY USER
    9DBCFDEE 0505200309 T O errdemon ERROR LOGGING TURNED ON
    192AC071 0505185609 T O errdemon ERROR LOGGING TURNED OFF
    6D19271E 0505185109 I O topsvcs Topology Services daemon stopped
    28854E81 0505185009 I O grpsvcs Group Services daemon stopped
    99FA80C7 0505185009 U S haemd SOFTWARE
    AA8AB241 0505185009 T O OPERATOR OPERATOR NOTIFICATION
    BC3BE5A3 0505185009 P S SRC SOFTWARE PROGRAM ERROR
    573790AA 0504140009 I O RMCdaemon The default log file has been changed.
    AFA89905 0429161209 I O grpsvcs Group Services daemon started
    97419D60 0429161209 I O topsvcs Topology Services daemon started
    A6DF45AA 0429161109 I O RMCdaemon The daemon is started.
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
    2BFA76F6 0429161009 T S SYSPROC SYSTEM SHUTDOWN BY USER
    9DBCFDEE 0429161109 T O errdemon ERROR LOGGING TURNED ON
    192AC071 0429160809 T O errdemon ERROR LOGGING TURNED OFF
    AFA89905 0428202709 I O grpsvcs Group Services daemon started
    923E1911 0428202709 P S topsvcs Failed to open NIM connection
    97419D60 0428202709 I O topsvcs Topology Services daemon started
    A6DF45AA 0428202609 I O RMCdaemon The daemon is started.
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
    2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428202509 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428202509 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202509 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202509 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428202409 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428202409 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428202409 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428202309 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428202209 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202209 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428202209 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428202209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428202209 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428202209 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202209 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428202209 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428202209 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428202109 P H dac1 ARRAY OPERATION ERROR
    9DBCFDEE 0428202609 T O errdemon ERROR LOGGING TURNED ON
    AFA89905 0428195309 I O grpsvcs Group Services daemon started
    923E1911 0428195309 P S topsvcs Failed to open NIM connection
    97419D60 0428195309 I O topsvcs Topology Services daemon started
    A6DF45AA 0428195209 I O RMCdaemon The daemon is started.
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
    2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428195109 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428195009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428195009 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428195009 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428194909 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428194909 I S fscsi0 CONFIGURATION MISMATCH
    2E493F13 0428194809 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428194809 P H dac1 ARRAY OPERATION ERROR
    2E493F13 0428194809 P H dac1 ARRAY OPERATION ERROR
    1FB4FD21 0428194809 I S fscsi1 CONFIGURATION MISMATCH
    1FB4FD21 0428194809 I S fscsi1 CONFIGURATION MISMATCH
    2E493F13 0428194809 P H dac0 ARRAY OPERATION ERROR
    BFE4C025 0428194809 P H sysplanar0 UNDETERMINED ERROR
    2E493F13 0428194809 P H dac0 ARRAY OPERATION ERROR
    2E493F13 0428194809 P H dac0 ARRAY OPERATION ERROR
    1FB4FD21 0428194809 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428194809 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428194809 I S fscsi0 CONFIGURATION MISMATCH
    1FB4FD21 0428194809 I S fscsi1 CONFIGURATION MISMATCH
    E87EF1BE 0428194709 P O dumpcheck The largest dump device is too small.
    9DBCFDEE 0428195209 T O errdemon ERROR LOGGING TURNED ON
    E87EF1BE 0428150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0427150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0426150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0425150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0424150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0423150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0422150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0421150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0420150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0419150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0418150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0417150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0416150009 P O dumpcheck The largest dump device is too small.
    40E9A4E1 0415162509 P S SYSPROC SOFTWARE PROGRAM ABNORMALLY TERMINATED
    F7FA22C9 0415161309 I O SYSJ2 UNABLE TO ALLOCATE SPACE IN FILE SYSTEM
    E87EF1BE 0415150009 P O dumpcheck The largest dump device is too small.
    A6D1BD62 0415001009 I H Firmware Event
    E87EF1BE 0414150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0413150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0412150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0411150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0410150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0409150009 P O dumpcheck The largest dump device is too small.
    E87EF1BE 0408150009 P O dumpcheck The largest dump device is too small.
    C86ACB7E 0206172009 I H dac0 ARRAY CONFIGURATION CHANGED
    C86ACB7E 0206172009 I H dac0 ARRAY CONFIGURATION CHANGED
    D5385D18 0206170909 T H hdisk9 ARRAY OPERATION ERROR
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
    AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail

  • #3434

    Денис
    Участник

    cluster.log

    Jan 22 11:12:30 mvknode1-mgt daemon:notice RMCdaemon[147880]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6eKora0yDWZ5/vEI17wzz8……….
    ……….:::Reference ID: :::Template ID: a6df45aa:::Details File: :::Location: RSCT,rmcd.c,1.51,209 :::RMCD_INFO
    _0_ST The daemon is started.
    Jan 22 15:24:05 mvknode1-mgt daemon:notice RMCdaemon[172484]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6eKora0pvZZ5/vOH.7wzz8……….
    ……….:::Reference ID: :::Template ID: a6df45aa:::Details File: :::Location: RSCT,rmcd.c,1.51,209 :::RMCD_INFO
    _0_ST The daemon is started.
    Jan 22 17:16:52 mvknode1 daemon:notice RMCdaemon[131480]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6eKora0YZbZ5/ziK0b/..8…………..
    ……:::Reference ID: :::Template ID: a6df45aa:::Details File: :::Location: RSCT,rmcd.c,1.51,209 :::RMCD_INFO_0_S
    T The daemon is started.
    Jan 22 17:19:06 mvknode1 daemon:notice topsvcs[217188]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6UpNEL0ebbZ5/bQ7/b/..8…………….
    ….:::Reference ID: :::Template ID: 97419d60:::Details File: :::Location: rsct,bootstrp.C,1.204,4416 :::TS_START_ST Top
    ology Services daemon started Topology Services daemon started by: SRC Topology Services daemon log file location /var/ha/log/topsvcs.22.1719
    06.mvkhacmp1.en_US/var/ha/run/topsvcs.mvkhacmp1/ Topology Services daemon run directory /var/ha/run/topsvcs.mvkhacmp1/
    Jan 22 17:19:09 mvknode1 daemon:notice grpsvcs[204908]: (Recorded using libct_ffdc.a cv 2):::Error ID: 63Y7ej0hbbZ5/Z7x.b/..8…………….
    ….:::Reference ID: :::Template ID: afa89905:::Details File: :::Location: RSCT,pgsd.C,1.62,585 :::GS_START_ST Gro
    up Services daemon started DIAGNOSTIC EXPLANATION HAGS daemon started by SRC. Log file is /var/ha/log/grpsvcs_1_0.mvkhacmp1.
    Jan 22 17:19:15 mvknode1 local0:crit clstrmgrES[106884]: Tue Jan 22 17:19:15 CLSTR_JOIN_AUTO_START – This is the normal start request
    Jan 22 17:19:53 mvknode1 user:notice HACMP for AIX: EVENT START: node_up mvknode1
    Jan 22 17:20:09 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: node_up mvknode1 0
    Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 2
    Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 2 0
    Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_acquire mvknode1 2
    Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move mvknode1 2 ACQUIRE
    Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_service_addr
    Jan 22 17:20:12 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_aconn_service en0 net_ether_01
    Jan 22 17:20:12 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_aconn_service en0 net_ether_01 0
    Jan 22 17:20:12 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_service_addr 0
    Jan 22 17:20:15 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 2 ACQUIRE 0
    Jan 22 17:20:15 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_acquire mvknode1 2 0
    Jan 22 17:20:15 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_complete mvknode1 2
    Jan 22 17:20:16 mvknode1 user:notice HACMP for AIX: EVENT START: start_server asdb
    Jan 22 17:20:16 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: start_server asdb 0
    Jan 22 17:20:16 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_complete mvknode1 2 0
    Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 1
    Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 1 0
    Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_acquire mvknode1 1
    Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move mvknode1 1 ACQUIRE
    Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_service_addr
    Jan 22 17:20:19 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_aconn_service en0 net_ether_01
    Jan 22 17:20:19 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_aconn_service en0 net_ether_01 0
    Jan 22 17:20:19 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_service_addr 0
    Jan 22 17:20:21 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 1 ACQUIRE 0
    Jan 22 17:20:21 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_acquire mvknode1 1 0
    Jan 22 17:20:21 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_complete mvknode1 1
    “/usr/es/adm/cluster.log” 2272 lines, 251826 characters
    May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT START: rg_move mvknode1 2 RELEASE
    May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT START: stop_server asdb
    May 7 16:21:07 kisu-db user:notice HACMP for AIX: Failed to stop asdb.
    May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT FAILED: 1: stop_server asdb 1
    May 7 16:21:29 kisu-db user:notice HACMP for AIX: EVENT START: release_service_addr
    May 7 16:21:30 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: release_service_addr 0
    May 7 16:21:30 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 2 RELEASE 0
    May 7 16:21:30 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_release mvknode1 2 0
    May 7 16:21:33 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 2
    May 7 16:21:33 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 2 0
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 2
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 2 0
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_acquire mvknode1 2
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move mvknode1 2 ACQUIRE
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 2 ACQUIRE 0
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_acquire mvknode1 2 0
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_complete mvknode1 2
    May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_complete mvknode1 2 0
    May 7 16:21:37 kisu-db user:notice HACMP for AIX: EVENT START: resource_state_change_complete mvknode1
    May 7 16:21:37 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: resource_state_change_complete mvknode1 0
    May 7 16:21:40 kisu-db user:notice HACMP for AIX: EVENT START: external_resource_state_change_complete mvknode1
    May 7 16:21:40 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: external_resource_state_change_complete mvknode1 0
    ~

  • #3435

    Денис
    Участник

    hacmp.out
    May 7 16:21:35 EVENT COMPLETED: rg_move_complete mvknode1 2 0

    HACMP Event Summary
    Event: TE_RG_MOVE_ACQUIRE
    Start time: Thu May 7 16:21:35 2009

    End time: Thu May 7 16:21:35 2009

    Action: Resource: Script Name:
    —————————————————————————-
    Error encountered with group: rgdb rg_move_complete
    Search on: Thu.May.7.16:21:35.MDT.2009.rg_move_complete.rgdb.ref
    —————————————————————————-

    HACMP Event Preamble
    —————————————————————————-
    No resource state change initiated by the cluster manager as a result of this event
    —————————————————————————-

    May 7 16:21:37 EVENT START: resource_state_change_complete mvknode1

    + [[ high = high ]]
    + version=1.2
    + + cl_get_path
    HA_DIR=es
    + typeset -i STATUS=0
    + dspmsg scripts.cat 9971 This event concludes the resource group movements. Configure npre/post events to resource_state_change and resource_state_change_complete nevents to customize pre-resource group move and post-resource group nmove actions.
    This event concludes the resource group movements. Configure
    pre/post events to resource_state_change and resource_state_change_complete
    events to customize pre-resource group move and post-resource group
    move actions. + exit 0
    May 7 16:21:37 EVENT COMPLETED: resource_state_change_complete mvknode1 0

    HACMP Event Preamble
    —————————————————————————-
    No resource state change initiated by the cluster manager as a result of this event
    —————————————————————————-

    May 7 16:21:40 EVENT START: external_resource_state_change_complete mvknode1

    :external_resource_state_change_complete[+68] [[ high = high ]]
    :external_resource_state_change_complete[+68] version=1.2
    :external_resource_state_change_complete[+69] :external_resource_state_change_complete[+69] cl_get_path
    HA_DIR=es
    :external_resource_state_change_complete[+70] typeset -i STATUS=0
    :external_resource_state_change_complete[+71] typeset -i RC=0
    :external_resource_state_change_complete[+74] [[ -z ]]
    :external_resource_state_change_complete[+76] EMULATE=REAL
    :external_resource_state_change_complete[+79] set -u
    :external_resource_state_change_complete[+81] (( 1 != 1 ))
    :external_resource_state_change_complete[+88] exit 0
    May 7 16:21:40 EVENT COMPLETED: external_resource_state_change_complete mvknode1 0

  • #3451

    Дмитрий
    Участник

    Видна толпа ошибок, в том числе со стораджем.
    Вы упоминали четыре ноды, а по cldisp видно только две:
    mvknode2 OFFLINE
    mvknode1 OFFLINE
    Где остальные? В другом кластере?

    Что бы сделал я?
    Проверил состояние системы хранения данных, внимательнее почитал error log, если с СХД всё нормально – остановил HACMP и попытался вручную стартовать VG, смонтировать файловые системы и стартовать приложение.
    Наверное…

    Сервер сильно рабочий? Сочувствую.

    May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT START: stop_server asdb
    May 7 16:21:07 kisu-db user:notice HACMP for AIX: Failed to stop asdb.
    May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT FAILED: 1: stop_server asdb 1
    May 7 16:21:29 kisu-db user:notice HACMP for AIX: EVENT START: release_service_addr

    Думаю, причина в том, что приложение не смогло корректно остановиться.
    До этого выключать узлы shutdown -F пробовали? Всё работало?

  • #3457

    Андрей
    Участник

    По поводу одинаковых имен нод есть такое предположение:
    При остановке серверов, не были остановлены приложения и сервисы HACMP, т.е при shutdown-е (скорее всего первой команду дали на апсовой ноде) кластер начал перемещение ресурсных групп. Обычно в скриптах при переезде меняют имя ноды, на которую перемещаются апсы (для их корректной работы). При возвращении группы апсов на домашнюю ноду, в скриптах опять же обратно меняется имя ноды, на которой они были. В данном случае, видимо этого не произошло, т.к. останов был всех разделов (+ с ошибками).
    1) Имя ноды и хоста поменять можно принудительно для начала (командами uname и hostname).
    2) Проверить скрипты для старта/стопа/переезда RG.
    3) Проверить конфигурацию и доступность дисковых ресурсов (что-то там не так с конфигурацией SAN).
    4) Как и написал уже Дмитрий – запустить разделы и, не стартовав HACMP, самостоятельно попытаться активировать VG, смонтировать FS. Посмотреть что получится. Только предварительно проверить где и какие VG должны быть и какие диски видны.
    5) Если все удачно пройдет – проделать то же самое, но с запуском HACMP.

  • #3467

    Дмитрий
    Участник

    По именам хостов – согласен с blackbat.

  • #3468

    Денис
    Участник

    Всем спасибо! Проблему решили. Ошибка была в конфиг файлах загрузки (ссылка на несуществуюий скрипт). Загрузка спотыкалась на этом шаге. Конфигфайл поправили, машина заработала.

Для ответа в этой теме необходимо авторизоваться.