Проблемы с монтированием файловых систем после выключения сервера

Главная Форумы POWER Systems AIX/Hardware Проблемы с монтированием файловых систем после выключения сервера

Просмотр 14 веток ответов
  • Автор
    Сообщения
    • #3412
      Денис
      Участник

      Добрый день (вечер) !
      Подскажите пожалуйста, как решить проблему с автоматическим монтированием файловых систем после выключения сервера.
      Два сервера Power6 поделены пополам каждый. В серверной меняли автомат, севера погасили штатно, через shutdown -F. После старта всех четырех нод обнаружилось, что файловые системы (с базами) примонтировались только ко двум нодам, принадлежащим к разным физическим машинам. Две другие ноды остались без нужных мне файловых систем ( монтированы только /usr /home /proc /opt). Причем на обоих “голых” нодах uname -a показывает одно и то же имя хоста. Переименование хостов с последующим ребутом не помогло. В /etc/filesystems требуемые ФС упоминаются. Попытка примонтировать их вручную не удается.

    • #3414
      Денис
      Участник

      Монитор дискового массива показывет что диски живы, разрушений нет. Сервера дисковый массив “видят”, пинг до него идет

    • #3415
      ksn
      Участник

      Я в этих вопросах не силен(т.к. пока опыта маловато), но свои мысли озвучу 🙂
      Для знающих людей нужно знать хотя бы конфигурацию системы.

      Под фразой “сервер пополам” вы имеете ввиду две LPAR-ы на каждом сервере ?

      Если это БД и 4 LPAR-ы могу предоположить, что на первом сервере лпары prod_main stby_fail, на втором сервере prod_fail и stby_main.

      Прозвучало слова node , значит у вас настроен HACMP ?

      Как файловые системы видятся на серверах – подымается ресурсная группа ?
      Если так то ФС смонтированна может быть только на одной ноде HACMP, a на другой ноде должны быть видны только сами диски PV с такими же PVID.

      Определитесь сперва видны ли диски на второй ноде.

      Вообщем нужно больше информации.
      p.s. возможно у вас конечно настроенна GPFS, но я с таким дел не имел:)

    • #3417
      Денис
      Участник

      HACMP – конечно-же настроен
      сервер пополам – сервера поделены по 2 лпары на каждом
      диски видны – Storage откликается на пинг с ноды

    • #3418
      ksn
      Участник

      Возможно я что-то путаю,но
      Если у вас не настроен GPFS, то как вы одну и ту же ФС хотите одновременно увидеть на обоих нодах ?

      Я бы сперва убедился выполнив lspv на всех нодах кластера , что видны все диски (сверив их PVID )

      Проверил бы состояние ресурсной группы, в On-line ли она и на какой ноде /usr/es/sbin/cluster/clstat

    • #3419
      Денис
      Участник

      Нет, все не так, файловые системы должны смонтироваться разные на одну ноду – ФС с базой , на другую ФС сервера приложений, они на разных нодах монтировались раньше.
      каждая из нод пытается именоваться одним именем

    • #3421
      Денис
      Участник

      текущее состояние HACMP

      [MORE…25]

      Network Name: net_diskhb_01 State: DOWN

      Network Name: net_ether_01 State: DOWN

      Address: 10.0.0.104 Label: mvknode2-b1 State: DOWN
      Address: 10.0.1.104 Label: mvknode2-b2 State: DOWN

      Network Name: net_ether_02 State: DOWN

      Address: 10.255.255.10 Label: mvknode2 State: DOWN

      Cluster Name: mvkhacmp1

      Resource Group Name: rgdb
      Startup Policy: Online On Home Node Only
      Fallover Policy: Fallover To Next Priority Node In The List
      Fallback Policy: Never Fallback
      Site Policy: ignore
      Node Group State
      —————————- —————
      mvknode1 ERROR
      mvknode2 OFFLINE

      Resource Group Name: rgapps
      Startup Policy: Online On Home Node Only
      Fallover Policy: Fallover To Next Priority Node In The List
      Fallback Policy: Never Fallback
      Site Policy: ignore
      Node Group State
      —————————- —————
      mvknode2 OFFLINE
      mvknode1 OFFLINE

      [BOTTOM]
      COMMAND STATUS

      Command: OK stdout: yes stderr: no

      Before command completion, additional instructions may appear below.

      [TOP]

      Obtaining information via SNMP from Node: mvknode1…

      _____________________________________________________________________________
      Cluster Name: mvkhacmp1
      Cluster State: UP
      Cluster Substate: STABLE
      _____________________________________________________________________________

      Node Name: mvknode1 State: UP

      Network Name: net_diskhb_01 State: UP

      Address: Label: mvknode1_hdisk9_01 State: UP

      Network Name: net_ether_01 State: UP

      Address: 10.0.0.103 Label: mvknode1-b1 State: UP
      Address: 10.0.1.103 Label: mvknode1-b2 State: UP

      Network Name: net_ether_02 State: UP

      Address: 10.255.255.9 Label: mvknode1 State: UP

      Node Name: mvknode2 State: DOWN

      Network Name: net_diskhb_01 State: DOWN

      Network Name: net_ether_01 State: DOWN

      Address: 10.0.0.104 Label: mvknode2-b1 State: DOWN
      Address: 10.0.1.104 Label: mvknode2-b2 State: DOWN
      [MORE…28]

    • #3429
      Дмитрий
      Участник

      >mvknode1 ERROR

      Смотрим errpt, cluster.log, hacmp.out.

      А по этим данным ничего не скажешь.

    • #3433
      Денис
      Участник

      errpt

      9DBCFDEE 0505205709 T O errdemon ERROR LOGGING TURNED ON
      192AC071 0505205409 T O errdemon ERROR LOGGING TURNED OFF
      AFA89905 0505200309 I O grpsvcs Group Services daemon started
      97419D60 0505200309 I O topsvcs Topology Services daemon started
      A6DF45AA 0505200309 I O RMCdaemon The daemon is started.
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0505200309 P S console SOFTWARE PROGRAM ERROR
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0505200209 I S fscsi1 CONFIGURATION MISMATCH
      2BFA76F6 0505200109 T S SYSPROC SYSTEM SHUTDOWN BY USER
      9DBCFDEE 0505200309 T O errdemon ERROR LOGGING TURNED ON
      192AC071 0505185609 T O errdemon ERROR LOGGING TURNED OFF
      6D19271E 0505185109 I O topsvcs Topology Services daemon stopped
      28854E81 0505185009 I O grpsvcs Group Services daemon stopped
      99FA80C7 0505185009 U S haemd SOFTWARE
      AA8AB241 0505185009 T O OPERATOR OPERATOR NOTIFICATION
      BC3BE5A3 0505185009 P S SRC SOFTWARE PROGRAM ERROR
      573790AA 0504140009 I O RMCdaemon The default log file has been changed.
      AFA89905 0429161209 I O grpsvcs Group Services daemon started
      97419D60 0429161209 I O topsvcs Topology Services daemon started
      A6DF45AA 0429161109 I O RMCdaemon The daemon is started.
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0429161109 P S console SOFTWARE PROGRAM ERROR
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0429161009 I S fscsi0 CONFIGURATION MISMATCH
      2BFA76F6 0429161009 T S SYSPROC SYSTEM SHUTDOWN BY USER
      9DBCFDEE 0429161109 T O errdemon ERROR LOGGING TURNED ON
      192AC071 0429160809 T O errdemon ERROR LOGGING TURNED OFF
      AFA89905 0428202709 I O grpsvcs Group Services daemon started
      923E1911 0428202709 P S topsvcs Failed to open NIM connection
      97419D60 0428202709 I O topsvcs Topology Services daemon started
      A6DF45AA 0428202609 I O RMCdaemon The daemon is started.
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428202609 P S console SOFTWARE PROGRAM ERROR
      2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202509 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428202509 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428202509 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202509 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202509 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428202409 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428202409 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202409 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428202409 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428202409 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428202409 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428202309 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202309 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428202209 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202209 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428202209 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428202209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428202209 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428202209 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202209 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428202209 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428202209 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428202209 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428202109 P H dac1 ARRAY OPERATION ERROR
      9DBCFDEE 0428202609 T O errdemon ERROR LOGGING TURNED ON
      AFA89905 0428195309 I O grpsvcs Group Services daemon started
      923E1911 0428195309 P S topsvcs Failed to open NIM connection
      97419D60 0428195309 I O topsvcs Topology Services daemon started
      A6DF45AA 0428195209 I O RMCdaemon The daemon is started.
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      7F88E76D 0428195209 P S console SOFTWARE PROGRAM ERROR
      2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428195109 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428195109 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428195009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428195009 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428195009 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428195009 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428195009 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428195009 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428194909 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428194909 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428194909 I S fscsi0 CONFIGURATION MISMATCH
      2E493F13 0428194809 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428194809 P H dac1 ARRAY OPERATION ERROR
      2E493F13 0428194809 P H dac1 ARRAY OPERATION ERROR
      1FB4FD21 0428194809 I S fscsi1 CONFIGURATION MISMATCH
      1FB4FD21 0428194809 I S fscsi1 CONFIGURATION MISMATCH
      2E493F13 0428194809 P H dac0 ARRAY OPERATION ERROR
      BFE4C025 0428194809 P H sysplanar0 UNDETERMINED ERROR
      2E493F13 0428194809 P H dac0 ARRAY OPERATION ERROR
      2E493F13 0428194809 P H dac0 ARRAY OPERATION ERROR
      1FB4FD21 0428194809 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428194809 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428194809 I S fscsi0 CONFIGURATION MISMATCH
      1FB4FD21 0428194809 I S fscsi1 CONFIGURATION MISMATCH
      E87EF1BE 0428194709 P O dumpcheck The largest dump device is too small.
      9DBCFDEE 0428195209 T O errdemon ERROR LOGGING TURNED ON
      E87EF1BE 0428150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0427150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0426150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0425150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0424150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0423150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0422150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0421150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0420150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0419150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0418150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0417150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0416150009 P O dumpcheck The largest dump device is too small.
      40E9A4E1 0415162509 P S SYSPROC SOFTWARE PROGRAM ABNORMALLY TERMINATED
      F7FA22C9 0415161309 I O SYSJ2 UNABLE TO ALLOCATE SPACE IN FILE SYSTEM
      E87EF1BE 0415150009 P O dumpcheck The largest dump device is too small.
      A6D1BD62 0415001009 I H Firmware Event
      E87EF1BE 0414150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0413150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0412150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0411150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0410150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0409150009 P O dumpcheck The largest dump device is too small.
      E87EF1BE 0408150009 P O dumpcheck The largest dump device is too small.
      C86ACB7E 0206172009 I H dac0 ARRAY CONFIGURATION CHANGED
      C86ACB7E 0206172009 I H dac0 ARRAY CONFIGURATION CHANGED
      D5385D18 0206170909 T H hdisk9 ARRAY OPERATION ERROR
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304150308 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail
      AB59ABFF 0304144008 U U LIBLVM Remote node Concurrent Volume Group fail

    • #3434
      Денис
      Участник

      cluster.log

      Jan 22 11:12:30 mvknode1-mgt daemon:notice RMCdaemon[147880]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6eKora0yDWZ5/vEI17wzz8……….
      ……….:::Reference ID: :::Template ID: a6df45aa:::Details File: :::Location: RSCT,rmcd.c,1.51,209 :::RMCD_INFO
      _0_ST The daemon is started.
      Jan 22 15:24:05 mvknode1-mgt daemon:notice RMCdaemon[172484]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6eKora0pvZZ5/vOH.7wzz8……….
      ……….:::Reference ID: :::Template ID: a6df45aa:::Details File: :::Location: RSCT,rmcd.c,1.51,209 :::RMCD_INFO
      _0_ST The daemon is started.
      Jan 22 17:16:52 mvknode1 daemon:notice RMCdaemon[131480]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6eKora0YZbZ5/ziK0b/..8…………..
      ……:::Reference ID: :::Template ID: a6df45aa:::Details File: :::Location: RSCT,rmcd.c,1.51,209 :::RMCD_INFO_0_S
      T The daemon is started.
      Jan 22 17:19:06 mvknode1 daemon:notice topsvcs[217188]: (Recorded using libct_ffdc.a cv 2):::Error ID: 6UpNEL0ebbZ5/bQ7/b/..8…………….
      ….:::Reference ID: :::Template ID: 97419d60:::Details File: :::Location: rsct,bootstrp.C,1.204,4416 :::TS_START_ST Top
      ology Services daemon started Topology Services daemon started by: SRC Topology Services daemon log file location /var/ha/log/topsvcs.22.1719
      06.mvkhacmp1.en_US/var/ha/run/topsvcs.mvkhacmp1/ Topology Services daemon run directory /var/ha/run/topsvcs.mvkhacmp1/
      Jan 22 17:19:09 mvknode1 daemon:notice grpsvcs[204908]: (Recorded using libct_ffdc.a cv 2):::Error ID: 63Y7ej0hbbZ5/Z7x.b/..8…………….
      ….:::Reference ID: :::Template ID: afa89905:::Details File: :::Location: RSCT,pgsd.C,1.62,585 :::GS_START_ST Gro
      up Services daemon started DIAGNOSTIC EXPLANATION HAGS daemon started by SRC. Log file is /var/ha/log/grpsvcs_1_0.mvkhacmp1.
      Jan 22 17:19:15 mvknode1 local0:crit clstrmgrES[106884]: Tue Jan 22 17:19:15 CLSTR_JOIN_AUTO_START – This is the normal start request
      Jan 22 17:19:53 mvknode1 user:notice HACMP for AIX: EVENT START: node_up mvknode1
      Jan 22 17:20:09 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: node_up mvknode1 0
      Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 2
      Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 2 0
      Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_acquire mvknode1 2
      Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move mvknode1 2 ACQUIRE
      Jan 22 17:20:11 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_service_addr
      Jan 22 17:20:12 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_aconn_service en0 net_ether_01
      Jan 22 17:20:12 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_aconn_service en0 net_ether_01 0
      Jan 22 17:20:12 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_service_addr 0
      Jan 22 17:20:15 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 2 ACQUIRE 0
      Jan 22 17:20:15 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_acquire mvknode1 2 0
      Jan 22 17:20:15 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_complete mvknode1 2
      Jan 22 17:20:16 mvknode1 user:notice HACMP for AIX: EVENT START: start_server asdb
      Jan 22 17:20:16 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: start_server asdb 0
      Jan 22 17:20:16 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_complete mvknode1 2 0
      Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 1
      Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 1 0
      Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_acquire mvknode1 1
      Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move mvknode1 1 ACQUIRE
      Jan 22 17:20:18 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_service_addr
      Jan 22 17:20:19 mvknode1 user:notice HACMP for AIX: EVENT START: acquire_aconn_service en0 net_ether_01
      Jan 22 17:20:19 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_aconn_service en0 net_ether_01 0
      Jan 22 17:20:19 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: acquire_service_addr 0
      Jan 22 17:20:21 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 1 ACQUIRE 0
      Jan 22 17:20:21 mvknode1 user:notice HACMP for AIX: EVENT COMPLETED: rg_move_acquire mvknode1 1 0
      Jan 22 17:20:21 mvknode1 user:notice HACMP for AIX: EVENT START: rg_move_complete mvknode1 1
      “/usr/es/adm/cluster.log” 2272 lines, 251826 characters
      May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT START: rg_move mvknode1 2 RELEASE
      May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT START: stop_server asdb
      May 7 16:21:07 kisu-db user:notice HACMP for AIX: Failed to stop asdb.
      May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT FAILED: 1: stop_server asdb 1
      May 7 16:21:29 kisu-db user:notice HACMP for AIX: EVENT START: release_service_addr
      May 7 16:21:30 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: release_service_addr 0
      May 7 16:21:30 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 2 RELEASE 0
      May 7 16:21:30 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_release mvknode1 2 0
      May 7 16:21:33 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 2
      May 7 16:21:33 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 2 0
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_fence mvknode1 2
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_fence mvknode1 2 0
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_acquire mvknode1 2
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move mvknode1 2 ACQUIRE
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move mvknode1 2 ACQUIRE 0
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_acquire mvknode1 2 0
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT START: rg_move_complete mvknode1 2
      May 7 16:21:35 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: rg_move_complete mvknode1 2 0
      May 7 16:21:37 kisu-db user:notice HACMP for AIX: EVENT START: resource_state_change_complete mvknode1
      May 7 16:21:37 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: resource_state_change_complete mvknode1 0
      May 7 16:21:40 kisu-db user:notice HACMP for AIX: EVENT START: external_resource_state_change_complete mvknode1
      May 7 16:21:40 kisu-db user:notice HACMP for AIX: EVENT COMPLETED: external_resource_state_change_complete mvknode1 0
      ~

    • #3435
      Денис
      Участник

      hacmp.out
      May 7 16:21:35 EVENT COMPLETED: rg_move_complete mvknode1 2 0

      HACMP Event Summary
      Event: TE_RG_MOVE_ACQUIRE
      Start time: Thu May 7 16:21:35 2009

      End time: Thu May 7 16:21:35 2009

      Action: Resource: Script Name:
      —————————————————————————-
      Error encountered with group: rgdb rg_move_complete
      Search on: Thu.May.7.16:21:35.MDT.2009.rg_move_complete.rgdb.ref
      —————————————————————————-

      HACMP Event Preamble
      —————————————————————————-
      No resource state change initiated by the cluster manager as a result of this event
      —————————————————————————-

      May 7 16:21:37 EVENT START: resource_state_change_complete mvknode1

      + [[ high = high ]]
      + version=1.2
      + + cl_get_path
      HA_DIR=es
      + typeset -i STATUS=0
      + dspmsg scripts.cat 9971 This event concludes the resource group movements. Configure npre/post events to resource_state_change and resource_state_change_complete nevents to customize pre-resource group move and post-resource group nmove actions.
      This event concludes the resource group movements. Configure
      pre/post events to resource_state_change and resource_state_change_complete
      events to customize pre-resource group move and post-resource group
      move actions. + exit 0
      May 7 16:21:37 EVENT COMPLETED: resource_state_change_complete mvknode1 0

      HACMP Event Preamble
      —————————————————————————-
      No resource state change initiated by the cluster manager as a result of this event
      —————————————————————————-

      May 7 16:21:40 EVENT START: external_resource_state_change_complete mvknode1

      :external_resource_state_change_complete[+68] [[ high = high ]]
      :external_resource_state_change_complete[+68] version=1.2
      :external_resource_state_change_complete[+69] :external_resource_state_change_complete[+69] cl_get_path
      HA_DIR=es
      :external_resource_state_change_complete[+70] typeset -i STATUS=0
      :external_resource_state_change_complete[+71] typeset -i RC=0
      :external_resource_state_change_complete[+74] [[ -z ]]
      :external_resource_state_change_complete[+76] EMULATE=REAL
      :external_resource_state_change_complete[+79] set -u
      :external_resource_state_change_complete[+81] (( 1 != 1 ))
      :external_resource_state_change_complete[+88] exit 0
      May 7 16:21:40 EVENT COMPLETED: external_resource_state_change_complete mvknode1 0

    • #3451
      Дмитрий
      Участник

      Видна толпа ошибок, в том числе со стораджем.
      Вы упоминали четыре ноды, а по cldisp видно только две:
      mvknode2 OFFLINE
      mvknode1 OFFLINE
      Где остальные? В другом кластере?

      Что бы сделал я?
      Проверил состояние системы хранения данных, внимательнее почитал error log, если с СХД всё нормально – остановил HACMP и попытался вручную стартовать VG, смонтировать файловые системы и стартовать приложение.
      Наверное…

      Сервер сильно рабочий? Сочувствую.

      May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT START: stop_server asdb
      May 7 16:21:07 kisu-db user:notice HACMP for AIX: Failed to stop asdb.
      May 7 16:21:07 kisu-db user:notice HACMP for AIX: EVENT FAILED: 1: stop_server asdb 1
      May 7 16:21:29 kisu-db user:notice HACMP for AIX: EVENT START: release_service_addr

      Думаю, причина в том, что приложение не смогло корректно остановиться.
      До этого выключать узлы shutdown -F пробовали? Всё работало?

    • #3457
      Андрей
      Участник

      По поводу одинаковых имен нод есть такое предположение:
      При остановке серверов, не были остановлены приложения и сервисы HACMP, т.е при shutdown-е (скорее всего первой команду дали на апсовой ноде) кластер начал перемещение ресурсных групп. Обычно в скриптах при переезде меняют имя ноды, на которую перемещаются апсы (для их корректной работы). При возвращении группы апсов на домашнюю ноду, в скриптах опять же обратно меняется имя ноды, на которой они были. В данном случае, видимо этого не произошло, т.к. останов был всех разделов (+ с ошибками).
      1) Имя ноды и хоста поменять можно принудительно для начала (командами uname и hostname).
      2) Проверить скрипты для старта/стопа/переезда RG.
      3) Проверить конфигурацию и доступность дисковых ресурсов (что-то там не так с конфигурацией SAN).
      4) Как и написал уже Дмитрий – запустить разделы и, не стартовав HACMP, самостоятельно попытаться активировать VG, смонтировать FS. Посмотреть что получится. Только предварительно проверить где и какие VG должны быть и какие диски видны.
      5) Если все удачно пройдет – проделать то же самое, но с запуском HACMP.

    • #3467
      Дмитрий
      Участник

      По именам хостов – согласен с blackbat.

    • #3468
      Денис
      Участник

      Всем спасибо! Проблему решили. Ошибка была в конфиг файлах загрузки (ссылка на несуществуюий скрипт). Загрузка спотыкалась на этом шаге. Конфигфайл поправили, машина заработала.

Просмотр 14 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.