HACMP воросы

Главная Форумы POWER Systems AIX/Hardware HACMP воросы

Просмотр 26 веток ответов
  • Автор
    Сообщения
    • #2253
      kir
      Хранитель

      Интересную вещь получаю:
      При shutdown ресурсная группа переезжает на другую ноду, при reboot переезда нет.
      Читал, что если интерфейс на котором висит сервисный ipa становится недоступным, сервисная IPA переезжает на другой интерфейс внутри узла и приложение остается работать. Отстреливаю интерфейс, но переезда нет.

    • #2257
      _KIRill
      Хранитель

      cltopinfo в студию

      ---As If, But Not---

    • #2262
      kir
      Хранитель

      Cluster Name: cl00
      Cluster Connection Authentication Mode: Standard
      Cluster Message Authentication Mode: None
      Cluster Message Encryption: None
      Use Persistent Labels for Communication: No
      There are 2 node(s) and 3 network(s) defined

      NODE node65:
      Network net_diskhb_01
      Network net_diskhb_02
      node65_hdisk3_01 /dev/hdisk3
      Network net_ether_01
      sapnode 172.17.221.166
      epboot1 192.168.10.65
      epboot2 192.168.20.65

      NODE node66:
      Network net_diskhb_01
      Network net_diskhb_02
      node66_hdisk3_01 /dev/hdisk3
      Network net_ether_01
      sapnode 172.17.221.166
      dbboot2 192.168.20.66
      dbboot1 192.168.10.66

      Resource Group ep_rg
      Startup Policy Online On Home Node Only
      Fallover Policy Fallover To Next Priority Node In The List
      Fallback Policy Fallback To Higher Priority Node In The List
      Participating Nodes node66 node65
      Service IP Label sapnode

    • #2268
      Дмитрий
      Участник

      Поведение по-умолчанию при shutdown – graceful stop WITHOUT takeover. Т.е. переезжать не должно.
      Значит, кто-то это поведение модифицировал.
      Проверьте, нет ли случайно скрипта
      /etc/rc.shutdown

      Как Вы “отстреливаете” интерфейс?
      Посмотрите файл hacmp.out. Что в нём рисуется секунд серез 10-20 после “отстрела”?

    • #2305
      kir
      Хранитель

      rmdev -dl en1

    • #2307
      Дмитрий
      Участник

      А если ifconfig en1 down попробовать?
      Что-то я смутно помню, что HACMP шибко умный стал и сам сеть обратно поднимает, но может и путаю…

      Так что в hacmp.out?

    • #2310
      _KIRill
      Хранитель

      Не поднимает. Как всегда SVC IP на другом интерфейсе поднимает. По крайней мере после ifconfig xxx down.

      ---As If, But Not---

    • #2314
      Дмитрий
      Участник

      так или иначе, правильный ответ – в логах hacmp.out и RSCT.

    • #2375
      kir
      Хранитель

      А если ifconfig en1 down попробовать?
      То переезжает, все нормально.

    • #2376
      kir
      Хранитель

      Сегодня пытался переместить ресурсную группу с одного узла на другой, причем файловые системы которые переносятся смонтированы на хост, на которые происходит перенос. В итоге на главном хосте ресурсная группа OFFLINE, а на резервном в ONLINE не перешла.
      Ругнулся смотрите hacmp.out, но ничего критичного я там не заметил.

      Attachments:
    • #2379
      Дмитрий
      Участник

      ??? причем файловые системы которые переносятся смонтированы на хост, на которые происходит перенос

      Не понял… Что куда смонтировано?

      И hacmp.out неплохо посмотреть-бы

    • #2380
      kir
      Хранитель

      Я пытался прикрепить архив в сове прошлое сообщение, но выдало предупреждение на максимальный размер вложения в 100kb, может увеличите?
      По поводу файловых систем:
      0. Ресурсная группа содержит каталоги NFS
      1. Хост1 шарит по NFS каталоги
      2. Хост2 монтирует эти каталоги
      3. После перемещения ресурсной группы с Хоста1 на Хост2, есть подозрение, что перемещения не происходит из-за невозможности размонтировать NFS ресурсы от Хоста2.

    • #2386
      kir
      Хранитель

      Еще не могу понять, как HACMP поступает с /etc/filesystems
      Если я его сделал один раз и вручную все стартует нормально, то в случае с кластером наблюдаю периодически что он правит /etc/filesystems по своему усмотрению..и в итоге не все запускается.
      Не все монтируется.

    • #2387
      Дмитрий
      Участник

      Интересно… Про NFS поподробнее, пожалуйста.
      Вы пункты 0+1+2 сделали средствами HACMP (NFS cross-mount) или самостоятельно?
      Что там у Вас в ресурсах ресурсной группы нарисовано?

      Насчёт 100к – попробуйте zip. Кстати, лог за последние пол-года не нужен 🙂

    • #2392
      kir
      Хранитель

      136kb это в зазипованном виде, лог за последние 3 дня, данных в нем много ибо каждый день, тестируем.

    • #2395
      Дмитрий
      Участник

      Покажите список ресурсов в группе и записи в журнале в момент переезда ресурсной группы

    • #2625
      kir
      Хранитель

      ep_rg:cl_activate_nfs[25] [[ /export/sapmnt/NPP == /export/usr/sap/trans ]]
      ep_rg:cl_activate_nfs[23] read node node_fs lcl_mount rest
      ep_rg:cl_activate_nfs[36] grep ^/export/usr/sap/trans:
      ep_rg:cl_activate_nfs[36] cut -d: -f7
      ep_rg:cl_activate_nfs[36] lsfs -c -v nfs
      ep_rg:cl_activate_nfs[36] OPTIONS=”
      ep_rg:cl_activate_nfs[38] [[ -z ” ]]
      ep_rg:cl_activate_nfs[44] OPTIONS=soft,intr
      ep_rg:cl_activate_nfs[63] [[ sequential == sequential ]]
      ep_rg:cl_activate_nfs[65] print soft,intr
      ep_rg:cl_activate_nfs[65] sed s/bg/fg/g
      ep_rg:cl_activate_nfs[65] OPTIONS=soft,intr
      ep_rg:cl_activate_nfs[66] let LIMIT+=4
      ep_rg:cl_activate_nfs[72] (( TRIES=0))
      ep_rg:cl_activate_nfs[72] (( TRIES<LIMIT))
      ep_rg:cl_activate_nfs[75] [[ REAL == EMUL ]]
      ep_rg:cl_activate_nfs[83] mount -o soft,intr sapnode:/usr/sap/trans /export/usr/
      sap/trans
      mount: access denied for sapnode:/usr/sap/trans
      mount: giving up on:
      sapnode:/usr/sap/trans
      Permission denied
      ep_rg:cl_activate_nfs[86] (( 1 == 0 ))
      ep_rg:cl_activate_nfs[96] (( TRIES+1<LIMIT ))
      ep_rg:cl_activate_nfs[101] cl_echo 18 'cl_activate_nfs: mount of sapnode:/usr/sa
      p/trans failed again, still re-tryingn' cl_activate_nfs sapnode /usr/sap/trans
      ep_rg:cl_echo[49] version=1.13
      ep_rg:cl_echo[98] HACMP_OUT_FILE=/tmp/hacmp.out
      Mar 18 2009 12:33:51 cl_activate_nfs: mount of sapnode:/usr/sap/trans failed aga
      in, still re-trying

      Mar 18 12:34:00 EVENT START: config_too_long 360 /usr/es/sbin/cluster/events/rg_
      move.rp
      p_rg:cl_activate_nfs[72] (( TRIES<LIMIT))
      ep_rg:cl_activate_nfs[75] [[ REAL == EMUL ]]
      ep_rg:cl_activate_nfs[83] mount -o soft,intr sapnode:/usr/sap/trans /export/usr/
      sap/trans
      mount: access denied for sapnode:/usr/sap/trans
      mount: giving up on:
      sapnode:/usr/sap/trans
      Permission denied
      ep_rg:cl_activate_nfs[86] (( 1 == 0 ))
      ep_rg:cl_activate_nfs[96] (( TRIES+1<LIMIT ))
      ep_rg:cl_activate_nfs[101] cl_echo 18 'cl_activate_nfs: mount of sapnode:/usr/sa
      p/trans failed again, still re-tryingn' cl_activate_nfs sapnode /usr/sap/trans
      ep_rg:cl_echo[49] version=1.13
      ep_rg:cl_echo[98] HACMP_OUT_FILE=/tmp/hacmp.out
      Mar 18 2009 12:34:21 cl_activate_nfs: mount of sapnode:/usr/sap/trans failed aga
      in, still re-trying
      WARNING: Cluster cl00 has been running recovery program '/usr/es/sbin/cluster/ev
      ents/rg_move.rp' for 390 seconds. Please check cluster status.

    • #2630
      kir
      Хранитель

      Resource Group Name ep_rg
      Participating Node Name(s) node66 node65
      Startup Policy Online On Home Node Only
      Fallover Policy Fallover To Next Priority Node In
      The List
      Fallback Policy Fallback To Higher Priority Node
      In The List
      Site Relationship ignore
      Dynamic Node Priority
      Service IP Label sapnode
      Filesystems /export/sapmnt/NPP /export/sapmnt
      /NWP /export/usr/sap/trans /oracle/NPP /usr/sap/NPP/SCS22 /usr/sap/NWP
      Filesystems Consistency Check fsck
      Filesystems Recovery Method sequential
      Filesystems/Directories to be exported /export/sapmnt/NPP /export/usr/sa
      p/trans
      Filesystems to be NFS mounted /sapmnt/NPP;/export/sapmnt/NPP /u
      sr/sap/trans;/export/usr/sap/trans
      Network For NFS Mount
      Volume Groups sapvg oravg
      Concurrent Volume Groups
      Use forced varyon for volume groups, if necessary false
      Disks
      GMD Replicated Resources
      PPRC Replicated Resources
      ERCMF Replicated Resources
      SVC PPRC Replicated Resources
      Connections Services
      Fast Connect Services
      Shared Tape Resources
      Application Servers sap-portal
      Highly Available Communication Links
      Primary Workload Manager Class
      Secondary Workload Manager Class
      Delayed Fallback Timer
      Miscellaneous Data
      Automatically Import Volume Groups false
      Inactive Takeover
      SSA Disk Fencing false
      Filesystems mounted before IP configured true
      Run Time Parameters:

      Node Name node66
      Debug Level high
      Format for hacmp.out Standard

      Node Name node65
      Debug Level high
      Format for hacmp.out Standard

    • #2631
      kir
      Хранитель

      WARNING: Cluster cl00 has been running recovery program ‘/usr/es/sbin/cluster/events/node_up.rp’ for 360 seconds. Please check cluster status.
      ep_rg:cl_activate_nfs[102] sleep 30
      ep_rg:cl_activate_nfs[72] ((TRIES++ ))
      ep_rg:cl_activate_nfs[72] (( TRIES<LIMIT))
      ep_rg:cl_activate_nfs[75] [[ REAL == EMUL ]]
      ep_rg:cl_activate_nfs[83] mount -o soft,intr sapnode:/export/sapmnt/NPP /sapmnt/NPP
      nfsmnthelp: sapnode: Item is not local to host
      mount: giving up on:
      sapnode:/export/sapmnt/NPP
      Item is not local to host
      ep_rg:cl_activate_nfs[86] (( 1 == 0 ))
      ep_rg:cl_activate_nfs[96] (( TRIES+1<LIMIT ))
      ep_rg:cl_activate_nfs[72] ((TRIES++ ))
      ep_rg:cl_activate_nfs[72] (( TRIES<LIMIT))
      ep_rg:cl_activate_nfs[110] cl_echo 19 'cl_activate_nfs: Failed mount of sapnode:/export/sapmnt/NPP.n' cl_activate_nfs sapnode /export/sapmnt/NPP
      ep_rg:cl_echo[49] version=1.13
      ep_rg:cl_echo[98] HACMP_OUT_FILE=/tmp/hacmp.out
      Mar 18 2009 16:44:50 cl_activate_nfs: Failed mount of sapnode:/export/sapmnt/NPP.
      ep_rg:cl_activate_nfs[111] return 1
      ep_rg:cl_activate_nfs[279] [[ TRUE == TRUE ]]
      ep_rg:cl_activate_nfs[296] filesystem=/export/usr/sap/trans
      ep_rg:cl_activate_nfs[297] mountpoint=/usr/sap/trans
      ep_rg:cl_activate_nfs[314] [[ sequential == sequential ]]
      ep_rg:cl_activate_nfs[316] nfs_mount 1 sapnode /export/usr/sap/trans /usr/sap/trans
      ep_rg:cl_activate_nfs[5] (( 4 != 4 ))
      ep_rg:cl_activate_nfs[14] LIMIT=1
      ep_rg:cl_activate_nfs[14] typeset -i LIMIT
      ep_rg:cl_activate_nfs[15] HOST=sapnode
      ep_rg:cl_activate_nfs[16] FileSystem=/export/usr/sap/trans
      ep_rg:cl_activate_nfs[17] MountPoint=/usr/sap/trans
      ep_rg:cl_activate_nfs[22] mount
      ep_rg:cl_activate_nfs[23] read node node_fs lcl_mount rest
      ep_rg:cl_activate_nfs[25] [[ mounted == /usr/sap/trans ]]
      ep_rg:cl_activate_nfs[23] read node node_fs lcl_mount rest
      ep_rg:cl_activate_nfs[25] [[ ————— == /usr/sap/trans ]]
      ep_rg:cl_activate_nfs[23] read node node_fs lcl_mount rest
      ep_rg:cl_activate_nfs[25] [[ jfs2 == /usr/sap/trans ]]
      ep_rg:cl_activate_nfs[23] read node node_fs lcl_mount rest
      ep_rg:cl_activate_nfs[25] [[ jfs2 == /usr/sap/trans ]]
      ep_rg:cl_activate_nfs[23] read node node_fs lcl_mount rest
      ep_rg:cl_activate_nfs[25] [[ jfs2 == /usr/sap/trans ]]

    • #2632
      kir
      Хранитель

      Насколько я понимаю NFS crossmount делается так:
      node1# mount /dev/usrsaptrans /export/usr/sap/trans //локально монтируем шару на Node1
      node1# exportfs -i /export/usr/sap/trans //экспортируем шару всем узлам и себе
      node1# mount -o soft,intr sapnode:/export/usr/sap/trans /usr/sap/trans // монтируем шару по NFS на своем же узле
      node2# mount -o soft,intr sapnode:/export/usr/sap/trans /usr/sap/trans // монтируем шару по NFS на удаленно узле
      Все эти же действия должен выполнять HACMP.
      Единственное но, это то что если ресурсная группа 1 и запущенна на node1, то монтировать либо вручную на другом узле, либо воткнуть монтирование в скрипт запуска и через rsh смонтировать.
      Другой вариант создать 2-ую ресурсную группу, и уже монтировать шару как ресурс этой группы.
      Не могу найти ошибку где неправильно что забил, если при переездах ресурсной группы между узлами вывалвается ошибка связанная с nfs mount (приведена выше).

    • #2647
      Дмитрий
      Участник

      Все эти же действия должен выполнять HACMP.
      Единственное но, это то что если ресурсная группа 1 и запущенна на node1, то монтировать либо вручную на другом узле, либо воткнуть монтирование в скрипт запуска и через rsh смонтировать.
      Другой вариант создать 2-ую ресурсную группу, и уже монтировать шару как ресурс этой группы.

      Стоп. Вы сами себе противоречите. Для кросс-маунта не надо ничего самому прикручивать, всё сделает HACMP.

      smit hacmp -> extended -> resourses for RG.
      Service IP Label: service_ip
      VG: shared_vg
      Filesystems to mount: /shared_fs
      Filesystems to export: /shared_fs
      Filesystems to mount: /nfs_mountpoint;/shared_fs
      ———
      Verify and Synchronize
      ———
      При старте RG на узле кластер сделает (САМ!):
      ifconfig service_ip up
      varyonvg shared_vg
      mount /shared_fs
      exportfs /shared_fs
      mount -v nfs service_ip:/shared_fs /nfs_mountpoint #!!!

      На остальных узлах (резервных узлах для этой ресурсной группы!)
      mount -v nfs service_ip:/shared_fs /nfs_mountpoint #!!!

    • #2648
      kir
      Хранитель

      Ok. Т.е. судя по всему все делаю в правильном направлении.
      То что монтирование nfs шар на всех узлах автоматом делает кластер понятно.
      Мой вопрос в следующем: сейчас кластер не может смонтировать на резервном узле одну из файловых систем. Судя по ошибке из лога hacmp.out
      ep_rg:cl_activate_nfs[83] mount -o soft,intr sapnode:/export/sapmnt/NPP /sapmnt/
      NPP
      nfsmnthelp: sapnode: Item is not local to host
      mount: giving up on:
      sapnode:/export/sapmnt/NPP

    • #2649
      kir
      Хранитель

      ep_rg:cl_activate_nfs[86] (( 1 == 0 ))
      ep_rg:cl_activate_nfs[96] (( TRIES+1<LIMIT ))
      ep_rg:cl_activate_nfs[101] cl_echo 18 'cl_activate_nfs: mount of sapnode:/export
      /sapmnt/NPP failed again, still re-tryingn' cl_activate_nfs sapnode /export/sap
      mnt/NPP
      ep_rg:cl_echo[49] version=1.13
      ep_rg:cl_echo[98] HACMP_OUT_FILE=/tmp/hacmp.out
      Mar 19 2009 17:03:15 cl_activate_nfs: mount of sapnode:/export/sapmnt/NPP failed
      again, still re-trying
      ep_rg:cl_activate_nfs[102] sleep 30
      ep_rg:cl_activate_nfs[72] ((TRIES++ ))
      ep_rg:cl_activate_nfs[72] (( TRIES<LIMIT))
      ep_rg:cl_activate_nfs[75] [[ REAL == EMUL ]]
      ep_rg:cl_activate_nfs[83] mount -o soft,intr sapnode:/export/sapmnt/NPP /sapmnt/
      NPP
      nfsmnthelp: sapnode: Item is not local to host
      mount: giving up on:
      sapnode:/export/sapmnt/NPP
      Item is not local to host
      а по ФС /usr/sap/trans все отлично
      ep_rg:cl_activate_nfs[83] mount -o soft,intr sapnode:/export/usr/sap/trans /usr/
      sap/trans
      ep_rg:cl_activate_nfs[86] (( 0 == 0 ))
      ep_rg:cl_activate_nfs[91] return 0
      ep_rg:process_resources[84] RC=0
      ep_rg:process_resources[84] [[ 0 != 0 ]]
      ep_rg:process_resources[84] [[ 0 != 0 ]]
      ep_rg:process_resources[105] return 0

    • #2650
      kir
      Хранитель

      Если руками выполнять эту же команду, то ошибка та же самая выдается.

    • #2654
      Дмитрий
      Участник

      Ага, с ноды одна файловая система монтируется, а другая – нет.
      Может, файловая система не(правильно) проэкспортирована?
      # showmount -e sapnode (на клиенте)
      # exportfs (на сервере)

      Или локальная точка монтирования куда-то делась?
      ls -ld /sapmnt (на клиенте).

    • #2663
      kir
      Хранитель

      На клиенте:
      bash-3.00# hostname
      standby
      bash-3.00# showmount -e sapnode
      export list for sapnode:
      /export/sapmnt/NPP (everyone)
      /export/usr/sap/trans (everyone)
      bash-3.00# ls -ld /sapmnt
      drwxr-xr-x 2 root system 256 Oct 24 16:36 /sapmnt
      На сервере:
      bash-3.00# hostname
      sapep
      bash-3.00# exportfs
      /export/sapmnt/NPP
      /export/usr/sap/trans

    • #2718
      Дмитрий
      Участник

      Что-то какая-то путаница-тупаница…

      Причём здесь клиент? Он откуда взялся?
      Мы, вроде, говорили про кросс-mount. Он, конечно, клиентам не мешает, но они здесь не причём.

      И имена хостов все какие-то разные.
      Кстати, одна из стандартный проблем NFS – в DNS, точнее, в name resolution.
      Убедитесь, что соответствие имя ip (и наоборот) работает и на клиенте, и на сервере NFS.

      akovalev, если Вас не затруднит, повторите описание проблемы (может, отдельной веткой), а то эта разраслась, пока её читаешь, смысл ускользать начинает.
      🙂

Просмотр 26 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.