установка Oracle на кластер из двух p520


Главная Форумы POWER Systems AIX/Hardware установка Oracle на кластер из двух p520

В этой теме 27 ответов, 8 участников, последнее обновление  Michael 8 года/лет, 3 мес. назад.

  • Автор
    Сообщения
  • #4698

    finem
    Участник

    Добрый день, мне предстоит установка Oracle 10g на кластер из двух p520 и я беспокоюсь, хочется снизить индекс непредсказуемости, посоветуйте пожалуйста подводные места, может есть какие-то специфичные моменты, буду безмерно признателен!

  • #4699

    _KIRill
    Хранитель

    Я конечно дико извиняюсь, но для начала, наверное, стоит определиться с OC (у вас AIX будет или может вы на линухе хардкорите? 🙂 ). Во вторых, версия ОС какая? Во третьих, принимаем решение относительно кластера. HACMP? Veritas? А может RAC?
    Ответив на эти вопросы вы сможете снизить индекс непредсказуемости весьма и весьма значительно.
    ЗЫ: Я не всегда такой саркастичный. 🙂
    ЗЫЫ: А из зала мне кричат: «Давай подробности!» (с) Галич.

    ---As If, But Not---

  • #4700

    finem
    Участник

    Спасибо!

    ОС AIX, версия 5.3…боюсь это будет IBM решение скорее всего HACMP или Veritas, так как RAC чисто Oracle-овская.
    ко всему этому у меня возник конкретный вопрос..так как сервера два..т.е. и Oracle 10g придется ставить на оба?

    P.S. я не в первый раз встречаюсь с Вашим сарказмом и он всегда вызывает только положительные эмоции.спасибо.

  • #4701

    _KIRill
    Хранитель

    Небольшое IMHO по поводу AIX. Ставьте TL9 с последним сервис паком. На TL10 уж больно много нареканий. Не забудьте параметры VMM в AIX установить подходящие для Oracle (сильно влияет на производительность). Кроме того, рекомендую ставить oracle после установки и тестирования кластера. Если кластером будет HACMP, то не забывайте пользоваться CSPOC для создания пользователей и групп (дабы потом руками их не синхронизировать).
    Oracle придётся ставить на оба узла.
    Это основные моменты.
    Спрашивайте..

    ---As If, But Not---

  • #4702

    finem
    Участник

    спасибо!
    получил некоторые уточнения кластер будет построен на hacmp или как он сейчас называется powerha, в этом разрезе можно что-то сказать про oracle,в целом вопрос может странный..вероятно это будет файловый кластер, и вот в этом концепте обычно как выглядит Oracle…т.е. это standby или может какая другая связка.
    спасибо за помощь.

  • #4704

    Дмитрий
    Участник

    Добрый день!
    В одном сообщение этой ветки было сказано о настройках VMM для Оракла. Бытует мнение, что до некоторых TL (помоему до 07, если не ошибаюсь) — был некий смысл менять эти настройки..имеется в виду minperm, maxperm и т.д.). Но с более новыми версиями данная необходимость отпала. Так ли это? Если нет, то какие настройки предпочтительны?

    Также насчет HACMP…есть SmartAssist for Oracle. Кто-нибудь сталкивался?

  • #4705

    kir
    Хранитель

    А зачем вообще HACMP или Veritas, обычно RAC используется без них.
    Устанавливается по оракловому гайду для AIX. Если просто takeover кластер, то оракл устанавливается на один хост, а настройки для Oracle/hacmp делаются на обоих нодах одинаково.
    Бинарники оракла, файлы даныых и инвентори должны быть на общем дисковом хранилище (массиве).
    IP адрес на который устанавливается и настраивается оракловая база — есть сервисный IP адрес кластера.

  • #4707

    finem
    Участник

    RAC вполне разумный вариант, но сложен в сопровождении, да и настройке, в связи с этим нужен компромисс,как представляется, это файловый сервер, вот как с ним использовать Oracle..это вопрос(.

  • #4709

    Дмитрий
    Участник

    Насколько мне известно, RAC стоит нереальных денег 🙂 А НАСМР обладает более демократичной ценой)

  • #4716

    finem
    Участник

    если попытаться конкретизировать, интересует связка Oracle+НАСМР, и концепция установки, стало понятно что Orcale придется ставить на оба узла, а что делать дальше, какая процедура может использоваться для связи этих двух узлов? на уровне Oracle

  • #4718

    Michael
    Участник

    Всё зависит от того, какой Вы кластер нарисуете… 🙂
    Я так понимаю, что кроме двух 520-х у Вас еще и общая дисковая стойка должна быть. Тогда простенький кластер: один сервер — основной, второй — резервный, а сам Oracle и БД — на дисковой стойке.

  • #4722

    kir
    Хранитель

    Oracle ставится на 2-х узлах в случае RAC.
    При takeover кластерах, Oracle устанавливается на одну ноду.
    Бинарники вместе с базой ездят с узла на узел вместе.
    Сейчас как раз сдаем такой кластер.
    RAC стоит дороже, но с ним вы получаете балансировку нагрузки, чего в takeover кластерах не возможно.

  • #4755

    Ljus
    Участник

    Жизнедеятельность капризной oracle dbconsole появившейся в 10-ке
    зависит от хостнейма, по этому если хостнеймы разные будут на нодах кластера,
    или покрайней мере ORACLE_HOSTNAME не будет заданы одинаковыми в профайлах пользователя (из под которых будит выполнятся экземпляр оракла) на нодах, то dbconsole работать не будит…
    Ну может вашим DBA она и е очень дорога, ну а всё же…

    Таким образом, покрайней мере я сдела так:
    На всех нодах в /home/oracle/.profile помимо всего прочего
    ORACLE_HOSTNAME=whlp2
    Хостнайм на всех трёх нодах: whlp2

    ========================node1=========================
    в /etc/hosts помимо всего прочего
    192.168.1.1 h1 whlp2
    192.168.1.2 h2
    192.168.1.3 h3
    192.168.7.100 cit11
    ========================node1=========================
    в /etc/hosts помимо всего прочего
    192.168.1.1 h1
    192.168.1.2 h2 whlp2
    192.168.1.3 h3
    192.168.7.100 cit11
    ========================node1=========================
    в /etc/hosts помимо всего прочего
    192.168.1.1 h1
    192.168.1.2 h2
    192.168.1.3 h3 whlp2
    192.168.7.100 cit11

    Здесь h1,h2,h3 — постоянные IP на трёх нодах
    cit11 — сервисный IP

    В listener.ora используется два листенера
    на экземпляр БД.
    Первый листенер, слушающий на постоянном IP whlp2 соотвествующем имени хоста
    нужен для коннекта dbconsole к базе
    Второй слуша на сервисном IP cit11 — для клиентских коннектов:

    LISTENER_DBC =
    (DESCRIPTION_LIST =
    (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = whlp2)(PORT = 1521))
    (ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC1521))
    )
    )

    SID_LIST_LISTENER_DBC =
    (SID_LIST =
    (SID_DESC = (SID_NAME = cit ))
    )
    #############################################################
    LISTENER_CIT =
    (DESCRIPTION_LIST =
    (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = cit11)(PORT = 1621))
    (ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC1621))
    )
    )

    SID_LIST_LISTENER_CIT =
    (SID_LIST =
    (SID_DESC = (SID_NAME = cit ))
    )

    И кроме-того, при одинаковом хостнейме после копирования содержимого ORACLE_HOME на другую ноду,
    при условии что все prerequisites для установки оракла на ней работали, оракловый софт был вполне рабочим.

    Сам софт можно сделать и перезжающим…

  • #4758

    finem
    Участник

    большое спасибо, можно спросить вас, концепцию oracle c HACMP
    сейчас у меня две ноды, к примеру
    db_main, db_standby, на обоих стоят бинарники Oracle 10.2.0.3, также на обоих крутиться listener,
    база лежит на дисковом массиве(/oradata) и зависимости от ситуации переползает с db_main на db_standby, как я понимаю для этого надо определенным образом настроить listener-a.

    В целом интересует, что надо прописать в listener чтобы HACMP отрабатывал, зарание прошу прощение за эти возможно избыточные вопросы, ни как не получается связать, буду благодарен за комментарии.

  • #4762

    Предлагаю сделать так.
    На обоих нодах установить hacmp. Взять оракл с первой ноды, скопировать его на файловый массив. Например в /storage/oracle/oracle. В директорию /storage/oracle/EXT положить EXT. В /storage/oracle/oracle/oracle.daemon изменить HOME. В OS должен быть user oracle… ну или подправьте oracle.daemon. Причем у этого юзера должны быть особые настройки. В хелпе оракловом есть рекомендации по установке Oracle на AIX. В listener.ora и listener.trc указать сервисный апришник, вместо того айпи с которым оракл стартовал ранее. Дать 755 права на папку /storage/oracle. Сделать владельцем юзера oracle.
    В файле /etc/oratab не забудьте изменить путь к ораклу и поставьте базе ключ Y.
    Если хотите перестраховаться, можно сделать символьные ссылки в том месте где стоял оракл на /storage/oracle/oracle.
    Затем конфигурите кластер. И, вперед.

    p.s. пример oracle.daemon и стартового скрипта в аттаче. [file name=______.txt size=2246]http://www.aixportal.ru/media/kunena/attachments/legacy/files/______.txt[/file]

    Attachments:
  • #4763

    Michael
    Участник

    respice finem, Вам позарез нужны курсы по НАСМР в УЦ IBM, т. е. Вам прямая дорога к Кириллу. 🙂

    Вкратце: НАСМР-кластер делается таким образом, что ВЕСЬ оракл находится на дисковом массиве (и софт со всеми настройками и сама база), поэтому в случае падения основного узла кластера ВСЁ должно подниматься на резервном со ВСЕМИ настройками оракла.

    Наверное, лучше писать db_main и db_reserve, потому что (насколько я знаю) в терминологии оракла Standby — это КОПИЯ основной базы, которая крутится на отдельном сервере, и на которую периодически накатываются обновления основной базы.

  • #4764

    finem
    Участник

    спасибо, курсы это интересно и вероятно я так и поступлю, в принципе HACMP установлен и первоначально настроен, я сейчас пытаюсь включить Oracle в инфраструктуру HACMP, на обоих узлах
    я поставил Oracle,создал базу на дисковом массиве, которая по умолчанию подключена db_main а вот что делать дальше

  • #4765

    kir
    Хранитель

    Бинарники Oracle и база должны быть на массиве.
    На обоих узлах в /etc/oratab должна быть указана ваша база.
    В HACMP создается ресурсная группа, в которой указаны файловые системы оракла, сервисный ip, скрипты запуска/останова базы.

  • #4766

    Michael
    Участник

    respice finem, если Вам невтерпёж, то рекомендую заглянуть на http://www.intuit.ru и найти там учебный курс по НАСМР.

    Я так думаю, что он Вам очень пригодится, если Вы хотите «помучаться» самостоятельно. 🙂

    А на курсы по НАСМР в УЦ ИБМ-ов надо ехать всенепременнейше, ибо «ученье — свет» :cheer: Кроме того, если Вы что-то не поймёте в курсе с http://www.intuit.ru, то сможете потом тщательно расспросить Кирилла, он Вам растолкует.

    Вот, например, Вы сейчас можете ответить хотя бы такой простой вопрос: БД на дисковом массиве с основного 520-го на резервный переезжает и нормально монтируется/видится?

  • #4767

    finem
    Участник

    отвечая на вопрос: нет), более того именно этого мне нужно достичь, хотя бы с стороны Oracle, что бы как он начнет переезжать к ноде «db_standby», установленный локально Oracle(дистрибутив) цеплял базу…этот процесс, для меня наиболее туманен(

  • #4768

    kir
    Хранитель

    Список файловых систем для оракла, все что в oravg — на массиве.
    bash-3.00# lsvg -l oravg
    oravg:
    LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT
    oracle jfs2 80 80 1 open/syncd /oracle
    oramdm jfs2 700 700 1 open/syncd /oracle/MDM
    mdm102_64 jfs2 64 64 1 open/syncd /oracle/MDM/102_64
    loglv00 jfs2log 1 1 1 open/syncd N/A
    orahome jfs2 8 8 1 open/syncd /home/oramdm
    tsm_mdm jfs2 1 1 1 open/syncd /usr/tivoli/tsm/mdm
    Ниже список ip адресов на интерфейсах.
    bash-3.00# ifconfig -a
    en0: flags=5e080863,c0
    inet 192.168.100.237 netmask 0xffffff00 broadcast 192.168.100.255
    inet 10.15.242.247 netmask 0xffffff00 broadcast 10.15.242.255
    tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
    en1: flags=5e080863,c0
    inet 192.168.101.237 netmask 0xffffff00 broadcast 192.168.101.255
    inet 10.15.242.237 netmask 0xffffff00 broadcast 10.15.242.255
    tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
    lo0: flags=e08084b
    inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
    inet6 ::1/0
    tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
    Здесь 10.15.242.247 сервисный IP который переезжает, виртуальное имя oramdm — то имя на которое устанавливается и настраивается oracle.
    Ниже настройки /etc/hosts
    10.15.242.247 oramdm
    192.168.100.237 mdmdb01_boot1
    192.168.100.238 mdmdb02_boot1
    192.168.101.237 mdmdb01_boot2
    192.168.101.238 mdmdb02_boot2
    10.15.242.237 mdm_db01
    10.15.242.238 mdm_db02
    Здесь последняя пара адресов — персистентные ip метки, соот-вуют hostname.
    Можно оракл устанавливать как при частично настроенном кластере, главное чтобы были активированы ip адреса и файловые системы, а можно и без настроенного кластера HACMP, т.е.
    ip метка устанавливается smitty chinetalias
    Файловые системы активируются:
    varyonvg oravg
    mount /filesystem1
    mount /filesystem2
    и т.д.
    При переезде, выключаешь оракл, размонтируешь ФС…varyoffvg oravg..опускаешь IP метку (сервисную). На резервном узле, наоборот, цепляешь файловые ресурсы, метку и запускаешь оракл (su — oramdm -c «dbstart»
    Для остановки оракла:
    su — oramdm -c «dbshut»
    su — oramdm -c «lsnrctl stop»
    Эти команды помещаешь в скрипты старта и останова кластера.

  • #4769

    finem
    Участник

    большое спасибо, касательно архитектуры, получается более оправдан вариант установки СУБД Oracle и Базы(SID) на переезжающий дисковый массив? или моя текущая конфигурация при которой на дисковом массиве находятся только файлы базы данных а субд Oracle по одной копии на каждой из нод, не правильна? в вашей выкладке, большое спасибо за нее, Oracle listener каким образом участвует в процессе переезда?

  • #4771

    Дмитрий
    Участник

    или моя текущая конфигурация при которой на дисковом массиве находятся только файлы базы данных а субд Oracle по одной копии на каждой из нод, не правильна?

    Так тоже можно.

    respice finem, Вам позарез нужны курсы по НАСМР в УЦ IBM, т. е. Вам прямая дорога к Кириллу.

    Это смотря к какому… 😉
    Тот, который KIRill, только по «спецзапросу» курсы проводит, и только если его с основного места работы отпустят.

  • #4774

    kir
    Хранитель

    Можно, но в таком случае при апгрейде базы, на новый патчсет или установка дополнительных патчей влечет за собой установку на оба узла. Когда все существует в одном экземпляре, проще в обслуживании, лишних телодвижений совершать не нужно.
    Листенер ездит вместе с базой, он также настроен на сервисную метку.
    Скрипт dbshut листенер не опускает, поэтому его тушим командой lsnrctl stop.

  • #4776

    Michael
    Участник

    Тот, который KIRill, только по «спецзапросу» курсы проводит, и только если его с основного места работы отпустят.

    Эх, как времечко-то бежит. Я ездил на курсы в УЦ IBM года 3 или 4 и как-то так получилось, что всё время попадал к KIRill-у, только один курс был у Вас. 😉

    respice finem, всё верно, вариант, когда вся ораклятина полностью на дисковом массиве самый «ленивый» и самый верный: чем меньше делаешь, тем меньше ошибаешься 😆

  • #4778

    Дмитрий
    Участник

    Можно, но в таком случае при апгрейде базы, на новый патчсет или установка дополнительных патчей влечет за собой установку на оба узла. Когда все существует в одном экземпляре, проще в обслуживании, лишних телодвижений совершать не нужно.

    respice finem, всё верно, вариант, когда вся ораклятина полностью на дисковом массиве самый «ленивый» и самый верный: чем меньше делаешь, тем меньше ошибаешься

    Зато если ошибёшся — оба узла лежат.
    А если физических экземпляра два — можно обновлять по одному узлу. И конфиг можно сделать разный.
    При обновлении, действительно, придётся вспомнить про оба экземпляра. Но для этого существуют checklists.

    Конечно, лучше всего ещё иметь тестовый кластер и все изменения сначала обкатывать на нём…
    Но для этого ещё зелёные бумажки нужны.

  • #4779

    Michael
    Участник

    Зато если ошибёшся — оба узла лежат.

    А резервное копирование Оракла перед обновлением еще никто не отменял. Ошибся — поднялся с бэкапа…

    Тогда получается, что нужен не тестовый кластер, а тестовый сервер для проверки обновлений Оракла или AIX. Что уменьшает требуемую массу зелёных бумажек минимум вдвое. 🙂

  • #4816

    Michael
    Участник

    А если физических экземпляра два — можно обновлять по одному узлу. И конфиг можно сделать разный.
    При обновлении, действительно, придётся вспомнить про оба экземпляра. Но для этого существуют checklists.

    Дмитрий, я поразмыслил и пришёл к выводу, что есть еще несколько условий, при выполнении которых удобнее будет иметь дело с двумя инстанциями Оракла на двух узлах кластера:
    1. Если узлы кластера одинаковы по производительности (ну или разница в «попугаях» невелика).
    2. Если режим работы Оракла близок к непрерывному, т. е. останов на час-два-три для обновлений — это надо решать на уровне большого начальства.

    И третий, самый удобный для начальства: если не хочется, чтобы сисадмины выходили в выходные за двойную оплату патчить оракл, кластер, систему и т. д. Пущай лучше в рабочее время всё делают. 🙂

Для ответа в этой теме необходимо авторизоваться.