SAP на AIX

Просмотр 37 веток ответов
  • Автор
    Сообщения
    • #7043
      roman
      Участник

      Существует следующая конфигурация:
      1) IBM Power 520 (8203-E4A): 4 core 4.2GHz, memory 4GB, на которой развернут LPAR (EC=0.3, VP=3, uncapped mode), AIX 5.3 TL9;
      2) HP (x86): 4 core 2.66GHz, memory 8GB, RHEL 5.3.
      На AIX’е развернута центральная инстанция SAP(NetWeaver7.0+ECC6.0)+Oracle(10.2), на RHEL – диалоговая инстанция.
      Проблема в выполнении отчета J3RFLVMOBVED(Обзор запасов Россия):
      – при запуске его на центральной инстанции время выполнения этого отчета очень большое (за 6 часов не выполняется), при этом нагрузка на Oracle незначительная, основное время (более 90%) тратится на выполнения ABAP-кода – трассировка через SAP. На уровне операционной системы нагружается два VP: процесс Oracle максимум до 50% (в среднем до 20%), диалоговый процесс SAP – 100% почти постоянно. Причем sar показывает для диалогового процесса SAP %sys=100, а vmstat и topas User%=100. Памяти вроде хватает, paging’а нет.
      – при запуске его на диалоговой инстанции время выполнения этого отчета до 3 часов. Нагрузки на AIX фактически нет (только oracle-процесс с приемлемой нагрузкой). Нагрузка одного процессора RHEL – 100% (ABAP-код).
      Не могу понять:
      1) почему утилиты AIX sar, vmstat, topas показывают нагрузку 100% одни в User%, а другие в %sys
      2) почему x86 (RHEL) справляется с отчетом намного шустрее чем POWER
      Заранее благодарен

    • #7057
      roman
      Участник

      Так что, никто так и не сможет прокомментировать данную ситуацию? Получается, что x86+RHEL превосходит по производительности POWER+AIX? Тогда просто не понимаю, зачем платить такие деньги и какие SAPсы считает IBM?

    • #7059
      _KIRill
      Хранитель

      roman, вопросы производительности – это очень интересная, но и, одновременно очень сложная и неоднозначная тема.
      Начнём с того, что нам не известна детальная конфигурация ваших систем. Их того что вы написали, очень сложно зделать какие-либо выводы. Вот например, “LPAR (EC=0.3, VP=3, uncapped mode)”. Это ни о чем не говорит. Или говорит, но мало. EC=0.3. Ваш LPAR получает 0.3 физического процессора. На эти 0.3 вы выдаёте 3 процессора виртуальных. context switching – “офигенный”. Да ещё, скорее всего, в LPAR SMT включен. Итого 6 потоков на 0.3 процессора. Не многовато? Да, у вас uncapped mode. Но сколько свободного процессорного времени в системе? Даже если больше на ней ничего не работает, то ваш LPAR сможет получить в своё распоряжение только 3 core (VP=3). А что означает фраза “памяти вроде хватает”? Какие настройки у VMM? Что с настройками СХД?
      Вопросов множество….

      ---As If, But Not---

    • #7061
      Victor Sedyakin
      Участник

      Я правильно понимаю, что на p520 вся центральная инстанция SAP расположена в указанном LPAR (EC=0.3, VP=3, uncapped mode)? Есть ли другие LPAR, как распределены остальные 4-0.3 = 3.7 ядра? Елси других LPAR нет, то почему бы не отдать все 4 ядра SAP’у?

    • #7063
      Sever
      Участник

      roman писал(а):

      Получается, что x86+RHEL превосходит по производительности POWER+AIX?

      roman, пока мы только поняли, что ваша ABAPовская задача выполняется медленнее на партиции 520ой, котороую вы сами и наконфигурировали… Никто кроме вас не несет ответственности за практический результат.

    • #7064
      roman
      Участник

      Что такое свободное процессорное время в системе?

      Context Switching при нагрузке
      kthr memory page faults cpu
      —– ———– ———————— ———— ———————–
      r b avm fre re pi po fr sr cy in sy cs us sy id wa pc ec
      2 0 1038732 314790 0 0 0 0 0 0 43 10042 2956 94 5 1 0 1.00 333.4
      1 0 1038735 314787 0 0 0 0 0 0 178 36103 8706 81 16 3 0 0.96 321.0
      1 0 1038736 314786 0 0 0 0 0 0 176 34269 8171 82 15 3 0 0.94 313.4
      1 0 1038866 314656 0 0 0 0 0 0 156 30859 7839 81 16 3 0 0.80 267.8
      1 0 1039151 314368 0 1 0 0 0 0 130 18233 3429 88 12 1 0 0.61 202.5

      vmo -a
      cpu_scale_memp = 8
      data_stagger_interval = 161
      defps = 1
      force_relalias_lite = 0
      framesets = 2
      htabscale = n/a
      kernel_heap_psize = 4096
      kernel_psize = 4096
      large_page_heap_size = 0
      lgpg_regions = 0
      lgpg_size = 0
      low_ps_handling = 1
      lru_file_repage = 0
      lru_poll_interval = 10
      lrubucket = 131072
      maxclient% = 90
      maxfree = 1088
      maxperm = 895138
      maxperm% = 90
      maxpin = 847951
      maxpin% = 80
      mbuf_heap_psize = 65536
      memory_affinity = 1
      memory_frames = 1048576
      memplace_data = 2
      memplace_mapped_file = 2
      memplace_shm_anonymous = 2
      memplace_shm_named = 2
      memplace_stack = 2
      memplace_text = 2
      memplace_unmapped_file = 2
      mempools = 1
      minfree = 960
      minperm = 29837
      minperm% = 3
      nokilluid = 0
      npskill = 16384
      npsrpgmax = 131072
      npsrpgmin = 98304
      npsscrubmax = 131072
      npsscrubmin = 98304
      npswarn = 65536
      num_spec_dataseg = 0
      numpsblks = 2097152
      page_steal_method = 0
      pagecoloring = n/a
      pinnable_frames = 862941
      psm_timeout_interval = 5000
      pta_balance_threshold = n/a
      relalias_percentage = 0
      rpgclean = 0
      rpgcontrol = 2
      scrub = 0
      scrubclean = 0
      soft_min_lgpgs_vmpool = 0
      spec_dataseg_int = 512
      strict_maxclient = 1
      strict_maxperm = 0
      v_pinshm = 0
      vm_modlist_threshold = -1
      vmm_fork_policy = 1
      vmm_mpsize_support = 1
      wlm_memlimit_nonpg = 1

      Какие настройки СХД вас интересуют?
      KiRill, буду рад любому совету.
      Заранее благодарен

    • #7065
      roman
      Участник

      ViC писал(а):

      Я правильно понимаю, что на p520 вся центральная инстанция SAP расположена в указанном LPAR (EC=0.3, VP=3, uncapped mode)? Есть ли другие LPAR, как распределены остальные 4-0.3 = 3.7 ядра? Елси других LPAR нет, то почему бы не отдать все 4 ядра SAP’у?

      Другие LPAR есть, например, standby-партиция продуктива (HACMP кластер). Вес у нее больше.
      А отдать больше процов, так она и так берет свое – но больше 2 для данной задачи (без учета работы самого aix) не возьмет – только 2 рабочих потока, и соответсвенно максимум 2 проца. В самом SAP никто не работает, поднят для тестов

    • #7066
      roman
      Участник

      sever писал(а):

      [b]roman писал(а):[/b]
      [quote]Получается, что x86+RHEL превосходит по производительности POWER+AIX?

      roman, пока мы только поняли, что ваша ABAPовская задача выполняется медленнее на партиции 520ой, котороую вы сами и наконфигурировали… Никто кроме вас не несет ответственности за практический результат.[/quote]

      Разбивку на LPARы и всю настройку выполняли специалисты организации, которые поставляли железо.
      Единственное исключение: они настроили capped-режим, но при этом почти все простаивало в standby-партиции, так что uncapped-режим – наша настройка. Тюнинг VMM – SAP note 973227 – AIX Virtual Memory Management Tuning Recommendations

    • #7070
      kir
      Хранитель

      В общем, если хотите чтобы быстрей работал отчет, выделяйте больше процессорных ресурсов.
      То, что на 0.3 CPU p6 работает медленнее, чем на 4CPU Intel это логично.
      Вот эта фраза нам неочевидна: “А отдать больше процов, так она и так берет свое – но больше 2 для данной задачи (без учета работы самого aix) не возьмет – только 2 рабочих потока, и соответсвенно максимум 2 проца.”
      Для того, чтобы можно было проанализировать снимите SysPlan с этой машины и выложите здесь.

    • #7071
      roman
      Участник

      akovalev писал(а):

      В общем, если хотите чтобы быстрей работал отчет, выделяйте больше процессорных ресурсов.
      То, что на 0.3 CPU p6 работает медленнее, чем на 4CPU Intel это логично.
      Вот эта фраза нам неочевидна: “А отдать больше процов, так она и так берет свое – но больше 2 для данной задачи (без учета работы самого aix) не возьмет – только 2 рабочих потока, и соответсвенно максимум 2 проца.”
      Для того, чтобы можно было проанализировать снимите SysPlan с этой машины и выложите здесь.

      Ответьте мне тогда на один вопрос: как может один процесс выполняться на нескольких процессорах одновременно, если он однопоточный?

    • #7073
      Sever
      Участник

      roman, в моде uncapped есть хитрая особенность. На вашем примере она заключается в следующем. Для партиции с тремя VP и EC=0.3 гипервизор выдаст дополнительную мощность только в том случае, когда все три VP будут кушать по 0.1 процессорной мощности одновременно. Если хотяб один поток будет “бить балду”, то ваша однопоточная задача будет потреблять только 10% мощности ядра, при этом вы будете уверены, что загрузка составляет 100% :laugh:

      У гипервизора нет понимания зачем вам выделять дополнительную мощность в случае, когда загрузка всех VP не выходит на 100% уровень от EC.

      Уменьшите число VP до единицы и повторите прогон вашей задачи.

    • #7074
      roman
      Участник

      sever писал(а):

      roman, в моде uncapped есть хитрая особенность. На вашем примере она заключается в следующем. Для партиции с тремя VP и EC=0.3 гипервизор выдаст дополнительную мощность только в том случае, когда все три VP будут кушать по 0.1 процессорной мощности одновременно. Если хотяб один поток будет “бить балду”, то ваша однопоточная задача будет потреблять только 10% мощности ядра, при этом вы будете уверены, что загрузка составляет 100% :laugh:

      У гипервизора нет понимания зачем вам выделять дополнительную мощность в случае, когда загрузка всех VP не выходит на 100% уровень от EC.

      Уменьшите число VP до единицы и повторите прогон вашей задачи.

      Интересное замечание, надо будет проэкспериментировать.
      Но что вы скажете, когда при нагрузке утилита sar в столбце physc показывает 1.0?
      Я так понимаю, что этот логический процессор потребляет 1 физический. Или я не прав?

      Если честно, я понимаю, что проблема имеено в виртуализации. Но вот где и куда посмотреть и что сделать для устранения этой проблемы:( Только не говорите про покупку нового железа, мое начальство в этом не убедить

    • #7075
      roman
      Участник

      Вот вывод при нагрузке
      # sar -P ALL 3 5

      AIX sapqas 3 5 00C070044C00 02/25/10

      System configuration: lcpu=6 ent=0.30 mode=Uncapped

      15:19:41 cpu %usr %sys %wio %idle physc %entc
      15:19:44 0 34 51 0 14 0.01 1.9
      1 0 15 0 85 0.00 0.1
      2 100 0 0 0 1.00 333.0
      3 0 11 0 89 0.00 0.1
      4 0 32 0 68 0.00 0.0
      5 0 32 0 68 0.00 0.0
      – 100 0 0 0 1.01 335.2
      15:19:47 0 46 43 0 11 0.01 3.3
      1 0 26 0 74 0.00 0.2
      2 100 0 0 0 1.00 333.0
      3 0 21 0 79 0.00 0.1
      4 0 32 0 68 0.00 0.0
      5 0 32 0 68 0.00 0.0
      – 99 1 0 0 1.01 336.6
      15:19:50 0 83 15 0 3 0.40 134.4
      1 0 11 0 89 0.00 1.0
      2 84 14 0 2 0.60 199.8
      3 0 11 0 89 0.00 1.0
      4 0 32 0 68 0.00 0.0
      5 0 32 0 68 0.00 0.0
      – 83 14 0 3 1.01 336.3
      15:19:53 0 86 12 0 2 0.62 208.3
      1 0 14 0 86 0.00 1.3
      2 75 21 0 3 0.38 126.9
      3 0 12 0 88 0.00 1.2
      4 0 31 0 69 0.00 0.0
      5 0 31 0 69 0.00 0.0
      – 81 15 0 3 1.01 337.8
      15:19:56 0 85 12 0 3 0.50 167.5
      1 0 11 0 89 0.00 1.3
      2 77 20 0 3 0.50 167.8
      3 0 8 0 92 0.00 1.3
      4 0 32 0 68 0.00 0.0
      5 0 31 0 69 0.00 0.0
      – 80 16 0 4 1.01 338.0

      Average 0 84 13 0 3 0.31 103.2
      1 0 13 0 87 0.00 0.8
      2 91 8 0 1 0.70 232.1
      3 0 11 0 89 0.00 0.7
      4 0 32 0 68 0.00 0.0
      5 0 32 0 68 0.00 0.0
      – 89 9 0 2 1.01 336.9
      # lparstat -h 1 5

      System configuration: type=Shared mode=Uncapped smt=On lcpu=6 mem=4096 psize=4 ent=0.30

      %user %sys %wait %idle physc %entc lbusy vcsw phint %hypv hcalls
      —– —– —— —— —– —– —— —– —– —— ——
      82.8 14.7 0.0 2.5 1.01 337.7 16.0 2900 18 3.3 6773
      79.6 16.7 0.0 3.7 1.02 338.4 15.3 4256 23 5.1 8984
      80.7 15.7 0.0 3.6 1.01 337.8 15.0 4166 13 5.2 9356
      86.6 11.1 0.0 2.2 1.01 336.7 16.5 2595 11 11.6 5892
      83.3 14.0 0.0 2.7 1.01 337.5 16.3 3160 9 19.4 6730

    • #7077
      kir
      Хранитель

      SysPlan как раз покажет вашу виртуальную архитектуру.

    • #7078
      Sever
      Участник

      Я в AIXe полный ноль, соответственно, интерпретировать вашу статистику не могу.
      Я взял приблизительно похожую партицию со своей ОС и прогнал ряд тестов.
      Результаты следующие:
      При включенном SMT однопоточная задача во всех случаях потребляет не более 55% мощности ядра.
      Любые дополнительные ресурсы предоставляются партиции только при наличии нескольких потоков, которые требовательны к процессорной мощности.
      Отсюда вывод – для уменьшения времени выполнения однопоточной задачи требуется отключить SMT или перейти на dedicated моду (опять же с выключением SMT).

    • #7087
      Дмитрий
      Участник

      Отсюда вывод – для уменьшения времени выполнения однопоточной задачи требуется отключить SMT или перейти на dedicated моду (опять же с выключением SMT).

      полностью согласен

    • #7109
      roman
      Участник

      Dmitry писал(а):

      [quote]Отсюда вывод – для уменьшения времени выполнения однопоточной задачи требуется отключить SMT или перейти на dedicated моду (опять же с выключением SMT).

      полностью согласен[/quote]

      Выключение SMT не помогло абсолютно ничем, при этом увеличил EC=1.6, VP=2. Как использовал один VP целый физический проц, так все и осталось, время выполнения при этом не изменилось.
      Попробую еще dedicated-режим, но на большой прорыв не надеюсь.
      Может еще кто-то подкинет хорошую идею?

    • #7111
      roman
      Участник

      Испытана следующая конфигурация: EC=2.0, dedicated mode, SMT off, VP=2.
      Результат нисколько не поменялся

    • #7114
      Sever
      Участник

      roman писал(а):

      Может еще кто-то подкинет хорошую идею?

      Рекомендую обратиться в SAP (к вендору прикладного ПО) на предмет оптимизации этого отчета.

      https://www.sap.com/contactsap/index.epx

      Это ненормально, когда такой отчет пожирает столько процессорных ресурсов.

    • #7125
      roman
      Участник

      sever писал(а):

      Рекомендую обратиться в SAP (к вендору прикладного ПО) на предмет оптимизации этого отчета.

      https://www.sap.com/contactsap/index.epx

      Это ненормально, когда такой отчет пожирает столько процессорных ресурсов.[/quote]

      Это первое, что было сделано. Ответ от SAP – отчет оптимизирован насколько это возможно.
      Есть еще какие-либо идеи?

    • #7128
      kir
      Хранитель

      Может там, собрать статистику по БД, или оценить планы выполнения запросов, на Интеле и power?

    • #7129
      roman
      Участник

      akovalev писал(а):

      Может там, собрать статистику по БД, или оценить планы выполнения запросов, на Интеле и power?

      Так проблема не в БД. Время на выполнение запросов к БД ничтожно мало по сравнению с временем на выполнение ABAP-кода. То есть, тупит application server. Вот поэтому и была добавлена дополнительная диалоговая инстанция, а отсюда вылился вопрос в производительности на Linux и AIX

    • #7130
      kir
      Хранитель

      А если сравнить использование свопа аиксом и линуксом, можете данные показать?

    • #7132
      Alex
      Участник

      А если поднять дополнительную диалоговую инстанцию на AIX?

      Есть еще какие-либо идеи?

      Это ты зря так 🙂

    • #7133
      roman
      Участник

      akovalev писал(а):

      А если сравнить использование свопа аиксом и линуксом, можете данные показать?

      Своп почти не используется. Если интересует вывод каких-то конкретных команд, то напишите каких.

    • #7134
      roman
      Участник

      AlexKir писал(а):

      А если поднять дополнительную диалоговую инстанцию на AIX?
      [quote]Есть еще какие-либо идеи?

      Это ты зря так :)[/quote]

      А смысл в дополнительной диалоговой инстанции на AIX? Уж тогда лучше на Linux’е поднимать (в смысле производительности).
      А вот насчет зря не понял

    • #7135
      Alex
      Участник

      А смысл в дополнительной диалоговой инстанции на AIX? Уж тогда лучше на Linux’е поднимать (в смысле производительности).

      Чтобы при тестировании всё было одинаково.

      А вот насчет зря не понял

      Это юмор такой.
      [code]- Жаль. У меня еще столько идей было![/code]

    • #7136
      roman
      Участник

      С этой работой о юморе вообще забыл:)

    • #7142
      roman
      Участник

      AlexKir писал(а):

      [quote]А смысл в дополнительной диалоговой инстанции на AIX? Уж тогда лучше на Linux’е поднимать (в смысле производительности).

      Чтобы при тестировании всё было одинаково.

      А зачем? Смысл всей этой ерунды – сравнение производительности AIX(POWER6) и RHEL(x86). Конечно же, все это относится к системе SAP при выполнении конкретного отчета

    • #7144
      roman
      Участник

      Очередной тест:
      1) на RHEL5.3(x86, 8core, 8GB RAM, RAID10) развернута центральная инстанция на Oracle 10.2
      2) к центральной инстанции присоединили две диалоговые инстанции: одна на RHEL5.3 (x86, 2core 2.66GHz, 4GB RAM, RAID5), другая на AIX5.3 (POWER6, 2core 4.2GHz, dedicated mode, SMT is off, 2VP, 4GB RAM, RAID5). То есть, образно говоря, железо пытались уровнять.
      Система тестовая, никто не работает. Выполнение вышеупомянутого отчета на диалоговой инстанции RHEL5.3(x86) в среднем в 1.5 раза быстрее, чем на диалоговой инстанции AIX5.3(POWER6).
      Свопинг не наблюдался ни на одной из диалоговых инстанций.

    • #7146
      Sever
      Участник

      в дедикейтед моде всетки удалось уменьшить время на несколько десятков процентов ?

    • #7147
      roman
      Участник

      Такого ускорения не наблюдалось

    • #7187
      Serg
      Участник

      а в САПе st02, во время выполнения память одинаково используется? Extended memory например. линукс по умолчанию всю использует, а для aix надо прописывать.

    • #7189
      roman
      Участник

      dianin писал(а):

      а в САПе st02, во время выполнения память одинаково используется? Extended memory например. линукс по умолчанию всю использует, а для aix надо прописывать.

      Насчет вашего замечания можно поподробнее? Как это в linux по умолчанию, а в aix надо прописывать? На какие параметры надо обратить внимание?

    • #7191
      Serg
      Участник

      вот этот em/initial_size_MB, linux взял сразу всю память, а в aix писали вручную в профайле.

      вот из st02 кусок.

      SAP Memory Curr.Use % CurUse[KB] MaxUse[KB] In Mem[KB] OnDisk[KB] SAPCurCach HitRatio %

      Extended memory 1,27 155.648 548.864 12.275.712 0 0,00

      столбец In Mem говорит скалько сап взял под свою extended memory

      http://help.sap.com/saphelp_nw70/helpdata/EN/02/9626e7538111d1891b0000e8322f96/content.htm

    • #7192
      roman
      Участник

      Этот параметр настроен, причем настраивался консультантами из SAP

    • #7193
      Serg
      Участник

      и он одинаковый на обоих машинах?

    • #7194
      roman
      Участник

      dianin писал(а):

      и он одинаковый на обоих машинах?

      Да

Просмотр 37 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.