Link Aggregation на лезвиях PS702 (Type 8406)


Главная Форумы POWER Systems AIX/Hardware Link Aggregation на лезвиях PS702 (Type 8406)

В этой теме 57 ответов, 5 участников, последнее обновление  andrewk 6 года/лет назад.

  • Автор
    Сообщения
  • #10115

    uxTuaHgp
    Участник

    Может быть кто-то сталкивался?

    На сдвоенном лезвии два LHEA адаптера.
    Все ресурсы отданы единственной партиции.
    В AIX 6.1 видим 4 порта.

    Конструктив корзины таков, что ethernet модули между собой не связаны по шине, то есть агрегировать можно только в пределах 2-х портов типа ent0, ent2 или ent1,ent3.

    Первая проблема:
    После сборки транка ent0,ent2 пропадает Serial over LAN — трындец консоли стало быть.

    Вторая проблема:
    На работающем транке при отрубании первого интерфейса в связке со свича через shut порту, ложится весь транк. Если рубить второй интерфейс — все продолжает корректно работать.
    Не помогает ни использование алтернэйт адреса, ни изменение типа агрегирования.

    Третья проблема:
    При конфигурировании бэкап интерфейса без адреса для пинга, при гашении портов основного плеча переход на бэкап не происходит.

    То есть shut на коммутаторе не приводит к пропаданию линка на hea порту? Есть конечно предположение на предмет того, что раз LHEA — это виртуальный свитч, то обрыв линка на его физическом порту никак не должен приводить обрыву на логических портах…

    Добавление адреса для пинга отчасти спасает.
    Соответственно и обратный переход с бэкапа (с пингом) не происходит при оживлении портов транка до тех пор, пока не потушишь порт бэкапа, ну или руками не переключишь.

    Кто-то что-то может навскидку сказать?

  • #10116

    andrewk
    Участник

    я не работал с блейдами и старательно избегаю HEA/IVE, чего и Вам советую 🙂 Поэтому про SOL ничего не скажу.
    HEA, насколько я помню, не передает в LPAR информацию о потери линка, поэтому для AIX’а Ваш lhea порт всегда UP. Именно поэтому «рекомендуется» иметь адрес для пинга, например, в кластерных конфигурациях с HEA. Подозреваю, что Ваша третья проблема из той же категории.
    Вторая проблема сложнее. Проверьте, кем еще используется физический порт — какому LPAR’у он выделен? Собран ли там тоже Etherchannel? Если Вы собираете Etherchannel с использованием логических портов HEA, то все LPAR’ы, которые используют ресурсы одного и того же физического порта HEA, должны использовать одинаково сконфигурированный Etherchannel.

  • #10117

    uxTuaHgp
    Участник

    Спасибо за ответ.
    Все ресурсы железки отданы единственной партиции, то есть тут мисконфигурации быть не должно.
    Эффект отвала плеча проявляется и по LACP и по Etherchannel и только при гашении интерфейса, который стоит первым в агрегации.
    То есть, если сделать ent3,ent1 транк, то плечо будет падать, только при гашении порта под ent3, а при гашении ent1 будет спокойно переносить потерю бойца.

    Использовать LHEA/IVE тоже не рвусь, но альтернативы нет — в лезвии нет опционального модуля физического Etherbnet.

  • #10119

    Serg
    Участник

    ive устройство типа бриджа, поэтому делать агрегацию из AIX вам нужно с ним а не с вышестоящим за лезвием свичом, а это теряет смысл так как наружу все равно 1гб/c аплинк, да и не поддерживает бридж такое.
    The two
    physical ports on the PS700 and PS701 are associated to a single logical port group. The two
    additional physical ports on the PS702 expansion unit are associated to a second port group.
    Each port group can address up to 16 logical ports, A maximum of 16 MAC addresses are
    assigned to a port group. A maximum of one logical port per physical port can be given to a
    LPAR.
    Плюс как видно отсюда в каждом лезвии, эти два порта просто реализуют резервный доступ в ядро сети.

  • #10120

    andrewk
    Участник

    можете привести конфигурации портов со свитча и с AIX’а? и entstat. Может там что интересное найдется.

  • #10121

    uxTuaHgp
    Участник

    dianin,
    опять вы скоры на выводы
    В PS702 два совершенно отдельных HEA, которые, судя по докам, ничто не мешает агрегировать между собой, нужно только, чтобы их соответствующие порты смотрели в один коммутатор.

  • #10124

    uxTuaHgp
    Участник

    andrewk,
    вот entstat и агрегат с комутатора в файликах

    entstat_2010-11-12

    cisco_2010-11-12

  • #10126

    Serg
    Участник

    выводы скорые и правильные))
    с ive, возможен только Etherchannel’s Network Interface Backup
    никакой агрегации не получится!

  • #10127

    uxTuaHgp
    Участник

    Читать не пробовали?
    Как выше написал andrewk, если собираешь транк на одной партиции, то нужно собирать точно такие же транки и на остальных партициях, использующих логические порты с тех же самых HEA.
    Поверьте, он не писатель-фантаст :laugh:

    Может быть я и не прав.
    Завтра соберем два транка в пределах одного коммутатора и промерим iperf-ом.
    По крайней мере на коммутаторе транк собирается корректно, в том числе и когда порты в авто.

  • #10128

    Serg
    Участник

    Читать не пробовали?
    Как выше написал andrewk, если собираешь транк на одной партиции, то нужно собирать точно такие же транки и на остальных партициях, использующих логические порты с тех же самых HEA.
    Поверьте, он не писатель-фантаст :laugh:

    Может быть я и не прав.
    Завтра соберем два транка в пределах одного коммутатора и промерим iperf-ом.
    По крайней мере на коммутаторе транк собирается корректно, в том числе и когда порты в авто.

    andrewk, вам перевел цитату из редбука
    When using LHEA ports in aggregation, all other partitions using the LHEA ports from the
    same physical HEA ports must also be in aggregation

    вы же писали что у вас один lpar.)
    и ваш случай, это пытаться объединить в aggregation два lhea из разных ive

  • #10129

    uxTuaHgp
    Участник

    согласен — в редбуке написано об агрегации портов одного HEA… в вашей цитате.
    Читаем еще в том же документе:
    An AIX LPAR does not require a physical port set to promiscuous mode (unless it is required
    to be used by packet sniffer applications, or for another reason), and it is possible to make an
    EtherChannel with two or more LHEAs, but with one LHEA per physical port. In the case
    where an LHEA is used to make an EtherChannel within an LPAR, then all the other LHEAs
    provided through the same physical port may also be used to create EtherChannel interfaces
    in other LPARs.

    Где я неправ?

  • #10133

    andrewk
    Участник

    andrewk,
    вот entstat и агрегат с комутатора в файликах

    спасибо, но там нет конфигурации — не хватает еще

    sh run int port-channel 3
    sh run int Gi0/10
    sh run int Gi0/11

    и

    lsattr -El ent4

    цискины команды пишу по памяти — могу ошибаться.

  • #10136

    andrewk
    Участник

    мать… написал длинный ответ, злобный форум все потер 🙁
    попытка N 2.

    чтение редбуков просветляет 🙂

    1. Действительно агрегировать можно либо ent0+ent2, либо ent1+ent3. Связано это с тем, что первый порт каждого адаптера смотрит в I/O Bay 1, а второй порт — в I/O Bay 2. Я не знаю Вашу конфигурацию, но обычно там стоят свитчи Cisco. Настроить Etherchannel между двумя свитчами afaik невозможно, но я не цисковод — может уже чего-нибудь и изобрели. Если же у Вас там стоят Passthrough-модули (а они вообще совместимы с PS70X?), то по идее Вы можете настроить Etherchannel на свитче, стоящим за ними. Но вполне может быть, что тут тоже есть какие-нибудь подводные камни.

    2. SOL работает исключительно через I/O Bay 1. Когда Вы отдаете оба порта, подключенные к I/O Bay, в Etherchannel SOL’у совершенно логично становится плохо. Хотя может быть и нелогично, но судя по всему это — work as designed.

    3. По поводу третьей проблемы редбук тоже красноречиво сообщает:

    Important: The HEA port implementation on the PS700, PS701, and PS702 blades
    always shows a link status of up, and should be considered when implementing network
    failover scenarios.

    как это ни смешно, но не может IBM решить эту проблему.

    4. Насколько я вижу из приаттаченных файлов у Вас разная конфигурация на свитче и на AIX’е. Уберите NIB (ent2) из конфигурации на AIX и попробуйте повторить тест.

    Редбук: http://www.redbooks.ibm.com/redpapers/pdfs/redp4655.pdf

    PS. И почему я не писатель-фантаст? Говорят, они больше зарабатывают 😀

  • #10137

    Serg
    Участник

    согласен — в редбуке написано об агрегации портов одного HEA… в вашей цитате.
    Читаем еще в том же документе:
    An AIX LPAR does not require a physical port set to promiscuous mode (unless it is required
    to be used by packet sniffer applications, or for another reason), and it is possible to make an
    EtherChannel with two or more LHEAs, but with one LHEA per physical port. In the case
    where an LHEA is used to make an EtherChannel within an LPAR, then all the other LHEAs
    provided through the same physical port may also be used to create EtherChannel interfaces
    in other LPARs.

    Где я неправ?

    насколько я понял это в пределах одного IVE.
    The LHEA (Ethernet interface for operating systems) can be used to create an EtherChannel
    device, even as the backup adapter, but it is not supported to mix an LHEA with other kinds of
    Ethernet device other than LHEAs (such as dedicated adapter ports).

    и это логично если представить что ive это бридж, и второй ive уже другой бридж, и агрегации между разными устройствами не поддерживается, хотя может и будет работать)

  • #10138

    andrewk
    Участник

    насколько я понял это в пределах одного IVE.
    The LHEA (Ethernet interface for operating systems) can be used to create an EtherChannel
    device, even as the backup adapter, but it is not supported to mix an LHEA with other kinds of
    Ethernet device other than LHEAs (such as dedicated adapter ports).

    и это логично если представить что ive это бридж, и второй ive уже другой бридж, и агрегации между разными устройствами не поддерживается, хотя может и будет работать)

    это правило где-то со времен AIX 6.1TL4 больше не действительно. Редбук о IVE устарел 🙁

    http://publib.boulder.ibm.com/infocenter/aix/v6r1/topic/com.ibm.aix.commadmn/doc/commadmndita/etherchannel_adapters.htm

    HEA logical ports are supported under EtherChannel if all adapters within the EtherChannel are HEA logical ports. For dedicated HEA port, link aggregation with the PCI/PCI-E adapter is supported. In addition, PCI/PCI-E and virtual ethernet adapter as a backup adapter is also supported (when the primary adapter contain HEA).

  • #10139

    uxTuaHgp
    Участник

    andewk,
    Спасибо за участие — перевернул доки, которые тебе не нужны :laugh:

    [code]# lsattr -El ent4
    adapter_names ent3,ent1 EtherChannel Adapters True
    alt_addr 0xdeaddeaddead Alternate EtherChannel Address True
    auto_recovery yes Enable automatic recovery after failover True
    backup_adapter ent2 Adapter used when whole channel fails True
    hash_mode default Determines how outgoing adapter is chosen True
    interval short Determines interval value for IEEE 802.3ad mode True
    mode 8023ad EtherChannel mode of operation True
    netaddr 1.1.1.1 Address to ping True
    noloss_failover yes Enable lossless failover after ping failure True
    num_retries 3 Times to retry ping before failing True
    retry_time 1 Wait time (in seconds) between pings True
    use_alt_addr no Enable Alternate EtherChannel Address True
    use_jumbo_frame no Enable Gigabit Ethernet Jumbo Frames True
    ======================

    sh run int port-channel 3

    Building configuration…

    Current configuration : 114 bytes

    !

    interface Port-channel3

    switchport access vlan 100

    link state group 1 downstream

    spanning-tree portfast

    end

    sh run int g0/10

    Building configuration…

    Current configuration : 119 bytes

    !

    interface GigabitEthernet0/10

    switchport access vlan 100

    channel-group 3 mode passive

    spanning-tree portfast

    end

    sh run int g0/11

    Building configuration…

    Current configuration : 119 bytes

    !

    interface GigabitEthernet0/11

    switchport access vlan 100

    channel-group 3 mode passive

    spanning-tree portfast

    end[/code]

    Само собой я перечитал кучу редбуков и по IVE концепции и по дизайну блэйдов, тольо потом пришел спрашивать уважаемых гуру 😉

    У нас модули каталист.

    Про SOL я уже начитался, что он использует первый интерфейс, но в принципе джамперами в блэйде это можно изменить… Не суть.
    В общем бай дезайн агрегировать этот интерфейсможно, но тогда SOL плакал…

    На счет разных конфигураций на AIX и на коммутаторе не согласен: backup interface не в стандарте 802.3ad, о нем коммутатору знать не нужно.

    dianin,
    извините, но я не совсем поимаю, что вы мне сейчас доказываете.

    Судя по редбукам агрегация IVE возможна и применима с некоторыми оговорками.
    Как устроены IVE точно никто из нас не знает точно, так что о логичности рассуждать — что на кофейной гуще гадать.
    Последняя цитата вообще непонятно к чему.
    Перевожу: LHEA интерфейсы возможно использовать даже в качестве бэкапа, но их смешение с другими типами интерфейсов (от себя: в транках в понимании коммутаторов) не поддерживается.

    Заминусую репутацию по совокупности за ложные утверждения здесь и в ветке по ораклу…

  • #10141

    uxTuaHgp
    Участник

    это правило где-то со времен AIX 6.1TL4 больше не действительно. Редбук о IVE устарел

    На самом деле первая и вторая цитаты друг другу не противоречат.
    Бэкап интерфейс — отдельная сущность.

  • #10142

    Serg
    Участник

    andewk,
    Спасибо за участие — перевернул доки, которые тебе не нужны :laugh:

    [code]# lsattr -El ent4
    adapter_names ent3,ent1 EtherChannel Adapters True
    alt_addr 0xdeaddeaddead Alternate EtherChannel Address True
    auto_recovery yes Enable automatic recovery after failover True
    backup_adapter ent2 Adapter used when whole channel fails True
    hash_mode default Determines how outgoing adapter is chosen True
    interval short Determines interval value for IEEE 802.3ad mode True
    mode 8023ad EtherChannel mode of operation True
    netaddr 1.1.1.1 Address to ping True
    noloss_failover yes Enable lossless failover after ping failure True
    num_retries 3 Times to retry ping before failing True
    retry_time 1 Wait time (in seconds) between pings True
    use_alt_addr no Enable Alternate EtherChannel Address True
    use_jumbo_frame no Enable Gigabit Ethernet Jumbo Frames True
    ======================

    sh run int port-channel 3

    Building configuration…

    Current configuration : 114 bytes

    !

    interface Port-channel3

    switchport access vlan 100

    link state group 1 downstream

    spanning-tree portfast

    end

    sh run int g0/10

    Building configuration…

    Current configuration : 119 bytes

    !

    interface GigabitEthernet0/10

    switchport access vlan 100

    channel-group 3 mode passive

    spanning-tree portfast

    end

    sh run int g0/11

    Building configuration…

    Current configuration : 119 bytes

    !

    interface GigabitEthernet0/11

    switchport access vlan 100

    channel-group 3 mode passive

    spanning-tree portfast

    end[/code]

    Само собой я перечитал кучу редбуков и по IVE концепции и по дизайну блэйдов, тольо потом пришел спрашивать уважаемых гуру 😉

    У нас модули каталист.

    Про SOL я уже начитался, что он использует первый интерфейс, но в принципе джамперами в блэйде это можно изменить… Не суть.
    В общем бай дезайн агрегировать этот интерфейсможно, но тогда SOL плакал…

    На счет разных конфигураций на AIX и на коммутаторе не согласен: backup interface не в стандарте 802.3ad, о нем коммутатору знать не нужно.

    dianin,
    извините, но я не совсем поимаю, что вы мне сейчас доказываете.

    Судя по редбукам агрегация IVE возможна и применима с некоторыми оговорками.
    Как устроены IVE точно никто из нас не знает точно, так что о логичности рассуждать — что на кофейной гуще гадать.
    Последняя цитата вообще непонятно к чему.
    Перевожу: LHEA интерфейсы возможно использовать даже в качестве бэкапа, но их смешение с другими типами интерфейсов (от себя: в транках в понимании коммутаторов) не поддерживается.

    Заминусую репутацию по совокупности за ложные утверждения здесь и в ветке по ораклу…

    Да ничего я вам не доказываю, вся затея эта ваша с агрегацией вообще не понятная, у вас что 10гб/c из блэйд центра идет? или серверу 1 гигабита мало?) усложняете себе жизнь, с каким то упорством)
    а то что вы про оракл прокоментировали, дак вообще смешно, речь шла про онлайн бэкап оракла без cio , а вы с каким-то cp и tar ….. )

  • #10143

    uxTuaHgp
    Участник

    Минус честно заработали…

    1. От блэйд корзины в принципе может идти 2 транка по 4Gig
    2. Производительность модулей коммутаторов внутри корзины чуть ли 50Гбит/сек.

    А если у меня сервер БД на лезвиях? А если бэкапы по сети?

    Ну в общем речь шла совсем не о целесообразности, а о возможности и об одной неразрешенной проблеме: отвале транка при гашении первого интерфейса.

    Что касается оракла и прочих смешных вещей: говорите о том, что вы точно знаете, а не о том, что в курилке год назад услышали, типа:

    я сомневаюсь что rman прочитает дата файлы без cio

  • #10144

    Serg
    Участник

    Минус честно заработали…

    1. От блэйд корзины в принципе может идти 2 транка по 4Gig
    2. Производительность модулей коммутаторов внутри корзины чуть ли 50Гбит/сек.

    А если у меня сервер БД на лезвиях? А если бэкапы по сети?

    Ну в общем речь шла совсем не о целесообразности, а о возможности и об одной неразрешенной проблеме: отвале транка при гашении первого интерфейса.

    Что касается оракла и прочих смешных вещей: говорите о том, что вы точно знаете, а не о том, что в курилке год назад услышали, типа:
    [quote]
    я сомневаюсь что rman прочитает дата файлы без cio

    [/quote]

    да успокойтесь со своим минусом) мне от него не холодно не жарко) тем более от вас)
    да 4 гб можно транк сделать, но лезвий там 14!) если вам нужно было 2гб то нужно было в блэйд сетевую доп карту покупать и модули io. а так забъете канал двумя PS702)
    по сети наверно тоже cp и tar , бэкапите или копируете на ходу?) , я написал что сомневаюсь, потому что глупое решение как использовать сам рман когда есть ПО для бэкапов( не cp, tar хотя они не плохи сами по себе), и тем более без cio, если oracle рекомендует его включать). и вообще я не курю и вам советую поменьше)))

  • #10145

    uxTuaHgp
    Участник

    Пословица есть: промолчи — сойдешь за умного.
    Спросите кого-нибудь, кто действительно знает что такое оракл, можно ли онлайн бэкапить базу с помощью tar или cp, потом спросите еще знает ли rman что-нибудь об опциях монтирования, и еще спросите у тех, то действительно знает что такое ПО для резервного копирования какими средствами оно копирует БД оракл.
    И читайте доки до просветления, прежде чем что-то ляпнуть.

  • #10146

    Serg
    Участник

    Пословица есть: промолчи — сойдешь за умного.
    Спросите кого-нибудь, кто действительно знает что такое оракл, можно ли онлайн бэкапить базу с помощью tar или cp, потом спросите еще знает ли rman что-нибудь об опциях монтирования, и еще спросите у тех, то действительно знает что такое ПО для резервного копирования какими средствами оно копирует БД оракл.
    И читайте доки до просветления, прежде чем что-то ляпнуть.

    И вам экзамен сдать после прочтения?)

    http://www.aixportal.ru/forum/19/8719-re—paging-space?limit=10&start=10#9249

    вы тут приплели cp, tar не понятно для чего)

    Спор с вами еще более бессмысленнен, чем ваши идеи об агрегации. По сети бэкапите? и что 2гб или гиг хотя бы загрузили, вы хоть понимаете, какая для этого нужна дисковая подсистема? а на FC адаптерах сэкономили сэкономили. Наймите себе архитектора.

  • #10148

    andrewk
    Участник

    На самом деле первая и вторая цитаты друг другу не противоречат.
    Бэкап интерфейс — отдельная сущность.

    да там в общем-то основная мысль не про бэкап интерфейс, а про то, что PCI-порты могут быть теперь объединены в один Etherchannel с LHEA портами. А бэкап интерфейс — да, живет отдельно.

  • #10149

    andrewk
    Участник

    На счет разных конфигураций на AIX и на коммутаторе не согласен: backup interface не в стандарте 802.3ad, о нем коммутатору знать не нужно.

    я тоже сам с собой в теории не согласен 🙂 но на практике я бы попробовал выкинуть его и повторить тест, включив на циске debug (не помню чего включать надо, а цисок под рукой не водится), и отсматривая одновременно errpt и entstat на AIX. Если поищу, то найду еще как трейс Etherchannel’а на AIX сделать.

    PS. Горячие финские парни, вы бы успокоились, а то придет вечером модератор и достанет плюсомет 😉

  • #10150

    andrewk
    Участник

    ctctrl -c etherchannel -r systracemax
    ctctrl -c etherchannel -r memtracemax
    ctctrl -c etherchannel -r systraceon
    ctctrl -c etherchannel -r memtraceon
    ctrctrl -q -c etherchannel

    проводим тест, затем

    ctctrl -D -d /tmp/trace -r -c etherchannel

    ctctrl -c etherchannel -r systracenormal
    ctctrl -c etherchannel -r memtracenormal

    потом смотрим и пытаемся понять, что происходит:
    trcrpt -d 2FA,2FB /tmp/trace

  • #10151

    uxTuaHgp
    Участник

    ну я долго сохранял спокойствие…
    не терплю воинствующих невежд

  • #10154

    Serg
    Участник

    ну я долго сохранял спокойствие…
    не терплю воинствующих невежд

    А вы тут интеллектуал с плюсами?)
    http://www-03.ibm.com/support/techdocs/atsmastr.nsf/5cb5ed706d254a8186256c71006d2e0a/d30a4d5df45d8935862577b500478225/$FILE/Typical%20VIOS%20Network%20Configuration%20in%20Production%20Environment.pdf

    поучитесь грамотной архитектуре, на примере хотя вы vios.

  • #10156

    uxTuaHgp
    Участник

    Расслабьтесь, dianin,

    слив давно защитан

  • #10157

    Serg
    Участник

    Ваша оценка мне так важна, platinum boarder!

  • #10159

    uxTuaHgp
    Участник

    Она вас гложет.
    Хотите поговорить об этом?

    :laugh:

  • #10161

    Serg
    Участник

    как догадались? медиум?

  • #10162

    uxTuaHgp
    Участник

    а зачем ви так спрашиваете?

  • #10163

    Serg
    Участник

    вы знаете где для вас выход)

  • #10165

    Serg
    Участник

    заплюсую вас за ваш искрометный юмор!

  • #10166

    uxTuaHgp
    Участник

    таки ми русские люди должны помогать друг другу :laugh:

  • #10167

    Serg
    Участник

    Тьфу на вас ещё раз.

  • #10169

    Serg
    Участник

    Минус честно заработали…

    1. От блэйд корзины в принципе может идти 2 транка по 4Gig
    2. Производительность модулей коммутаторов внутри корзины чуть ли 50Гбит/сек.

    А если у меня сервер БД на лезвиях? А если бэкапы по сети?

    Ну в общем речь шла совсем не о целесообразности, а о возможности и об одной неразрешенной проблеме: отвале транка при гашении первого интерфейса.

    Что касается оракла и прочих смешных вещей: говорите о том, что вы точно знаете, а не о том, что в курилке год назад услышали, типа:
    [quote]
    я сомневаюсь что rman прочитает дата файлы без cio

    [/quote]

    Кстати, борец с невежами, как у вас на 18 портовом гигабитном свиче, 50 гиг пропускная способность появилась? Честный минус за ложь!))) плюс минусы за незнание основ сетей))) минус за проблемы с математикой))) может отсюда у вас такие идеи идут об агрегации ненужной))

    PS Если можно так сделать то это не значит что нужно так делать!) можно и на красный свет ездить, но не долго)))

  • #10170

    uxTuaHgp
    Участник

    Собрали еще на одном лезвии транк из LHEA.
    iperf стреляет под 1.8Гбит/сек.

    Однако не без странностей адекватную производительность получаем только когда клиент iperf инициируется с определенного хоста. В обратную сторону того же самого не наблюдаем.

    Более того, между двумя хостами с транками из 4-х стволов на физических интерфейсах не удалось добиться даже 1.5Гбит/сек.

    Вот что называется аццкая сотона…

    Кто нибудь тестировал на скорострельность свои агрегаты?

    Сергей,
    ну довольно уже. Чем дальше в лес, тем больше Вы сами себя дискредитируете.
    Раз: Невежда и невежа — слова и понятия совершенно разные.
    Два: В некоторые коммутаторы для блэйдов (3110X) вместо 4 1GE ставится 10GE модуль, плюс учитываем, что у нас Full-Duplex и получаем 28+20=48Гбит/сек.
    Извините, я соврамши на 2 Гбит :laugh:

    Но истины ради скажу, у нас 3012 модуль без 10GE.

  • #10171

    Serg
    Участник

    Собрали еще на одном лезвии транк из LHEA.
    iperf стреляет под 1.8Гбит/сек.

    Однако не без странностей адекватную производительность получаем только когда клиент iperf инициируется с определенного хоста. В обратную сторону того же самого не наблюдаем.

    Более того, между двумя хостами с транками из 4-х стволов на физических интерфейсах не удалось добиться даже 1.5Гбит/сек.

    Вот что называется аццкая сотона…

    Кто нибудь тестировал на скорострельность свои агрегаты?

    Сергей,
    ну довольно уже. Чем дальше в лес, тем больше Вы сами себя дискредитируете.
    Раз: Невежда и невежа — слова и понятия совершенно разные.
    Два: В некоторые коммутаторы для блэйдов (3110X) вместо 4 1GE ставится 10GE модуль, плюс учитываем, что у нас Full-Duplex и получаем 28+20=48Гбит/сек.
    Извините, я соврамши на 2 Гбит :laugh:

    Но истины ради скажу, у нас 3012 модуль без 10GE.

    вы так научное направление откроете) вообще то это в принципе разные коммутаторы, совсем другая модель) и там два 10гб порта и его пропускная способность 64гб, вы бы еще свич из соседней стойки приплюсовали, что свои 50 получить)))

  • #10173

    uxTuaHgp
    Участник

    Сергей,

    Вы опять продолжаете распространять ложную информацию.

    Во первых я даже привел модель модуля коммутатора — само собой это другое устройство. Честно написал, что у меня не такое устройство.

    Я в тупике прямо…
    На картинке двухпортовый модуль?

    Attachments:
  • #10174

    Serg
    Участник

    ваш 3012 это вообще предыдущая модель, где там 50гб пропускная способность!!
    вообщем «это утомительно и не кому не нужно»
    протестируйте еше флюком патч корды выложите тут результаты)
    если не умеете вести диалог, а опираетесь на какую-то иерархию плюсов минусов, то по моему вы дискредитируете идею этого портала. мне от вас пользы ноль. слушать вы не умеете. что тут сказать тестируйте сетевые карты и патч корды копируя iperf-ом из вакуума в вакуум. как говориться мне нечего добавить вышесказанному.

  • #10175

    uxTuaHgp
    Участник

    Тут поставим жирную точку.

    Уважаемый Сергей Дианин,
    Поскольку Вам от меня пользы ноль — прошу Вас, не тратьте больше на меня свои драгоценные внимание и время — не заходите, не читайте и не коментируйте в мох темах.

    Остальным мемберам вэлкам :cheer:
    Осталась странность с падением транка при отвале первого интерфейса и добавилась странность с производительностью транка.
    Сравнили конфиги портов и транков на коммутаторе для двух лезвий — все один в один.
    Сравнили все настройки интерфейсов в AIX — тоже идентично.

    Я бы забил, тем более в данном конкретном случае производительность сети не так важна, однако на будущее разобраться не мешало-бы.

    Вдруг завтра у меня спросят [strike]»почему ракеты плохо летают»[/strike] почему на транке из 4-х 1GE мы не можем выйти за 900Мбит/сек.

  • #10179

    andrewk
    Участник

    и еще один бесплатный совет:

    chdev -l ent4 -a interval=long

    или наоборт на циске сделайте короткие интервалы между LACDPU.

  • #10183

    uxTuaHgp
    Участник

    Спасибо, уже обратил внимание.

  • #10185

    uxTuaHgp
    Участник

    Чтение документации действительно просветляет :laugh:

    Хэшметод надо выбирать правильно:

    default: В этом режиме для определения применяемого адаптера используется целевой IP-адрес пакета. При обработке пакетов других протоколов, например, ARP, для вычислений применяется последний байт целевого адреса MAC. В этом режиме при передаче пакетов по каналу EtherChannel сохраняется очередность их отправки, но [b]не всегда обеспечивается эффективное использование пропускной способности канала[/b].

    src_dst_port: В этом режиме для определения применяемого адаптера используются номера исходного и целевого порта UDP или TCP пакета (номера исходного и целевого портов складываются и делятся пополам, а полученное значение передается алгоритму выбора). Если пакет не относится к UDP или TCP, то применяется последний байт целевого IP-адреса. Если пакет не относится к IP, то применяется последний байт целевого MAC-адреса. Этот режим [b]обеспечивает хорошее распределение пакетов[/b] в большинстве случаев, как для клиентов, так и для серверов.

    К сожалению на ходу это не меняется… постараюсь не забыть отчитаться о результатах.
    Пока что изменил девайс с -P.

  • #10292

    uxTuaHgp
    Участник

    Изменение метода хэширования результатов не дало…
    Кстати, кроме iperf есть в AIX командочка spray, правда не такая гибкая.

  • #10824

    yota
    Участник

    я не работал с блейдами и старательно избегаю HEA/IVE, чего и Вам советую 🙂

    В чем причина такого недоверия?

  • #10863

    andrewk
    Участник

    в их «неынтырпрайзнутости» 🙂

    А если серьезно:
    1. блейдом нельзя управлять с помощью HMC
    2. на блейде нельзя сделать конфигурацию из двух VIO
    3. в блейде всего один внутренний диск — не сделаешь зеркала
    4. в блейде в качестве сетевого адаптера используется IVE
    5. для блейда нужно специальное шасси, которое тоже нужно управлять
    6. доступ к консоли блейда (SOL) работает только через первый интерфейс (ent0) и если с ним что-то случается, Вы остаетесь без доступа к серверу
    Насколько я понимаю, пп. 2 и 3 можно сделать на «больших» двойных блейдах (типа 702?), но тогда у Вас в шасси встает в 2 раза меньше блейдов.

    IVE/HEA:
    1. Один на блейд, в серверах — один на ноду. Хочется больше — надо покупать дополнительные ноды, что означает новые активированные процессоры и память.
    2. В случае выхода из строя IVE/HEA у Вас перестают работать сразу же много LPAR’ов.
    3. VLAN’ы на портах IVE/HEA нельзя добавлять/удалять с помощью DLPAR.
    4. Для определения количества логических портов требуется установка Multi Core Scaling value (MCS), которая требует перезагрузки всего сервера
    5. Etherchannel между IVE/HEA и обычным PCI Ethernet-адаптером раньше нельзя было сделать. Сейчас вроде (начиная с 6.1TL4?) можно.
    6. Если Вы делаете Etherchannel на одном логическом порту, то Вы должны его делать на всех логических портах, которые ходят через один и тот же физический порт.
    7. Там еще были какие-то ограничения с выставлением Promiscous Mode для VIO SEA, но сейчас не помню и лень вспоминать. Кроме того, что IBM не рекомендовал использовать для SEA эти порты.

    Естественно — все это IMHO и AFAIR/K. Если Вы тащитесь от блейдов — используйте их на здоровье!

  • #10868

    uxTuaHgp
    Участник

    Насколько я понимаю, два VIOS никак даже на сдвоенном лезвии не поднять, но зеркальный внутренний диск на здоровье.
    По большому счету лезвия хороши в качестве высоко нагруженных серверов приложений, надежность которых обеспечивается кластером или еще чем — компактно и производительно.
    В таком случае и IVM не нужен.

    Если использовать для тестирования и разработки, то вполне удовлетворит по надежности и один VIOS и загрузка с зеркала по SAN.

  • #14227

    Артем
    Участник

    При использовании Link Aggregation с backup адаптером, в ходе теста вsяснилось, что LA не возвращается на primary channel после поднятия интерфейсов. По документации — должен:

    Automatic recovery

    After a failover from the primary channel to the backup adapter, EtherChannel and IEEE 802.3ad Link Aggregation automatically starts a recovery to the primary channel that failed when at least one of its adapters recovers.
    This default behavior can be modified by setting the auto_recovery attribute to no. With this setting, the EtherChannel or IEEE 802.3ad Link Aggregation continues operating on the backup adapter after the failover. Operations on the backup adapter continue until one of the following events occur:

    a failover is forced
    the backup adapter fails
    a ping failure is detected on the backup adapter

    Поверх этого Link Aggregation используется SEA — ent6 ( в failover конфигурации на 2 vios).
    Конфигрурация:
    $ lsdev -dev ent12 -attr | awk ‘{print $1, $2}’
    attribute value

    adapter_names ent8,ent10
    alt_addr 0x000000000000
    auto_recovery yes
    backup_adapter ent0
    hash_mode src_dst_port
    interval long
    mode 8023ad
    netaddr 0
    noloss_failover yes
    num_retries 3
    retry_time 1
    use_alt_addr no
    use_jumbo_frame no

    При проведении теста ent8,ent10 опускаются на свитче — происходит failover на ent0. При поднятии ent8,ent10 — failback не происходит. В entstat видно, что линки подняли, с ними все хорошо, но возращаться на использование основного канала не хочет, пишет:
    Active channel: backup adapter

  • #14233

    uxTuaHgp
    Участник

    по моему в этой теме уже обсуждалось, что это особенность LHEA — виртуальный свитч не передает даунлинкам сигнал о падении аплинка, как это происходит в железных коммутаторах.
    Приходится использовать IP для обнаружения обрыва и перехода на бэкап и обратно.

  • #14235

    Артем
    Участник

    Александр, забыл уточнить — в моем случае LHEA не используется, используется обычные физические Ethernet адаптеры.

  • #14236

    uxTuaHgp
    Участник

    о!
    а они там таки есть?
    Если таки есть, то, возможно, следует поковырять настройку коммутаторов корзины — может быть дело в них?

  • #14238

    Артем
    Участник

    Еще уточняю — вопрос по Link Aggregation не на PS702, а на 595, просто тема сходная, потому здесь спросил.

  • #14239

    uxTuaHgp
    Участник

    Ни разу не сходная.
    В этой теме специфика лезвий и HEA, а у вас тема совершенно другая и скорее проблема в софте.
    PMR то уже создали?

  • #14241

    Артем
    Участник

    Да, PMR открыл, но в поддержке пока не особо шевелятся 🙁

  • #14243

    uxTuaHgp
    Участник

    PMR-ы вообще безобразно долго решаются.
    Наиболее продуктивный способ решать их более или менее быстро — работать напрямую с Остином, если английский позволяет…

  • #14245

    andrewk
    Участник

    а я снова вставлю свои 5 копеек не по теме — очередной PMR в очередной раз решался долго. Основной лейтмотив — мы не можем воспроизвести ошибку в своем тестлабе. Был открыт Complaint. В течение 1 месяца нашлись все баги, все начало воспроизводиться, и был выпущен фикс. Вывод — открывайте комплейнты и не ленитесь трахать IBM за свои уже заплаченные деньги (ну или деньги Ваших клиентов).

Для ответа в этой теме необходимо авторизоваться.