fc over infiniband

Главная Форумы POWER Systems AIX/Hardware fc over infiniband

Просмотр 8 веток ответов
  • Автор
    Сообщения
    • #7502
      Serg
      Участник

      Кто нибудь знает под AIX-ом, infiniband GX++ 12X DDR Adapter, подерживает FC over IB, и ETH over IB? использовал ли кто нибудь такое решение?

    • #7534
      Golubev Dmitry
      Участник

      А можно ответить вопросом?
      С теоретической точки зрения, как Вы себе это представляете???

      Если действительно нужно FCoIB, скажите подробней что уже есть кроме IB и AIX’a?

    • #7535
      Serg
      Участник

      теоретически, это практически работающая технология
      http://www.openfabrics.org/archives/spring2010sonoma/Wednesday/12.00%20Liran%20Liss%20Virtual%20NICs/vnic_vhba_liss.ppt )))
      http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=54&menu_section=52
      которая экономит не мало средств, сильно упрощая все коммутацию , выигрывая в производительности “в разы”))
      работает под vmware, linux, windows ( http://www.mellanox.com/content/pages.php?pg=software_overview_ib&menu_section=34)
      под aix есть (http://www-304.ibm.com/services/weblectures/dlv/partnerworld/online/ltu9224f/392240.ppt)
      что то заявлялось в 2005 году, как сейчас обстоят дела может кто знает?

    • #7536
      Eldar Zhensykbaev
      Участник

      Для этого потребуется IB/FC & IB/Eth gateway, соединяющий собственно IB сеть и существующие сети хранения и передачи данных.
      Фактически, добавляется промежуточный шлюз, создавая вопрос совместимости с коммутаторами Ethernet и FC.
      Более того, самая медленная часть сетей станет самым узким местом этой конструкции. Не вижу смысла в 40Гбит/с от сервера до IB коммутатора, если дальше идет 1GE и 4/8GFC
      IB имеет смысл для создания HPC кластеров, требующих задержку коммутации не более 1–3 микросекунд.

    • #7539
      Serg
      Участник

      IB GX++ адаптер расшаривается вроде как до 16 лпаров, infiniband гейтвеи реализуют N_PIV, который сейчас поддерживают все комутаторы. упрощение в комутаторах, коммутации и цене ощутимое.

    • #7545
      Golubev Dmitry
      Участник

      Как я понимаю осталось только научить AIX использовать IB как среду для передачи SCSI команд, т.е. как я понимаю нужен драйвер, который будет поддерживать протокол SRP, но что-то мне такой не попался для указанного адаптера. Хотя может я и ошибаюсь…

    • #7547
      Sever
      Участник

      infiniband GX++ 12X DDR Adapter в серверах POWER используется исключительно для построения железного кластера… В него втыкается многожильный медный кабель, второй конец которого соединяется с аналогичным адаптером в экспаншене IO или в другом процессорном блоке. Основная функция этой железки – способность передавать огромный поток данных за минимальное время на очень малое расстояние.

    • #7614
      Golubev Dmitry
      Участник

      Infiniband GX++ 12X DDR Adapter в серверах POWER используется исключительно для построения железного кластера…

      Пожалуй позволю себе не согласится с подобным утверждением, есть возможность использовать для подключения к коммутатору IB со всеми вытекающими последствиями… Малое расстояние должно измеряться в мм, см или м или в десятках метров? ну скажем 10м достаточно или нет?
      И как понимать утверждение огромный поток данных за минимальное время?
      Может было более правильно сказать передача данных с минимальными задержками, а вот про поток данных очень спорно (посмотрите например чем отличается 750 и 755 машины с точки зрения слотов расштрения и как их позиционирует IBM)

    • #7616
      Sever
      Участник

      gdimka писал(а):

      [i]Infiniband GX++ 12X DDR Adapter в серверах POWER используется исключительно для построения железного кластера…[/i]

      Пожалуй позволю себе не согласится с подобным утверждением, есть возможность использовать для подключения к коммутатору IB со всеми вытекающими последствиями…

      Техническая возможность есть, но IBM не дает её использовать для классических серверов сектора коммерческого использования. Возможность свободного подключения этих машин к коммутаторам IB привела бы к тому, что можно было бы неконтроллируемо собирать многонодные HPC конфигурации любой мощности вплоть до мощности суперкомпьютера, а это уже другие деньги и потенциально другие сектора рынка — наука и военное назначение. В классических моделях x20, x50, x70, 780, x95 недопускается объединение процессорной мощности многих машин через IB в единое целое, а подключение экспаншенов IO через 12x — пожалуйста.

      Соединение многих нод через IB на коммутаторах есть только в 575ых
      Пример на фотках: http://www.cisl.ucar.edu/computers/bluefire/gallery.jsp

      Малое расстояние должно измеряться в мм, см или м или в десятках метров? ну скажем 10м достаточно или нет?

      Из доступного ассортимента IBM нам разрешается использовать 12X кабели от 0.6 до 3.0 метров без каких либо потерь на передачу, можно задействовать 8ми метровый, но он требует адаптер специальной фичи. Все соединения CEC c экспаншенами IO каблями 12х организуются в форме замкнутой петли с жестким ограничением – не больше 4х экспаншенов на петлю. Полная аналогия с петлями RIO/G, только там меньше пропускная способность, кабели могли быть длиннее и максимальное число элементов в петле ограничивалось шестью.

      И как понимать утверждение огромный поток данных за минимальное время?
      Может было более правильно сказать передача данных с минимальными задержками,

      Согласен.

      а вот про поток данных очень спорно (посмотрите например чем отличается 750 и 755 машины с точки зрения слотов расштрения и как их позиционирует IBM)

      755я это высокая стойка 19ти дюймов забитая 750ыми, которые соединены между собой короткими 12х кабелями в виде той же пели. Это будет недорогой HPC кластер, в процессорах снят «тормоз» на юнитах отвечающих за FLOAT вычисления. 755-я будет хорошо обсчитывать матрицы в оперативной памяти ж) Процессорной мощности много, а вот потенциал подключения быстрого IO отсутствует. Бестолковая для бизнеса железка. Это моя имха на 755 😉

      http://www-03.ibm.com/support/techdocs/atsmastr.nsf/WebIndex/FQ128787

Просмотр 8 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.