FCoE

Просмотр 25 веток ответов
  • Автор
    Сообщения
    • #17990
      Pavel Alexei
      Участник

      Кто внедрял в продакшн subj? Какие остались впечатления?
      А то как-то дальше теории я не ушел. Те у кого есть деньги, у тех есть “настроящий” FC и эспериментировать народ не хочет. У остальных денег на 10G не хватает. Есть у нас одно исключение, но там народ прочно сел на iSCSI на 10Gb.
      Я как-то пытался на паре форумов в linkedin мнения вокруг альтернатив FC узнать (FCoE и iSCSI).
      Мнения были диаметрально противоположные. Понятно, что очень много зависит от того “кто”, “как” и “на чем” внедряли.
      Что касается FCoE у меня лично мнение, что лучше его до сториджа не “тянуть” и оставить ему только первую милю: от сервера до конвергентного свича. Оттуда получить чистый FC и далее по накатанному.
      Интересно, какие есть у народа мнения.
      Клиент у меня один загорелся, вот думаю, что еще ему преподнести кроме своего мнения, да красивых мурзилок из всякой литературы.

    • #17991
      Oldnick
      Участник

      видел только Ethernet over FC

    • #17992
      Eldar Zhensykbaev
      Участник

      Я как-то пытался на паре форумов в linkedin мнения вокруг альтернатив FC узнать (FCoE и iSCSI).

      У меня есть одно кардинальное возражение против iSCSI – неправильный дизайн SAN.
      Каждый раз, когда я сталкиваюсь с построением SAN на iSCSI, все пытаются запихнуть весь трафик (mgmt, app, vmotion, storage) на одни и те же адаптеры, на одну и ту же сеть. При этом не задумываясь про настройку QoS. FCoE по своей природе использует QoS, поэтому поломать такое решение надо постараться. А в случае iSCSI и стараться не надо – просто достаточно не додумать дизайн до конца.
      10G FCoE никак не запрещает использовать 10G iSCSI на той же сети. Вопрос будет в добавочной цене решения (CNA, если его еще нет. Лицензии на FCoE)

    • #17993
      Pavel Alexei
      Участник

      iSCSI это отдельный разговор.
      Меня сейчас интересует опыт использования FCoE и мнения по поводу где и как его стоит использовать.
      Как я сказал, меня не вдохновляет его внедрение для end-to-end и думается он хорош только на первой миле: сервер – converged switch, да и то наверное в основном для blade решений, где все “плохо” со слотами.
      Или считать всеобщее молчание – знак согласия и тем к клиенту и идти 🙂
      Тем более у клиента уже есть FC и FCoE кстати тоже. Но последний в виде Cisco UCS, который и втыкатеся в FC, прям как я и предполагаю.
      Думается что “желание” у клиента связана с нюансами лицензирования Brocade SAN свичей. Каждый раз когда покупают свичи (что в rack что блейд), как раз они умудряются лиензировать только часть портов, потом “выбивают” деньги на активацию оставшихся и “плачутся” почему так дорого. Но это всего лишь догадка, что реально “болит” узнается на месте. Пока же я занят другими более срочными делами я разговор “ототвинул” на чуть подальше.

    • #17994
      Eldar Zhensykbaev
      Участник

      У нас внутри используется, но у меня нет деталей. Насколько я помню, новые DC построены почти целиком на FCoE. DCI линки точно либо FC, либо FCIP. FCoE не приспособлен для DCI

      Думается что “желание” у клиента связана с нюансами лицензирования Brocade SAN свичей.

      К сожалению, это всеобщий тренд. Куда ни посмотри, все стараются получить дополнительную прибыль в виде лицензий на фичи, on-demand активацию. Либо в самом плохом виде – чудовищные цены на апгрейд и/или поддержку.
      К сожалению, FCoE не решает проблем совместимости Cisco-Brocade.

    • #17995
      Pavel Alexei
      Участник

      Вот мля пипец
      http://forums.juniper.net/t5/The-New-Network/FCoE-FCF-FC-Switch-Not-Included/ba-p/159248
      Оказывается на текущей реализации FCoE нельзя никак обойтись без FC свича. Т.е. даже если у меня все сервера с FCoE портами и сториджи тоже, сетевые свичи поддерживают FCoE, то все равно в фабрике должны быть FC свичи, или конвергентные, с FCoE и FC портами.

    • #17996
      Pavel Alexei
      Участник

      Кто-то попал на бабки. На очень хорошие….. Адын Qlogic Virtual Fabric Extension стоит 7K$ end user price.
      http://www.ibm.com/developerworks/forums/thread.jspa?messageID=14962186

      Судя по имени пострадальца, это тута, рядом со мной. IBM Romania думаю ему проверяла конфигурацию.
      Они мне уже как-то предлагали сунуть клиенту решение с BC и FCoE. Но тогда не было еще поддержи FCoE в Storwize и они прелагали этот компот + Qlogic Virtual Fabric Extension. Но и тогда оно мне было не очень по вкусу, я поменял на Brocade Converged switch. Но тогда проект прогорел.

      P.S. В redbook “Storage and Network Convergence: FCoE and iSCSI” тоже такое упонянуто. Скачал еще в прошлом году PDF, так прочитать и не удосужился.
      Ходишь как по зыбким пескам все время.

    • #17997
      Eldar Zhensykbaev
      Участник

      Вот мля пипец
      http://forums.juniper.net/t5/The-New-Network/FCoE-FCF-FC-Switch-Not-Included/ba-p/159248
      Оказывается на текущей реализации FCoE нельзя никак обойтись без FC свича. Т.е. даже если у меня все сервера с FCoE портами и сториджи тоже, сетевые свичи поддерживают FCoE, то все равно в фабрике должны быть FC свичи, или конвергентные, с FCoE и FC портами.

      “И — боже вас сохрани — не читайте до обеда советских газет” (C) Собачие сердце
      Читайте правильные газеты. Чтобы не обвиняли в предвзятости, авторитетный и независимый источник: http://snia.org/sites/default/education/tutorials/2012/fall/networking/JohnHufferd_Fibre_Channel_over_Ethernet-V3.pdf
      Все прекрасно работает. Надо только отличать FCF и FCoE NPV (FIP Snooping). Говорим про FCoE – подразумеваем FCF (Fibre Channel Forwarder). У меня в лабе прекрасно работала схема: UCS –(FCoE)-> Nexus –(FC)-> NetApp. И то на последнем линке чистый FC только потому, что нам не дали FCoE карточки для стораджа. Работала (в прошедшем времени), потому что NetApp забирают
      Если интересно, можем пообщаться по FCoE и деталям реализации в частности.

    • #17998
      Eldar Zhensykbaev
      Участник

      Кто-то попал на бабки. На очень хорошие….. Адын Qlogic Virtual Fabric Extension стоит 7K$ end user price.
      http://www.ibm.com/developerworks/forums/thread.jspa?messageID=14962186

      Вот тут (http://www.redbooks.ibm.com/abstracts/tips0708.html) прямо написано:
      This is the first 10 Gb switch for IBM BladeCenter that is convergence ready (that is, able to transmit Converged Enhanced Ethernet (CEE) to a Fibre Channel over Ethernet (FCoE) capable top-of-rack switch)
      Т.е. фактически это FIP Snooping, а не FCF. Кто “не читатель, а писатель”, тот и сам себе враг.

      P.S. В redbook “Storage and Network Convergence: FCoE and iSCSI” тоже такое упонянуто. Скачал еще в прошлом году PDF, так прочитать и не удосужился.
      Ходишь как по зыбким пескам все время.

      Концепция “если ничего не помогает, прочитайте инструкцию” уже давно стала слишком дорогой (всеми любимый TCO). Вот от лени/забывчивости/нежелании читать и все беды (никаких намеков)
      Конечно, не все идеальные. Я тоже иногда прибегаю к такому принципу, но только в рамках лабы. Перед работами в реальном окружении, или перед рисованием архитектуры, любые сомнения должны быть развеяны. Если не уверен, что все будет работать – принимается решение, что не работает, пока не будет четкого и явного подтверждения.

    • #17999
      Pavel Alexei
      Участник

      Вот от лени/забывчивости/нежелании читать и все беды (никаких намеков)

      Ты забыл добавить еще “/нехватка времени/нехватка места в оперативной памяти”.
      С первым понятно.
      Второе – очень сложно все время жонглировать разными “нюансами” относящимися к разным областям. Оно конечно и может лежать где-то в мозгу, но вот вовремя не всплыло. Пусть кинет в меня камнем тот пресэйл, который при конфигурировании каждого дивайса каждый раз перечитывает соответствующие редбуки (хотя бы).

      Если не уверен, что все будет работать – принимается решение, что не работает, пока не будет четкого и явного подтверждения.

      Оно понятно, но границы “четкого” и “явного” всегда размыти. Оно только в идеальных условиях дальность прямой видимости бесконечно. В жизни всегда есть какие-то допустимые параметры.

      В данном случае, правда я не подходил серьезно к задаче, дальше научно-популярно-фантастической литературы не ходил. Посему для меня это было сюрпризом, что есть DCB(FSB) и FCF дивайсы. Но странно, что сколько про FCoE я не читал, нигде никто на это не акцентировал внимания. А уже статей на тему что FCoE это мертворожденное дитя я начитался.

    • #18000
      Eldar Zhensykbaev
      Участник

      [quote]Вот от лени/забывчивости/нежелании читать и все беды (никаких намеков)

      Ты забыл добавить еще “/нехватка времени/нехватка места в оперативной памяти”.[/quote]
      Так, тренировать оперативную память надо! 😉
      Ну, и растягивать рабочее время (насколько это приемлимо)

      С первым понятно.
      Второе – очень сложно все время жонглировать разными “нюансами” относящимися к разным областям. Оно конечно и может лежать где-то в мозгу, но вот вовремя не всплыло. Пусть кинет в меня камнем тот пресэйл, который при конфигурировании каждого дивайса каждый раз перечитывает соответствующие редбуки (хотя бы).

      Кидать не буду, но если чего-то не помню или не уверен, что вышла нужная версия софта, то обязательно лезу либо в доки, либо поиск по багам, либо по mailer-list.
      Слишком дорого обходились ошибки моих коллег, когда я еще продавал IBM 🙂

      В данном случае, правда я не подходил серьезно к задаче, дальше научно-популярно-фантастической литературы не ходил. Посему для меня это было сюрпризом, что есть DCB(FSB) и FCF дивайсы. Но странно, что сколько про FCoE я не читал, нигде никто на это не акцентировал внимания. А уже статей на тему что FCoE это мертворожденное дитя я начитался.

      Я тоже не сразу все понял. Спасало то, что в досягаемости есть действительно гуру этого дела, и они разъясняли все подробности.

    • #18005
      Eldar Zhensykbaev
      Участник

      Кстати, надавно опубликовали case study. Boeing полностью перешел на FCoE:

      Нажмите для доступа к boeing.pdf

    • #18006
      andrewk
      Участник

      не верю (с)

    • #18007
      _KIRill
      Хранитель

      andrewk, давай сделаем вид что мы поверили 🙂 Циске будет приятно, что хоть кто-то верит в эти сказки про FCoE.

      ---As If, But Not---

    • #18008
      Eldar Zhensykbaev
      Участник

      Сами тоже рассказываете. Мы-то хоть верим в то о чем говорим 😉

    • #18009
      Pavel Alexei
      Участник

      Сами тоже рассказываете. Мы-то хоть верим в то о чем говорим

      Не стоит отождествлять себя с компанией. Это не “наш” стиль. Сэйлы пусть этим балуются. IMHO технари должны иметь свое мнение. Если оно не соответсвует общей директиве партии, можно ее оставить при себе, на самый худой конец. Но не стоит идти под фанфары и общими знаменами со всеми вместе к обрыву.
      Все время в таких случаях вспоминаю главу представительства Novell в России, годах в 90-х. Когда Novell купил UnixWare, он на каждом семинаре глаголил: Unixware это наше все. Когда купили WordPerfect, с таким же рвением он с трибун восклицал – Unixware уже не интересно, догоним и перегоним Microsoft. А потом пониться “посыпал” голову пеплом, зря Netware задвинули на второй план, мы должны вернут ему первенство сетевой ОС. Но было уже поздно. Но это “их” работа, а не “наша”. (Куда привели Novell все эти дергания мы знаем.)

      Что касается FCoE, как в общем-то и всего нового, правда где-то в середине. В технологию вбухано столько бабла, что просто так выкинуть ее не получится. Cisco и Brocade – это не IBM, которому это не в новшество. Значит какой-то кусок пирога FCoE таки достанется. Думаю что “традиционный” FC, FCoE и iSCSI долго еще будут друг у друга одеяло оттягивать. И тут уж “как получится”. Если бы китайцы научились клепать дешевый, пусть и кривой, 10Gb Ethernet, то iSCSI давно бы стяпал большую часть этого пирога. Цена решает все. Вспомним победу Ethernet над всеми остальынми конкурентами.

    • #18012
      Eldar Zhensykbaev
      Участник

      Не стоит отождествлять себя с компанией. Это не “наш” стиль. Сэйлы пусть этим балуются. IMHO технари должны иметь свое мнение. Если оно не соответсвует общей директиве партии, можно ее оставить при себе, на самый худой конец. Но не стоит идти под фанфары и общими знаменами со всеми вместе к обрыву.

      Я попробовал FCoE. Никаких проблем не вижу. Ну, требуются некие “предварительные ласки”, а потом стандартные zone, zoneset, fcdomain, ivr.

      Что касается FCoE, как в общем-то и всего нового, правда где-то в середине. В технологию вбухано столько бабла, что просто так выкинуть ее не получится.

      И да и нет. В том виде, что FCoE сейчас, им уже можно нормально пользоваться. Не хватает N-N соединения, но в рамках ЦОДа это не проблема. Следущая версия это исправляет и приносит интересное решение распределенного коммутатора.

      Если бы китайцы научились клепать дешевый, пусть и кривой, 10Gb Ethernet, то iSCSI давно бы стяпал большую часть этого пирога. Цена решает все. Вспомним победу Ethernet над всеми остальынми конкурентами.

      Вот меня здесь пугает “пусть и кривой”. А потом занимайся поиском что и где глючит.

    • #18015
      _KIRill
      Хранитель

      Сами тоже рассказываете. Мы-то хоть верим в то о чем говорим 😉

      Stranger, под “сказками”, лично я, подразумеваю попытки представить нишевое решение, как единственно правильное. “One size fit all” – это маркетинг. В каждом конкретном проекте необходим инфивидуальный подход.

      ---As If, But Not---

    • #18016
      Eldar Zhensykbaev
      Участник

      Stranger, под “сказками”, лично я, подразумеваю попытки представить нишевое решение, как единственно правильное. “One size fit all” – это маркетинг. В каждом конкретном проекте необходим инфивидуальный подход.

      Вот здесь я полностью согласен. И я не пытаюсь заменить все что можно на FCoE (или еще что-нибудь). Лично я люблю чистый FC

    • #18017
      Pavel Alexei
      Участник

      Stranger написал:

      Вот меня здесь пугает “пусть и кривой”. А потом занимайся поиском что и где глючит.

      Да вот никто нас не спросит, к сожалению. Там где за каждую копейку готовы удавиться (при миллионых прожектах), заставят и не спросят. Если не начальство, так клиент. Посколько про отлично работающий iSCSI воодушевленно расскажут так же, как и ты сейчас “за” FCoE. И неважно, что и как там на самом деле имеет место.

      _KIRill написал:

      нишевое решение

      Оно по сути любое решение нишевое. Наука в том, чтоб правильно очертить рамки этой ниши.

    • #18018
      andrewk
      Участник

      я попытаюсь объясниться – как технология FCoE может быть самой красивой и самой грамотной и самой лучшей и самой технической и просто самой-самой. И я абсолютно уверен, что а) технология уже рабочая и достаточно отлаженная (сколько времени уже прошло), б) ее действительно внедряют и используют, в т.ч. и в Боинге.

      Не верю я рекламному проспекту фирмы Cisco. Я, хоть никогда не принимал участия в написании подобных документов, но имею представление, как они пишутся. Поскольку на базе одного моего внедрения тоже был потом написан красивый проспект, как одна крупная компания перешла на решения другой крупной компании. Сказать, что это было неправдой? Нет, правда – действительно внедрили. Только вот далеко не полная. Никто никуда не переходил и не уходил. Внедрили на новом участке, где еще не было до тех пор никакого решения.

      Точно также – проспект от циски. Не верю я, что Боинг полностью перешел на FCoE. Я работаю в крупных энтерпрайзах, наверно, не так давно – скоро будет всего 8 лет как. Но за это время я ни разу не видел полной и безостановочной миграции с решения одного вендора на решение другого. Я даже сам участвовал в проектах по миграции с оборудования HP/Sun на IBM. Но при этом все равно всегда оставалась часть legacy инфраструктуры на HP/Sun. А зачастую – даже не Legacy, а вполне себе современные и используемые системы. Хорошо, когда начинается какой-то новый большой проект – можно выбрать новую архитектуру, новое оборудование, все сделать по-новому и снова правильно (на ближайшие полгода). И даже FCoE там внедрить. Но перенести всю инфраструктуру целиком – да вы убьетесь убеждать менеджмент, что порт FCoE в 2 раза дешевле, чем 2 порта FC и сеть и для этого надо взять и проапгрейдить все! А ведь в данном случае это действительно все – нужны новые адаптеры в серверы, нужны новые свитчи, нужен новый экспириенс админов, а это значит – надо их посылать учиться или нанимать внешних консалтеров, которые все внедрят и обучат админов на месте. В таком случае стоимость одного порта FCoE уже не играет никакой роли. При этом давайте не забывать, что во всех крупных энтерпрайзах (и Боинг не исключение) уже были построены фабрики SAN и локальные сети. И зачастую на разнообразном оборудовании. И вот стоит у Вас какой-нибудь HP Blade System допотопного c-класса с непонятным QLogic’овским FC-свитчом, который Вам надо подключить к новому FCoE-коммутатору от Cisco. Я думаю, Вы можете представить, что о Вас будет думать администратор, если Вы ему это предложите. А теперь представьте замечательные отношение сетевых администраторов и стороджистов, которые долго будут выяснять, кто же теперь должен администрировать этот новый коммутатор Cisco.

      Так что на практике имхо технология FCoE применима только в том случае, если Вы строите с нуля новый датацентр. Тогда – пожалуйста, можно поиграть. Наверно, даже будет хорошо жить.

      И возвращаясь к рекламе Cisco. Я не пророк, но возьмусь предположить, что дело было гораздо проще. Боинг просто купил шкафчик UCS, а Cisco обещала ему поставить еще 2 бесплатно в случае, если можно будет из этого сделать кейс. Я бы по крайней мере на меньшее не согласился.

    • #18023
      Victor Sedyakin
      Участник

      А теперь представьте замечательные отношение сетевых администраторов и стороджистов, которые долго будут выяснять, кто же теперь должен администрировать этот новый коммутатор Cisco.

      Очень немаловажный фактор – в больших компаниях SAN и LAN администрируют совершенно разные отделы с разным руководством. У нас, к примеру, при построении нового ЦОД для крупного заказчика именно этот фактор послужил решением в пользу выбора традиционной инфраструктуры 8Gb FC + 10Gb Ethernet вместо модного FCoE.

    • #18095
      Pavel Alexei
      Участник

      to andrewk:

      И я абсолютно уверен, что а) технология уже рабочая и достаточно отлаженная (сколько времени уже прошло), б) ее действительно внедряют и используют,

      Просмотрев этот документ
      http://www-01.ibm.com/support/docview.wss?uid=ssg1S1004113
      обратил внимание на то, что в разделе FCoE везьде Clustering not supported.
      Решил глянуть на SSIC и посмотреть как вообще дела обстоят с другими платформами.
      http://www-03.ibm.com/systems/support/storage/ssic/interoperability.wss
      Выбираем Connection Protocol – FCoCEE и начинаем “перебирать” Adapter (HBA, CNA, etc). В этот момет смотрим, где хоть что-то появляется в разделе Clustering. Когда “вылезает”, выбираем MS Clusring, Vmware, HACMP и смотрим что же тестировалось. Поскольку понятно, что оно должно работать и просто до сих пор не проводились тесты, просто интересны приоритеты у IBM.
      CN4054 (Flex) – почти все стриджи
      LOM на Flex – почти все стриджи
      5270 – для AIX 6-7, только SVC/Storwize, для остальных 5.3)
      8271 – только Storwize
      42C1800, 42C1820б 49Y7950 – пусто, а это все CNA что есть для rack X86.
      42C1830 – DS8000
      QLE8142 – XIV
      QMI8142 – XIV

      Все это мне говорит, что FCoE для IBM еще новье, и пока еще полный цикл тестов не прошли. Самое-самое приоритетное сейчас в IBM это Flex платформа, сториджи Storwize, XIV.
      Не думаю что в “серьезных” инсталяция запускали FCoE без предварительного тестирования онного у IBM. А серьезная инсталяция IMHO подразумевает так же и какую-то кластеризацию (не обязательно конечно, но вероятность очень большая).
      Так что по крайней мере для продуктов IBM я бы не стал так категорично утвержадть что оно так все “отработано”.

    • #18096
      andrewk
      Участник
    • #18099
      Pavel Alexei
      Участник

      Когда сводил в “общую” таблицу хотел смержить 5720 и 5708, промахнулся.
      Т.е.
      5708,5270 – для AIX 6-7, только SVC/Storwize, для остальных стоиждей AIX 5.3
      на самом деле “читать”
      PowerHA 6.1 и 7.1 есть только SVC/Storwize
      PowerHA 5.4 и 5.5 еще появляется и XIV
      Кстати SSIC уже предалает и Cisco Nexus, кроме Brocade.
      Все равно это далеко еще не все, т.е. это еще не массовое “прозводство”.

      P.S. Пора мне научиться правильно мысли свои излагать 🙁

    • #18392
      Pavel Alexei
      Участник

      В IBM кто-то нарисовал конифигурацию с CN4093, с подключенной к нему TS3100 ленточку. Что-то оно мне не понравилось и решил перепроверить. Захотелось плакать.
      Есть FCF свичи, а есть Converged Switch, для IBM это 2 большие разницы. Вторые очень близки к “обычным” FC свичам, там все “красиво”. Но посколько Converged Switch B32 (Brocade 8000) снят с продажи и сколько ему еще жить в BC, неизвестно, то о нем помолчим.
      Зато “стандарные” FCF, типа Brocade VDX или CN4093 поддерживают только E_type порты, и напрямую FC endpoint к ним не подключить. Вообще VDX в качестве соседа хочет что-то не меньше SAN40B с FOS 7.x, а у “меня” сплошняком SAN24B с 6-ой.
      А работа с tape через CNA на FLEX вообще “песня”, зацените
      Emulex VFA + 10Gb Ethernet Pass-thru + Cisco MDS/Nexus + tape (TS3200/TS3300/TS3500)
      CNA1054 + CN4093 + Cisco MDS/Nexus + tape (но только TS3300, TS3500)
      Причем данные из SSIC и Interoperability Guide отличаются.

Просмотр 25 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.