SAN desing

Просмотр 25 веток ответов
  • Автор
    Сообщения
    • #12172
      Pavel Alexei
      Участник

      Кто возьмется помочь в нарисовании дизайна SAN? Как всегда, каждый проект запускался со своими свичами, своими сторижами. А сейчас когда купили V7000 и задумались о виртуализации, хрен… В наличии 4 независимых “островка”: HP servers + EVA, IBM Power + DS5100, BladeCenter подключенный к тому же DS5100 напрямую; другой BladeCenter + DS3500. Уже мне понятно, что надо на части свичей прошивку подымать. Понятно, что будет большие траблы с остановками, поскольку надо будет соединять все и зонировать. Слава богу, что хоть full fabric везьде есть.
      На самом деле я нарисовал, как я все это вижу: 2 фабрики, каждая с топологией звезда. Только меня смущают в моей схеме куча вещей, от простых, типа сколько портов от V7000 стоит подключать, до того, что как-то “путанно” будет в моей схеме будет виртуализированный трафик ходить (типа с одного “конца” от хоста до V7000 в другом конце, та обратно за данными, и опять их в другой конец гнать непосредственно уже хосту.
      Я уже обращялся в “наш” IBM, но кроме общих фраз и наставлений пока ничего.
      Может кто возмется помочь? там не очень много узлов.
      Не хочу сюда visio схемы ложить, пошлю непосредственно на личный email.

    • #12173
      andrewk
      Участник

      рисование, особенно в visio, стоит денег 😉 попробуйте задать конкретные вопросы. а если Вы IBM’у пообещаете, что купите у них свичи, то они могут сделать Вам дизайн в рамках пресейла.

    • #12174
      Pavel Alexei
      Участник

      Да как-то я сам выступаю в качестве продавца, правда как техник. Как всегда “там” наверху продали, а я с техником от customer должен все это внедрять. Причем на этапе обсуждений даже никто не задумался, а нужно ли что-то еще дополнительно.
      А рисовать я сам умею. Что получилось, я послал лично, через внутренюю почтовую систему форума
      К своей схеме много возражений
      – bladeCenter “до” работал на отдельных каналах с Ds5100, в новой схеме на тех же портах что и power-ы. Я не вижу большой проблемы, но клиенту не нравиться. Если подключать еще порты на DS5100, то портами на свичах не запасешся
      – как уже говорил, ветиевато будет ходить виртуализированный трафик, особенно что касается от HP server для EVA, но уже через V7000, особо “дальний”
      – сколько таки портов подключать с V7000? еслти как по бумаге все 8, то SFP на 8Gb не хватает. Купили только 16 штук, а надо еще 2 хотябы для межсвичевого линка.
      Все что на схеме, кроме Storwize, 4Gb

    • #12175
      Pavel Alexei
      Участник

      > надо еще 2 хотябы для межсвичевого линка
      4 надо. Думаю что надо бы на “цетральных” FCsw1/2 расширить еще порты до полных 24 и докупить 8Gb SFP, но нужны аргументы. Посколько опыта построения даже такого “мелкого” SAN нету, то как-то размахивать теоретическими изысканими не хочется. Больше чем 4 свича на 2 фабрики объеденять не приходилось, все это на паре сторижей да несколько серверов.

    • #12176
      Pavel Alexei
      Участник

      > они могут сделать Вам дизайн в рамках пресейла
      разбежались.
      я уже неделю пытаюсь от них добится чего-то. Но видимо раз уже продано, что уж тут напрягятся.

    • #12178
      Serg
      Участник

      у Вас SAN свичи одного производителя? чем управляете? для начала нужно объеденить SAN зоны в две фабрики. у Вас их я так понял четыре. если названия зон алиасы не повторяются то это достаточно просто.

    • #12179
      Michael
      Участник

      Давайте сначала начнём от простого: “спасение утопающих – это их личное дело”.
      И теперь посмотрим, что мы можем сделать в рамках данного постулата…

      1. Известно ли Вам про SAN Health? Эта программа, будучи натравленной на Ваши свитчи, сама Вам отрисует схемку в Visio и соберёт инфу.

      2. Известно ли Вам про существование курсов про работу с SAN-свитчами? Если, “не горит” и есть возможность, то было бы неплохо сгонять на эти курсы. Точно не помешает, особенно когда начнёте развлекаться с зонированием и обновлением прошивки. 🙂 Насколько мне известно, у МежДелМаша свитчи в основном от Брокейдов, поэтому курс по свитчам можно пройти и у НР – у них тоже Брокейд унутре, как ни странно. :laugh:

      Что касается схемок – то я бы тоже поглядел чисто из любопытства. 😉

    • #12180
      Pavel Alexei
      Участник

      По очереди.
      – я послал по почте ссылку на файлы с Visio. SAN.vsd это то что есть и то что хочется. Ну в том что есть оказалость что еще есть одно шасси с DS3500 по оптике в каком-то другом помещении (о чем клиент не расказал первоначально). SAN-Temp.vsd, это мы временно для тестов запустили, к этому подключили сервер с Windows, “игрались”. Так сейчас и осталось.
      – Все свичи Brocade.
      – Управление только “родными” средствами: Web, CLI. Пока не вижу особой необходимости в чем-то дополнительно, а-ля Brocade DCFM. Всего-то планируются около 10 свичей в 2 фабриках.
      – Фабрик как таковых в общем-то нет. “Отдельно стоящий” свич без зонирования, я бы не приписывал к такому громкому названию. Так что объеденить их на самом деле не так сложно, если не считать, что придется останавливать все сервера, работающие через них. Во первых надо Domain ID поменять, а это потребует disable mode. Потом, подключение к существующей фабрике с зонами; пока не создам зоны сервера будут “слепые”. Но это все мелочи, надо только выбрать время, просто так взять да и полное лезвиями Blade шасси даже минут на 15-20 не остановить.
      – схему проще нарисовать от руки, чем какой-то программой. Текущую ситуация “плачевная”, любая программа будет плеваться как и я 🙂
      – А вот про курсы, так то же самое сказал и IBM. Типа сами разбирайтесь. Посылайте людей на обучение, готовьте своих специалистов и нефиг нам (т.е. им) голову морочить.

      Только вот почему-то ДО продажи этих Storwise никто не задумывался над комплексом проблем. Ни IBM, который радостно хлопал в ладоши, ни наши манагеры, ни манагеры клиента. Кому-то “там” показалось что Storwise это все очень просто, типа все управлние упрощено то уровня дебила. Не спорю, управлять просто, но надо ДО этого правильно подготовить площадку.
      Теперь вот непонятно, кто теперь должен пойти на эти курсы, точнее чьи это затраты: технарь со стороны клиента, или я, со стороны продавца. Клиент естественно хочет чтоб мы это сделали, наши платить за курсы тоже естественно тоже не хотят. А я не чувстую себя настолько уверенно в теме, чтоб взяться и построить все правильно. Может у меня бзик с “правильностью”, но после более 20 летнего опыта работы в ИТ и кучей набитых шишек, для меня очень важно правильно начать, порой потом переделывать практически невозможно.
      Посмотрите на то, что я “нарисовал”, жду вопросов.

      P.S. “IBM”, это я про “наш” IBM Romania.

    • #12182
      Pavel Alexei
      Участник

      thx to dianin.
      Про DCFM надо подумать.
      Там было бы неплохо еще и Tivoli Productivity Center.
      Не смотри на последние 2 “картинки”, где про remote site. Его нет, и неизвестно когда будет.

      > isl транк советуют из двух делать, для этого правда надо лицензию покупать. для isl подойдте и 4gb.
      Но зачем ISL на на 2x4Gb, если есть в наличии 8Gb? Все клиенты, пока, ходят только через 4Gbt. Там только Storwise на 8. Можно линки между свичами тоже на 8 поднять. ISL trunk на нескольких портах помниться “болеет” кучей ограничений и не всегда есть гуд. (опять же в теории, где читал про это)
      > у v7000 подключать надо все порты в SAN.
      А вот тут хрен его знает. Конечно это “по букве закона”. Но для 3 сторажей (пока идет речь про виртуализацию EVA и позжее DS5100) и десяток клиентов, надо ли? Тогда было бы неплохо кол-во линков с DS5100 до свичей поднять (c 4, по 2 на фабрику, до 8), но это потребует еще больше портов от свичей. А стоит ли?

    • #12183
      Michael
      Участник

      SAN Health, значицца, всё-таки не пробовали? Настоятельно рекомендую, мне понравилось…

      Поскольку конкретики по железкам нету, то выскажу только одно: судя по схемам, у Вас всё оборудование спокойно “вбивается” в 4 свитча, поэтому не вижу смысла размазывать усё на 6 (если возможно! Вдруг этому мешает, например, расположение серверных и оборудования внутри зданий.)

      Про курсы: я б прошёл. Знания в таком вопросе лишними не будут нисколько.

      И пусть это прозвучит несколько нагло, но: если Вы продавец, то включите стоимость курсов в проект, пускай покупатель решает – либо он заплатит больше, но получит гарантированно рабочее решение, либо пускай экономит и получит, получит… Замнём для ясности :laugh:

      DCFM и TPC – со стороны продавца, пожалуй, неплохо было бы их продать, но как клиент я бы их брать не стал. От ТРС у меня осталось ощущение, что это такая монструозная хрень, требующая нехилый по мощности сервак с большими дисками, чтобы рисовать красивые картинки и диаграммки. Да и не вижу я по схемам, что для такого количества оборудования нужен ТРС.

      А DCFM триален месяца на 2-3 – скачайте, поиграйтесь. Это что-то типа SAN Health, только всё онлайн + немножко больше фич, например, прошивки можно обновлять почти с полпинка. Когда выйдет срок триальности – можно будет попробовать сохранить базу, поднять DCFM на другом сервере и попытаться подсунуть ему старую базу. 😉 Но тоже любит побольше памяти – так что опять под него лучше отдельный комп или сервер закладывать.

      Когда у Вас будут 10 свитчей в 2-х фабриках – дорастёте до нашего уровня. :woohoo: У нас они размещены на 2-х площадках, расстояние между которыми где-то пара километров. И ничего, работают, хотя набиты всем чем попало вперемешку: и блейдами, и дисковыми системами, и “пешками” и обычной интелятиной.

    • #12214
      Pavel Alexei
      Участник

      Ну шо, в пятницу было первая попытка объеденить “острова”. Начали с HP-UX Server + EVA4100. На свичах подняли прошивку с 5.1 до 6.2, поменяли им имена и domain id, добавили в фабрику с остальными свичами и создали зоны.
      Понятно, что вопрос не для “aixpotal”, но может кто объяснить почему разбежались имена дисков? в HP-UX они идут как cxxtyydz. Для всех дисков поменялись значения “xx”. Как не странно, но у клиента не стоит ничего из multipath, т.е. все тома c EVA видны в 4-х копиях. Но для всех “xx” не совпадают со старыми.
      Я где-то читал, что нечто аналогичное было у кого-то и на AIX, после каких-то манипуляций со свичами. А что могло возыметь такое воздейтсвие: смена прошивки на свичах, domain id, зонирование? Хотя бы как это “выглядит” для AIX?

    • #12215
      Viper
      Участник

      Насколько я понимаю, xx – это номер контролера со стороны самого HP-UX, то есть HBA на сервере.
      Не знаю, почему он мог их поменять, скорее всего делали реконфигурацию (как в Солярисе boot -r) и пересоздали аналог соляровского /etc/patch_to_inst. Не помню, к сожалению, как в HP-UX этот файл называется.
      У вас проблема из-за смены именования контроллеров на HP-UX. Никакие изменения в SAN и остальном, что дальше контроллеров, на это не могли повлиять.
      У меня маленький опят с HP-UX, так что могу только осторожно предложить поменять файл вручную.
      А вообще, по идее Veritas сам понимает, где у него какие диски, по данным на них. А JFS в HP-UX – это VxFS+VxVM по OEM.
      Ройте в эту сторону.

    • #12223
      Pavel Alexei
      Участник

      Не, ничего кроме того что я описал не делали: обновили прошивки свичей, поменяли на них domain Id. сунули в фабрику и сделали зонировани. На самом сервере ничего не меняли точно. LVM тома “пересобрали” через vgscan + vgchange. Но факт остается фактом.
      Нечно аналогичное я “видел” на storage форуме на сайте ibm.
      https://www.ibm.com/developerworks/forums/thread.jspa?messageID=14483069&#14483069
      Но это про AIX.
      Теперь хочу понять, что именно повлияло на hp-ux, чтоб опять на грабли не наступить.

    • #12224
      Pavel Alexei
      Участник

      BTW, у кого-то есть опыт зонирования HP EVA?
      У IBM DS3000/4000/50000 зонирование надо делать обязательно парами HBA + storage_port, так как контролер A и B сториджа не должны видеть друг друга.
      Для SVC/V7000 делается зона per initiator, т.е. host HBA + 1 или 2 порта SVC, с которыми хост будет работать.
      А как правильно делать для EVA? Сувать в одну зону HBA + все порты EVA из той же фабрики или делать для для IBM DS-серии пары: HBA + one EVA controller port? Я сделал как для DS, может это неправильно?

    • #12225
      Pavel Alexei
      Участник

      кажется понял.
      Вот про AIX, видимо в hp-ux тоже самое. Смена domain ID привело к проблеме.
      https://www.ibm.com/developerworks/forums/thread.jspa?messageID=14462629
      Получается, что если сервера с AIX переткруть из одного свича в другой, он “потеряет” диски? если не потрудиться и включить опции с динамическими именами.

    • #12274
      uxTuaHgp
      Участник

      Кто кого и как видит – это скорее не требование стораджа, а требование конкретной системы или драйвера.
      Наступили на грабли как-то с VMWare + DS4000 – сделали все по накатанному как для AIX, а оказалось, что каждый HBA должен видеть каждый контроллер DS.
      Короче читать доки по подключению стораджа к конкретным ОС.

    • #12275
      uxTuaHgp
      Участник

      dyntrk yes
      fc_err_recov fast_fail

      это из другой оперы
      речь идет о малтипазинге и обнаружении фэйла по пути.
      Сменить domain ID можно только после switchdisable стало быть отвал путей по одной из фабрик гарантирован.

    • #12303
      Aleksandr
      Участник

      По EVAю Работал правда с 8000 и SAN на Cisco. Хост должен видеть все контроллеры, которые расположены в плече фабрики. Массив так требует. Там нет внутреннего мапинга (порт – адаптер).

      По дискам. Думаю что развал диска – следствие отсутсвия ПО мультипасинга. У меня SAN на циско, массивы разные. Системы (AIX) мигрирую с между серверами (диски тоже меняют и адаптеры и свичи) ничего не разваливается. На линуксе приходится прописывать multipathd.conf жестко алиасы. Иначе происходят чудеса с дисками.

      По обновлениям. Необходимо быть осторжными, обновляя версии прошивок чего либо. Не забываем просматривать совместимость.

      По domain id. не понимаю, зачем его менять? Мне казалось, что достаточным условием является его уникальность. В этом вендоры оборудование не оригинальны :).

      По архитектуре. Я бы в ядро вашей сети постарался воткнуть все массивы и блейд корзины. В уровень доступа оставил бы сервера. Ну и постарался бы избежать длинных путе (по количеству комутаторов).

      Как-то так.

    • #12307
      Pavel Alexei
      Участник

      > Про EVA
      IBM в последнее время повсеместно рекомендует делать зонирование per initiator.
      В DS-серии порты одного контроллера не должны видеть друг друга. Поэтому получается что в каждой зоне по паре wwnp: HBA + port controller.
      В SVC/V7000 в зону можно несколько портов SVC сувать, вместе с HBA.
      А как лучше делать в EVA? Стоит ли делать пары HBA+Controller port, или можно HBA+все порты EVA из фабрики?

      > По дискам. Думаю что развал диска – следствие отсутсвия ПО мультипасинга
      возможно что при наличии multipathing развала не было бы. Но то что при его остуствии оно может произойти на AIX – см. мою ссылку на форум IBM, про FCID рассказывается. BTW, какой multipathing стоит у тебя на AIX: SDD или “native”?

      > По domain id. не понимаю, зачем его менять?
      Менять пришлось, поскольку ранее свичи были “сами по себе” и domain id там был дефолтовый – ноль

      > По архитектуре. Я бы в ядро вашей сети постарался воткнуть все массивы и блейд корзины..
      Я тоже так думаю, но в “коре” стоит SAN24B с активированными 16 портами (у меня правда язык не поворачивается обозвать SAN24B core switch). Если делать так, то думаю надо до 24 нарастить, да и этого может не хватить. При налии кучи свободных портов на остальных свичах, нужны веские аргументы, с каким-то цифирями по производительности, а не теоретические измышленея. Тут я как-раз совсем не в теме.
      я шлю тебе личное на мыло в форуме свои каринки.

    • #12315
      Andrey
      Участник

      1) теорию почитать в “Principles of SAN Design” http://www.brocade.com/bookshelf

      2) best practices для зонинга:
      – зоны делаем по WWN;
      – в зоне два мембера: инициатор, таргет.

      3) диски разъехались по причине изменения domain id на свичах.
      читал об этом в доке по цискам (domain id используется в некоторых системах для генерации имен девайсов)
      опять, best practices:
      – всегда менять дефолтовый domain id, для brocade рекомендуют использовать из диапазона 99-127.

      как-то так.

    • #12329
      Eldar Zhensykbaev
      Участник

      1. dual-member зоны обусловлены оптимальным использованием TCAM в коммутаторах. Если не планируется строить фабрику на тысячи устройств, то все можно упростить до single-initiator zoning – меньше зон создавать/поддерживать

      2. Диски слетели из-за изменения FCID. Естественно, DID есть неотъемлимая часть FCID, но сущесвует неприятная вероятность изменения FCID при простом переключении кабеля из одного порта в другой. Это особенности AIX & HP-UX. Насколько я помню, в AIX в этом направлении были какие-то улучшения.

      Эх, не люблю Brocade, но сделаю общие рекомендации:
      – не забывать про dual physical fabric
      – тщательно проверить DID, рекомендую использовать static везде.
      – выставить приоритет principal руками
      – разработать схему именования зон
      – убедиться, что нет разных зон с одинаковыми именами
      – соединять всегда более чем одним линком
      – тщательно посчитать переподписку, особенно если трафик server-storage пересекает ISL

      Я не уверен как Brocade относится к zoneset с одинаковым именем, но разным содержимым. В теории, должен прожевать и слить базы зон, если нет пересечений

    • #12338
      yota
      Участник

      .
      Я не уверен как Brocade относится к zoneset с одинаковым именем, но разным содержимым. В теории, должен прожевать и слить базы зон, если нет пересечений

      Сделать две зоны с одинаковым именем в пределах одной фабрики нельзя.

    • #12348
      Eldar Zhensykbaev
      Участник

      Сделать две зоны с одинаковым именем в пределах одной фабрики нельзя.

      Вообще-то я говорил про слияние, а не одну фабрику. Причем о zoneset, а не зонах.
      Если не ошибаюсь, в терминологии Brocade это называется config.

    • #12371

      2. Диски слетели из-за изменения FCID. Естественно, DID есть неотъемлимая часть FCID, но сущесвует неприятная вероятность изменения FCID при простом переключении кабеля из одного порта в другой. Это особенности AIX & HP-UX. Насколько я помню, в AIX в этом направлении были какие-то улучшения.

      Вот мне всегда было интерестно почему. Я тоже видел такое на HP-UX. Насколько я понимаю для scsi нужен только wwn, который не изменен. А fcid для ОС имеет значение только при использовании ip over fc.

    • #12372
      Pavel Alexei
      Участник

      to: Stranger
      pls, глянь на раздел личные сообщения в форуме. я отписался.

    • #12375
      Eldar Zhensykbaev
      Участник

      Вот мне всегда было интерестно почему. Я тоже видел такое на HP-UX. Насколько я понимаю для scsi нужен только wwn, который не изменен. А fcid для ОС имеет значение только при использовании ip over fc.

      Исторически, диски адресуются физическим адресом SCSI ID:LUN. Эту же концепцию перенесли на Fibre Channel диски – FCID:LUN.
      Вроде бы это пофиксили. Вот выдержка из руководства по HP-UX:

      Lunpath hardware path format
      The format of the lunpath hardware path is as follows:
      • .. Where:
      • HBA hw path: legacy HBA hardware path (example: 0/3/1/0). • target port WWN or port id: hexadecimal representation of the target port Worldwide name
      (WWN), or the target port identifier if the SCSI transport does not support WWN (example:
      0x21000020370fe8c8 for WWN, and 0x0 for port id). • SCSI-3 LUNid: hexadecimal representation of the SCSI-3 64 bit LUN identifier.

      И если раньше было как-то так: disk20 => 0/0/4/0.112.0.1.0.0.0 (fcid=0x700001)
      то сейчас получаем примерно такую картину: disk20 => 0/3/1/0.0x21000020371972eb.0x0

Просмотр 25 веток ответов
  • Для ответа в этой теме необходимо авторизоваться.