IBM Storwize V3700


Главная Форумы Storage SAN, Disk & Tape IBM Storwize V3700

В этой теме 88 ответов, 13 участников, последнее обновление  Alex 2 года/лет, 11 мес. назад.

  • Автор
    Сообщения
  • #17290

    Oldnick
    Участник
  • #17292

    Demetrio
    Участник

    Правильно ли я понимаю, что линейка DS канет в лету?
    Ядра на младшей storwize и старшей по сути одинаковы и никаких корней с линейкой DS не имеют?

  • #17296

    Oldnick
    Участник

    все верно. кроме DS8000.

  • #17297

    uxTuaHgp
    Участник

    Дык LSI уже все, видимо, а теперь вот судя по ценовой политике, и NetApp все.

  • #17299

    Pavel Alexei
    Участник

    Похоже на то
    Netapp «положил» на DS5000 давно уже. Вместо него предлагается DS3700 (E5400), ему новый контроллер новый разработали. DS3500 (E2600) продолжает развиватся.
    IBM похоже режил уходить от OEM от Netapp. Сначало V7000 Unified вместо FAS (не знаю насколько удачно, IMHO не очень), потом V7000 вместо DS5000, сейчас вот V3700 вместо DS3500.

  • #17300

    Demetrio
    Участник

    А что значит «Netapp «положил» на DS500″? Это NetApp оемный?
    Мне казалось, что только NSeries является таковой

  • #17301

    Pavel Alexei
    Участник

    DS3000/4000/5000 OEM от LSI/Engenio. Netapp купил онный не так давно.

  • #17302

    Сергей
    Участник

    Правильно ли я понимаю, что линейка DS канет в лету?
    Ядра на младшей storwize и старшей по сути одинаковы и никаких корней с линейкой DS не имеют?

    DS4k/DS5k снята с продаж месяц назад.
    http://www-01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/4/877/ENUSZG12-0324/index.html&lang=en&request_locale=en
    DS3k, на сколько я знаю, пока продается..

    N-Series не заменена Юнифаедом, и точно не будет заменена еще приличное время (потому что это выгодно всем — и ибм, и нетапу).
    Оба продукта продаются вместе.

    «Детский» сторвайз имеет примерно то же железо и примерно тот же софт, но и то и другое в несколько урезанном виде.
    Ограничения весьма скромные — нет кластеризования контрол энкложей, не больше четырех полок расширения, виртуализация внешнего сторожа только в имидж-моде для миграции, закрыты некоторые фичи.
    Цену тоже обещают скомную…

  • #17303

    Demetrio
    Участник

    Если сравнивать с тем же filer-ом, плюсы-минусы, подводные камни?

  • #17304

    Pavel Alexei
    Участник

    не трогал ни N-series ни V7000 Unified, так что не скажу ничегом из опыта.
    Из чисто теоретических размышлений: Unified это винигрет из V7000+SONAS, причем сразу 3 железяки (V7000+2штуки x3650), что наводит на мысли об искуственности процесса деторождения и на опасения о его жизнеспособности.
    Остальное сравнивать нельзя, разный класс. Netapp FAS — типичный NAS с довесками под SAN, а у IBM все остальное чисто SAN.

  • #17305

    barmaley
    Участник

    FYI: Через 45 мин. будет вебинар по V3700
    Прислали ссылку, что идти надо сюда

  • #17306

    Сергей
    Участник

    Если сравнивать с тем же filer-ом, плюсы-минусы, подводные камни?

    я бы сказал что сравнивать их пока рано.. :unsure:

  • #17307

    Pavel Alexei
    Участник

    недавно центр из Montpellier делал презентацию. Есть replay
    https://ibmstg.adobeconnect.com/_a819987824/replayv3700demo11162012/
    Основная мысля — урезанный V7000. Кучи вещей нет и не будет (типа external virtualization), другого пока нет (easy tier, remote mirror, но пока есть планы добавить как FOD), есть то, что в V7000 пока нет (прямого подключения по FC, хотя точно где-то видел, что даже если V7000 его не поддерживает в 6.4. это можно сделать, но с оговорками).
    Чего точно не хватает, SAS подключения. Не знаю как в других местах, но у нас SMB «потребляет» DS3000 именно с SAS подключением и все «плачется» что IBM SAS свичи от LSI продавать не хочет.

  • #17308

    Oldnick
    Участник

    я не могу найти V3700 в конфигураторе. не понимаю будет ли он там и когда…

  • #17309

    Pavel Alexei
    Участник

    в SSCT есть, появился сразу с анонсом. Цены цент в цент с DS3524 🙂
    В e-configurator думаю что нету и не появится — SMB всетаки.

  • #17310

    Michael
    Участник

    Дык LSI уже все, видимо, а теперь вот судя по ценовой политике, и NetApp все.

    Что значит: «всё»? То есть, LSI и NetApp в ближайшем будущем встанут в один ряд с DEC и Sun???
    И кроме ценовой политики есть ли еще какие-нибудь признаки того, что эти брэнды скоро перейдут в разряд могильных плит?

  • #17311

    Demetrio
    Участник

    Вероятно имелось ввиду сотрудничество, потому как позиции NetApp крепки, особенно в сфере NAS.

  • #17312

    Victor Sedyakin
    Участник

    Чего точно не хватает, SAS подключения. Не знаю как в других местах, но у нас SMB «потребляет» DS3000 именно с SAS подключением и все «плачется» что IBM SAS свичи от LSI продавать не хочет.

    Подключение по SAS ожидается в мае 2013 (вместе с Easytier, Turbo performance, репликацией данных по FC/iSCSI в пределах всего семейства сторвайзов).

  • #17313

    Pavel Alexei
    Участник

    Опаздывают они однако с репликацией по iSCSI.
    Netapp таки родил уже для DS3500/DS3700, сегодня анонс был.
    http://www-01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_ca/2/877/ENUSZG12-0372/index.html&lang=en&request_locale=en

  • #17315

    Сергей
    Участник

    Что значит: «всё»? То есть, LSI и NetApp в ближайшем будущем встанут в один ряд с DEC и Sun???
    И кроме ценовой политики есть ли еще какие-нибудь признаки того, что эти брэнды скоро перейдут в разряд могильных плит?

    про нетапп — нидаждетезь! 🙂
    http://blog.aboutnetapp.ru/archives/1108
    по результатам 2011 второе место по ревенью, стабильный рост, технический лидер рынка.

  • #17336

    Oldnick
    Участник

    посмотрел я цены на V3700 в SSCT, действительно, ниже чем стоит V7000.
    только не понял, V3700 идет как просто железо, никакой софт покупать не нужно?

    к V7000 надо обязательно купить ПО за $20K на каждую полку.

  • #17337

    uxTuaHgp
    Участник

    без софта тиринга не будет

  • #17338

    Demetrio
    Участник

    Что-то не понял сути. А про какой софт идет речь?

  • #17339

    Victor Sedyakin
    Участник

    В канале CHW, при конфигурировании V7000 через e-Config, к каждой полке добавляется обязательный софт Base Software V6 стоимостью под $20K. В x86-канале (HVEC) у массива V3700 таких позиций нет, есть только железо. Причем стоимость контроллерных полок и полок расширения V3700, равно как и хост-карт и винчестеров до цента совпадают с ценой аналогичных позиций DS3500.
    Easytier в V3700 пока нет в принципе, однако другие софтовые возможности (которые в V7000 как раз и обеспечиваются за счет Base Software) вполне работают — Flashcopy, thin provisioning, data migration.

  • #17340

    uxTuaHgp
    Участник

    И фче активэйшн нет никаких?

  • #17341

    Victor Sedyakin
    Участник

    Пока нет:
    http://www-01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi/rep_sm/2/877/ENUS2072-_h02/index.html&lang=en&request_locale=en

    Т.к. и сами премиуи-фичи (тиринг, репликация) обещаны только в мае 2013.

  • #17343

    Michael
    Участник

    Межделмаш шуткуе :silly:
    storwize

    Кстати, там уже 7.84 как бы выложили…

  • #17344

    Oldnick
    Участник

    как я понял, в V3700 есть возможность не брать сразу весь макс. объем памяти, а купить минимум или более.
    в V7000 сразу шел весь объем.

    очевидно V3700 обходится значительно дешевле, чем V7000 с почти аналогичной железной начинкой.

  • #17345

    Victor Sedyakin
    Участник

    А в чем шутка? В том, что V3700 отнесен к энтри-левел? Так это так и есть.
    V3700 стоит сильно дешевле V7000, т.к. он ограничен 5 полками (до 120 дисков) и нет ряда премиум-фич (часть добавят в мае 2013, часть — никогда).

  • #17346

    uxTuaHgp
    Участник

    В V7000 вроде бы 4 ядерные процы, а в V3700 2 ядерные
    В том числе и поэтому не будет компрессии.

  • #17348

    Michael
    Участник

    А в чем шутка?

    Не знаю как Вам, но мне этот ряд DS3500, V3500, V3700 почему-то напомнил один из анекдотов про Кульнева:
    «Изгоняя роскошь и желая приучить подданных своих к умеренности, император Павел назначил число кушаньев по сословиям, а у служащих — по чинам. Майору определено было иметь за столом три
    кушанья. Яков Петрович Кульнев, впоследствии генерал и славный партизан, служил тогда майором в Сумском гусарском полку и не имел почти никакого состояния. Павел, у видя его где-то, спросил:
    — Господин майор, сколько у вас за обедом подают кушаньев?
    — Три, ваше императорское величество.
    — А позвольте узнать, господин майор, какие?
    — Курица плашмя, курица ребром и курица боком,- отвечал Кульнев.»

    Судя по тому, что по ценам DS3500 и V3700 неотличимы они как раз и есть: «курица плашмя» и «курица боком» 😉

  • #17349

    Michael
    Участник

    Параллельно с новой прошивкой выложили новый DS Storage Manager 10.84…
    Я качнул 64-битную версию и сейчас любуюсь на неё — она по весу в два раза больше 32-битной и вот почему — в ней два каталога WS03WS08_10p84_X64 и WS2012_10p84, в которых два разных инсталлятора под одним именем: SMIA-WSX64-10.84.x5.30.exe…

    Если что, то я понял, что один инсталлятор для Win2003-2008, второй — для Win2012 :laugh:

  • #17350

    Victor Sedyakin
    Участник

    Не знаю как Вам, но мне этот ряд DS3500, V3500, V3700 почему-то напомнил один из анекдотов про Кульнева

    😉 Не могу не согласиться, но так просто совпало на переходной период. IBM, очевидно, хочет отвязаться от LSI и унифицировать линейки entry и midrange, как по железу, так и по софту.
    V3500 это тот же V3700, но появился еще в августе 2012 и только для Китая, Тайваня, Гонконга и Макао.

  • #17351

    Michael
    Участник

    V3500 это тот же V3700, но появился еще в августе 2012 и только для Китая, Тайваня, Гонконга и Макао.

    Совсем недавно скачивал прошивку 7.83 и не видел в списке V3500 — наверное, был сильно невнимателен. 🙁

  • #17362

    Oleg
    Участник

    Судя по тому, что по ценам DS3500 и V3700 неотличимы они как раз и есть: «курица плашмя» и «курица боком» 😉

    нет — это СОВЕРШЕННО РАЗНЫЕ стораджи, от совершенно разных вендоров
    DS3500 — LSI (ныне NetApp)
    V3700 — Xyratex + soft от SVC

    Совсем недавно скачивал прошивку 7.83 и не видел в списке V3500

    да потому что ее там нет, V3500 — это такой же «кусочек» от V7000 как и V3700, но для азиатского рынка

    фраза про «три блюда» более уместна в другом контексте 😉
    http://www.xyratex.com/products/storage/storage_enclosures/onestor-sp-2224.aspx
    http://www-03.ibm.com/systems/storage/disk/storwize_v7000/index.html
    http://www8.hp.com/us/en/products/disk-storage/product-detail.html?oid=5335712

  • #17363

    Pavel Alexei
    Участник

    Интересно, про Xyratex я не знал.
    Только зачем надо было IBM и 3PAR брать только дисковые «полки», и городить свои контроллеры? Похоже тут не полный OEM, как в случае LSI. Софт конечно же свой, но кажись и контролеры свои.

    P.S. Еще интересно, откуда ноги у Flex System растут.

  • #17364

    Oleg
    Участник

    Еще интересно, откуда ноги у Flex System растут.

    сейчас ноги всех х64 платформ растут из Поднебесной 🙂
    есть мнение, что и IBM Flex System и Hitachi Compute Blade 500
    производит для этих двух компаний Huawei
    http://www.theregister.co.uk/2012/09/17/huawei_tecal_e9000_server/

  • #17365

    _KIRill
    Хранитель

    Warrax — это мнение ошибочное.
    IBM PureFlex (а FlexSystem — это частный случай (http://www.aixportal.ru/%D0%BD%D0%BE%D0%B2%D0%BE%D1%81%D1%82%D0%B8/443-ibm-puresystems-pureflex-faq.html)) — полностью разработана IBM.

    ---As If, But Not---

  • #17369

    Сергей
    Участник

    V3700 — Xyratex + soft от SVC

    зиратекс — только v7k.
    у v3700 другой производитель железок.

  • #17370

    Oleg
    Участник

    зиратекс — только v7k.
    у v3700 другой производитель железок.

    а и в правду — не только мамки отличаются, но и сами коробки другие
    и даже разъемы для SAS-кабелей
    хотя не вижу, что могло бы помешать производить и их тому же зиратексу

  • #17371

    Victor Sedyakin
    Участник

    IBM PureFlex полностью разработана IBM.

    Приятно слышать, т.к. внешне блейды PueFlex и Hitachi Compute Blade идентичны:
    Hitachi:

    IBM:

  • #17372

    Pavel Alexei
    Участник

    IBM PureFlex … полностью разработана IBM.

    А это ж-ж-ж-ж неспроста.
    Возможно правда где-то по середине. Думаю что тут как раз такой же случай как и со Storwize. Софт, тот точно полностью от IBM. Поковырял прошивку, «пахнет» только IBM, SUSE (!) и Gnu. Возможно CMM тоже «родное». А вот насчет остального, сумнения меня гложат. Не зря все так схоже. Huawei и HDS доступ к сапорту «просто так не дают». Есть конечно шансы, что остальные OEM-ят железо от IBM, прецеденты известны. Только уж очень это маловероятно.

  • #17374

    Oldnick
    Участник

    я надеюсь железо и софт для V7000 и V3700 делают в одном месте?

  • #17452

    Pavel Alexei
    Участник

    Посмотрел внутренности прошивок для V7000 и V3700. Сразу видно, что корыта из разных источников. В первом «крупными буквами» везьде маячит Xyratex. А вот чего производства изделие V3700 совсем непонятно. В прошивках к корзине упоминается только IBM, IBM OSES операционка, Thunderbird4 (TB4) и MRC controllers, MRC и Celestica-CSS Enclosures.
    Кстати V7000 тот что в комплекте в Flex, не «совсем» V7000. Корзина судя по всему от Xyratex, а вот node сделан чуть не ли из какого-то blade, по крайней мере IMM2 от blade.
    А у Storwize V7000 управляющая node кажись от Kontron.
    V37000 и корзина другая, и node другой (BIOS AMI).

  • #17454

    Pavel Alexei
    Участник
  • #17455

    Oldnick
    Участник
  • #17456

    Oleg
    Участник

    celeron g530t — а значит память без ECC(!)
    сомнительная экономия 100USD

    всего один SAS-чейн на контроллер — а значит нет фирменного balanced R10

    Easy Tier и Remote mirroring пока нет
    когда будет — Easy Tier наверняка за отдельные деньги

    нет compression (слава celeron-у!)

    заявленная производительность ниже V7000 не в 2 раза — а в 2-3.3 раза
    и мало отличается от DS3500 Base (которая НЕ turbo)

    в общем — полное падение нравов (с)

  • #17457

    Oldnick
    Участник

    ну допустим, мне Easy Tier и Remote mirroring нафиг не нужны, и хочется заплатить адекватные деньги за массив, а не мифические за настоящую и будующую виртуализацию.
    поэтому V3700 — неплохой недорогой вариант. очень даже.

  • #17806

    Felix Savvateev
    Участник

    не трогал ни N-series ни V7000 Unified, так что не скажу ничегом из опыта.
    Из чисто теоретических размышлений: Unified это винигрет из V7000+SONAS, причем сразу 3 железяки (V7000+2штуки x3650), что наводит на мысли об искуственности процесса деторождения и на опасения о его жизнеспособности.
    Остальное сравнивать нельзя, разный класс. Netapp FAS — типичный NAS с довесками под SAN, а у IBM все остальное чисто SAN.

    Я считал, что там 2 x3550?? В Unified

  • #17818

    Pavel Alexei
    Участник

    Это в SVC 3250/3550.
    А тут решили не заморачиваться. К тому мест под PCI в 1U маловато. Хотя на самом деле используются только 2 слота: один под dual 10Gb Ethernet и другой под dual 8Gb HBA.

  • #18400

    nitalex
    Участник

    Коллеги, посоветуйте.

    Встал вопрос покупки небольшого стораджа на SAS.
    Сейчас стоит выбор между DS3524 и V3700.
    На первый взгляд V3700 однозначно выигрывает как минимум за счет большего кеша.

    Но может есть какие-то подводные камни?
    Если есть информация, расскажите насколько стабильно работает V3700?
    Не приходится прошивки менять каждые пару месяцев?

    Спасибо!

  • #18401

    Pavel Alexei
    Участник

    Смотря как подключать хотите и какие операционки предполагаеются. Если прямое подключение по FC, то там куча ограничений, даже Windows еще not supported. Через свичи там вроде все хорошо, но надо SSIC внимательно просмотреть, PowerHA я вообще не видел на нем.
    Вот сегодня SAS подключение для V3700 анонсировали. Как оно будет выглядеть, надо посмотреть.
    Если это в той же 7.1 прошивке, что анонсировали для V7000, то с полгода я бы подождал, пока устаканится. Хотя и для V3700 много новых фич объявлено, кроме SAS подключения.
    Но кто-то же должен быть первым.
    Но в остальном V3700 действительно выглядит получше.

    P.S. Честно говоря, сам дивайс еще не щупал. У кого уже есть Engenio дивайсы, предпочитают DS3500 брать. Да и многие от entry level хотят дешевое подключение по SAS, коего у V3700 до сих пор не было.

  • #18402

    Сергей
    Участник

    Да, сасовое подключение только начиная с 7.1.
    Кроме того, 7.1 будет поддерживать direct sas attachment для линуксов и винды 2008-2012.
    АИКс и ВМварь — пока нет. Вероятно, допилят позже.

  • #18403

    nitalex
    Участник

    Спасибо за ответы.
    Правда выбор стал еще сложней 🙂

    Подключение предполагается по FC к свичам.
    Сервера — под Windows.
    Когда-то может быть VMWare и AIX. Хотя вряд ли. Им и на FC-дисках хорошо.

    В общем, по-видимому остановимся на проверенной DS3524.
    Тем более в новой прошивке бесплатно и 128 partition и FlashCopy.

    Не хочется на себе испытывать все прелести первопроходца 🙂
    Как вспомню гембель с постоянной заменой прошивок на DS4800,
    так и вздрогну 🙂

  • #18404

    Pavel Alexei
    Участник

    Если Windows и через FC свичи, то тут уж проблем c V3700 не дожно никак быть. Думаю что новые сториджи еще долго будут идти с 6.4.1 прошивкой. Да и надесь что будет и 6.4.2.
    А на DS3500 там тоже еще тот кавардак. Прошивки клепают по 2 на день. Только успевай следить. Причем «срединные» не допиливают, а гонят новые с новыми фичами, вместе с заплатами для более старых.

  • #18405

    nitalex
    Участник

    Спасибо!

  • #18440

    Michael
    Участник

    Если Windows и через FC свичи, то тут уж проблем c V3700 не дожно никак быть. Думаю что новые сториджи еще долго будут идти с 6.4.1 прошивкой. Да и надеюсь что будет и 6.4.2.
    А на DS3500 там тоже еще тот кавардак. Прошивки клепают по 2 на день. Только успевай следить. Причем «срединные» не допиливают, а гонят новые с новыми фичами, вместе с заплатами для более старых.

    Сегодняшняя прогулка по FixCentral показала следующий зоопарк версий SVC: 6.1.0.10, 6.2.0.6, 6.3.0.7, 6.4.0.4, 6.4.1.4 и 7.1.0.1!!! :woohoo:
    У DS3500 на выбор только две прошивки: 7.86.32 и 7.84.46, так что по бардаку сторвайзы пока что круче получаются. 😛

  • #18443

    Pavel Alexei
    Участник

    А кто сказал, что поддержка нескольких поколений прошивок это плохо? Я считаю как раз это хорошо. Никто не напрягает все время подтягиваться к последней версии.

  • #18446

    Oleg
    Участник

    все равно напрягают подтягиваться к последней прошивке в поколении

  • #18447

    Michael
    Участник

    А кто сказал, что поддержка нескольких поколений прошивок это плохо?

    Ежели все эти версии поддерживает одна и та же команда индусов, то мне уже страшно :blush:

  • #18610

    Pavel Alexei
    Участник

    Последняя информация про проблемы с прямым подключением Windows через Fiber к V3700, которое официально не поддерживается согласно SSIC
    Restrictions:
    — NO SAN Boot
    — during a node reset or a concurrent code load access may be lost to the LUN. The access can be recovered by re-scanning devices from the MS hardware manager
    Понятно, что для подтверждения каждого конкретного случая надо будет RPQ открывать.

    Только это про Windows «без Clustering», про последний забыли указать при открытии RPQ.
    Открыли другой.

  • #18881

    Oldnick
    Участник

    протестировал V3700. Система заметно тормознее, чем V7000.
    наверно это связано с процессорами, которые внутри, все-такие в v7000 процы быстрее и ядер больше…
    у V3700 на глаз существенно выше нагрузка на процы (меню Performance в GUI) от 40% до 80%, чаше 60%.
    используемая конфигурация: 23 диска 1TB SAS NL (3 сета Raid-5), 8GB кеш на ноду.

    в v7000 обычно несколько процентов, максимум 30%.

  • #18882

    Michael
    Участник

    протестировал V3700. Система заметно тормознее, чем V7000.

    Ну это всё равно что с потолком сравнивал. 😉 А вот если с DS3524 сравнить? :blush:

  • #18905

    Oleg
    Участник

    Система заметно тормознее, чем V7000.

    а чего ожидали? :blink:
    V3700 изначально так создавалась — как недоV7K
    что ~1.6GBps на запись это ее потолок, было известно с момента анонса

  • #18906

    uxTuaHgp
    Участник

    ИМХО, вполне достойно для системы начального уровня.

  • #18911

    Oleg
    Участник

    ИМХО, вполне достойно для системы начального уровня.

    если говорить о СХД пятилетней давности — то наверно да,
    а если учесть что сейчас 2013 год…
    для справки, СХД начального уровня HP MSA 2040 (их делает DotHill) выдает
    Sequential Reads MB/s 6,310
    Sequential Writes MB/s 4,800
    http://h18004.www1.hp.com/products/quickspecs/14603_div/14603_div.pdf
    так что от отдельных конкурентов по производительности V3700 отстает в разы

  • #18919

    Oldnick
    Участник

    к сожалению HP MSA 2040 не умеет делать то, что умеет V3700. B)

  • #18925

    Oleg
    Участник

    к сожалению HP MSA 2040 не умеет делать то, что умеет V3700. B)

    ага, виртуализировать внешний сторадж на время миграции — большая разница 🙂

  • #18928

    Oldnick
    Участник

    при чем здесь это.
    я другое имел ввиду.

  • #18929

    uxTuaHgp
    Участник

    и кому интересны эти попугаи синтетические последовательные?
    Кто-то сравнивал MSA с V3700 на реальном профиле нагрузки:
    50% запись
    50% чтение
    95% случайные операции
    ?

  • #18930

    Oleg
    Участник

    для тех кому лень было приведенную выше ссылку открыть
    — на random i/o между ними разница тоже в разы — «слава» целерону
    — на storageperformance.org есть тест родного брата MSA — DotHill

  • #19275

    Pavel Alexei
    Участник

    Кто мне может объяснить такую картинку?
    https://drive.google.com/file/d/0B2UULgVZiiXSNEdvbTNzLXNiRHc/edit?usp=sharing
    Это V3700. Тест Iometter на 100% чтение на том из 2 mdisk по 6 дисков каждый в RAID10.
    Почему в backend более чем полтора раза больше IOPS чем в frontend?
    Только одно НО! iometter запущен из под виртуалки на Vmware. Но не думаю, что в данном случае это важно. Приниципиально, как тоже может быть.

  • #19276

    Oleg
    Участник

    mdisk по 6 дисков каждый в RAID10.

    это неоптимально — рекомендуют 8 (4+4)

    Почему в backend более чем полтора раза больше IOPS чем в frontend?

    размер блоков разный
    имеет смысл одновременно посмотреть дополнительно MBps на backend/frontend

  • #19277

    Pavel Alexei
    Участник

    там захотели 2 куска: RAID5 из 5 и RAID10 из 12. Можно было CLI сделать один mdisk из 12 дисков, из GUI больше 8 не хочет. Но я подумал что большой разницы не будет.
    Читалось блоками по 16KB
    https://drive.google.com/file/d/0B2UULgVZiiXSa1lGUVZuUVVNb3c/edit?usp=sharing
    Может оно конечно могло попасть и на границы блоков array, но не так же много. К тому же у mdisk блок в 256KB, это значительно больше 16KB. Т.е. шансов нарваться границу не так много.

  • #19281

    Pavel Alexei
    Участник

    С мегабайтами та же картина
    https://drive.google.com/file/d/0B2UULgVZiiXSeVN0OHZmMXhPRkU/edit?usp=sharing

    Запустил random IO на 100% write на тот же том. Сразу в 2 раза поднялись IOPS по отношению к чтению. А должно быть как раз наоборот.
    https://drive.google.com/file/d/0B2UULgVZiiXSZmFpUXZCU2tJeXc/edit?usp=sharing
    Может в случае read срабатывает read-ahead, который только мешает?

    Чтение из cache выше 700MB/sec не подымается. Выбрал читать небольшой кусок «по кругу» в IOMetter.
    По умолчанию стояло в vmware в multpathing Fixed, т.е. только 1 путь был активный. Ладно, 8Gb, больше не получиться. Сделал round-robin, стали активны обе ноды, но суммарно скорость все равно выше 700MB/s не поднялось.

    Помоему кого-то сильно глючит, меня или Storwize.

  • #19282

    Oldnick
    Участник

    версия микрокода какая?

  • #19283

    Oleg
    Участник

    версия микрокода какая?

    IBM support style? 🙂

    Запустил random IO на 100% write на тот же том. Сразу в 2 раза поднялись IOPS по отношению к чтению.

    у R1 — write penalty как раз х2

    А должно быть как раз наоборот.

    ?

    Может в случае read срабатывает read-ahead, который только мешает?

    он на всех стораджах давно адаптивный и при отсутсвии линейного чтения — выключается
    что с выравниванием на LU? винда случайно не 32-битная? как раздел на уровне ОС создавался?

    Чтение из cache выше 700MB/sec не подымается.

    а кто обещал больше?
    я ведь правильно понимаю, что turbo-лицензии нет?

  • #19284

    Pavel Alexei
    Участник

    Прошивка последняя, 7.1.0.5

  • #19285

    Pavel Alexei
    Участник

    performance на write в 2! раза выше чем у read, на том же томе, и тех же параметрах, а не наобород.
    Как я говорил, IOmetter запускается из под VM Win2003, которая работает под Vmware. Диск «толстый». Понятно, что тут эксперимент не чистый, я даже не предполагал получить какие-то сверх результаты. Честно говоря, было чуть времени решил посмотреть что оно умеет, да показать клиенту преймущетсва RAID10 перед RAID5, FC перед iSCSI, что значит 5 дисков и что 12.
    А тут такое…, что я даже сам в непонятке.
    И как такие цифры объяснить не знаю.
    А что касается alignments, ну не может оно такую разницу показать. 256K segment size у array. Если «пулять» в него запросами по 16K, то каковы будут шансы что 16K наложаться сразу на 2 сегмента? Ну 10%. А тут кол-во IOPS внутри почти в 2 раза больше чем «снаружи». Кстати в случая Write тоже самое, IOPS внутри в 2 раза больше чем снаружи (что понятно), но IOPS на уровне mdisk и volume одинаковые. А почему тогда write операции не нарываются на non-aligment?
    Я пытался играться с aligment внутри IOmetter, там есть 2 параметра для этого (Starting Disk Sector у Disk target и Align I/O у Access Specificatin), но все равно, картину это совсем не поменяло.
    на днях буду запускать другую V3700 в почти такой же конфигуриации и под такие же цели. Там пока 6.4.X прошивка. Но что-то все это выглядит совсем странно.

  • #19286

    Pavel Alexei
    Участник

    Кстати, по поводу turbo.
    тут и без turbo обещают огогого! 3.3GB/sec cache read.
    V3700 Turbo V3700
    Cache Reads (IOPS) 280,000 530,000
    Cache Reads (MB/s) 3,300 5,500
    Cache Writes (MB/s) 2,000 3,800
    Disk Reads (IOPS) 40,000 70,000
    Disk Writes (IOPS) 9,000 15,000
    Disk Writes (MB/s) 750 1,500
    https://www-304.ibm.com/partnerworld/wps/servlet/mem/ContentHandler/SGDR865967Z32578C12
    ну не такие цифры я ожидал увидеть, но пусть хоть без одного нуля.

    • #37619

      Alex
      Участник

      V3700 Turbo V3700
      Cache Reads (IOPS) 280,000 530,000
      Cache Reads (MB/s) 3,300 5,500
      Cache Writes (MB/s) 2,000 3,800
      Disk Reads (IOPS) 40,000 70,000
      Disk Writes (IOPS) 9,000 15,000
      Disk Writes (MB/s) 750 1,500

      Кстати, я правильно понимаю, что Disk Writes (MB/s) 750 1,500 зависит от программно изменяемой пропускной способности интерконнекта между контроллерами, с учетом заранее заложенного запаса?!

      Недавно, после увеличения количества дисков в 2 раза, посчитал IOPS по количеству дисков и флеша для V3700 для разного профиля нагрузки.

      Интересно было бы сравнить с расчетами таких же конфигураций в disk magic или других вендорских инструментах )

      Max IOPS for one IO-group is 66868.
      Max IOPS for one controller is 33434.
      The ratio of IOPS/GHz is 8359.
      The ratio of IOPS/GB is 0,62.

      Real Flash storage capacity is 2,8 TB.
      Real SAS 15K storage capacity is 103 TB.

      • Ответ изменён 2 года/лет, 11 мес. назад пользователем  Alex.
  • #19287

    Oleg
    Участник

    ну не такие цифры я ожидал увидеть, но пусть хоть без одного нуля.

    на одном из слайдов в иометре длина очереди была установлена в 1?

  • #19291

    Pavel Alexei
    Участник

    Точно, прошляпил. Только это на первом же окне, «# Outstanding I/O». То что я показывал, там другое, burst lenght, но оно не влияет, поскольку delay в 0.
    Ладно, теперь у меня 10 «disk worker» по 10 «Outstanding I/O» на каждый. Вроде как дальнейшее увеличение к лучшим результатам не приводит.
    Теперь производительность read и write на RAID10 стала одинаковой (ладно, это неважно), но мой вопрос остался в силе.
    Смотрим на график в GUI сторвайс.
    100% random write на RAID5: IOPS: Interfaces: SAS в 4 раза больше FC, Volumes и Mdisk цифры одинаковые и равны FC, вроде как правильно.
    100% random write на RAID10: IOPS: Interfaces: SAS в 2 раза больше FC, Volumes и Mdisk цифры одинаковые и равны FC, тоже понятно
    100$ random read на RAID5 или RAID10: IOPS: Interfaces FC = Volumes, Interfaces SAS = Mdisk, причем последние в 1.5 раза больше первых.
    Если бы это был aligment, то оно и на write влияло.

  • #19292

    Oleg
    Участник

    Ладно, теперь у меня 10 «disk worker» по 10 «Outstanding I/O» на каждый. Вроде как дальнейшее увеличение к лучшим результатам не приводит.

    дефолтная длина очереди на LU у
    4 vmware = 32
    5 vmware = 64
    а сами сторвайзы могут до 256 на LU
    так что в такой конфигурации получить заявленный максимум из кеша никак, тем более с одного LU

  • #19294

    Pavel Alexei
    Участник

    Тут что-то другое. У Vmware очереди не на LUN или datastore, а на HBA. Поскольку включение round-robin приводит к использованию обеих HBA, но при этом сумарно скорость НЕ увеличивается (получается что после этого скорость на каждом HBA падает в половину), то это не очереди HBA.
    Задействовал для cached IO оба имеющиеся тома. Скорость доступа стала скачкообразной, в пике уже до 1200MB/s, но периодически падает до 700, в среднем получаем 950MB/sec. Когда «ходил» только на 1 том, то график был ровный вокруг 800MB/s.
    Создал еще одну VM и запустил на другом серваке, сумарно поднялось в два раза скорость, перенес оба VM на один физический хост, упала до «старох» значений. Так что на самом деле это где-то на уровне Vmware. Надо будет разобраться. Хотя особых идей нет.

  • #19295

    Pavel Alexei
    Участник

    Тут что-то другое. У Vmware очереди не на LUN или datastore, а на HBA. Поскольку включение round-robin приводит к использованию обеих HBA, но при этом сумарно скорость НЕ увеличивается (получается что после этого скорость на каждом HBA падает в половину), то это не очереди HBA.
    Задействовал для cached IO оба имеющиеся тома. Скорость доступа стала скачкообразной, в пике уже до 1200MB/s, но периодически падает до 700, в среднем получаем 950MB/sec. Когда «ходил» только на 1 том, то график был ровный вокруг 800MB/s.
    Создал еще одну VM и запустил на другом серваке, сумарно поднялось в два раза скорость, перенес оба VM на один физический хост, упала до «старох» значений. Так что на самом деле это где-то на уровне Vmware. Надо будет разобраться. Хотя особых идей нет.

  • #19296

    Oleg
    Участник

    У Vmware очереди не на LUN или datastore, а на HBA.

    как и в любой другой ОС
    и на LUN
    LQLEN is the LUN queue depth. This is the maximum number of ESX/ESXi VMkernel active commands supported by the LUN.

    и на все остальное
    DQLEN is the queue depth of the storage device. This is the maximum number of ESX VMKernel active commands that the device is configured to support.
    AQLEN is the queue depth of the storage adapter. This is the maximum number of ESX VMKernel active commands that the adapter driver is configured to support.

  • #37621

    Alex
    Участник

    V3700 Turbo V3700
    Cache Reads (IOPS) 280,000 530,000
    Cache Reads (MB/s) 3,300 5,500
    Cache Writes (MB/s) 2,000 3,800
    Disk Reads (IOPS) 40,000 70,000
    Disk Writes (IOPS) 9,000 15,000
    Disk Writes (MB/s) 750 1,500

    Кстати, я правильно понимаю, что Disk Writes (MB/s) 750 1,500 зависит от программно изменяемой пропускной способности интерконнекта между контроллерами, с учетом заранее заложенного запаса?!

    Недавно, после увеличения количества дисков в 2 раза, посчитал IOPS по количеству дисков и флеша для V3700 для разного профиля нагрузки.

    Интересно было бы сравнить с расчетами таких же конфигураций в disk magic или других вендорских инструментах )

    Max IOPS for one IO-group is 66868.
    Max IOPS for one controller is 33434.
    The ratio of IOPS/GHz is 8359.
    The ratio of IOPS/GB is 0,62.

    Real Flash storage capacity is 2,8 TB.
    Real SAS 15K storage capacity is 103 TB.

    • Ответ изменён 2 года/лет, 11 мес. назад пользователем  Alex.
  • #37623

    Alex
    Участник

    123

Для ответа в этой теме необходимо авторизоваться.