Война с IBM support


Главная Форумы Курилка Обо всём Война с IBM support

В этой теме 34 ответа, 9 участников, последнее обновление  Pavel Alexei 5 года/лет, 1 месяц назад.

  • Автор
    Сообщения
  • #17036

    Pavel Alexei
    Участник

    Может я стал слишком требователен, или таки IBM support становиться все хужее и жутчее.
    Может народ поделится, как выкручивается и как борется? А то у меня что не PRM, так одная головная боль.
    Я не скажу про Power, народ как-то не научился у нас платить за RSSSA, я про System X и Tivoli, мрак. Если L3 чудом не поможет чем-то, то дальше даже не стоит надеятся. Причем на L3 можно застрять навечно, такое впечатление, что им такое задание и дали: измотать клиента до стадии пока он не согласиться закрыть case на любых условиях. Последние веяния, давайте закроем до выяснения дополнительных обстоятельств, а если захотите, то потом можете его открыть заново.
    Последние перлы:
    Клиент захотел активировать вторую половину портов в Blade Brocade свиче. На сайте ввел магические цирфы и WWWN свича, ему сказали что операция произошла успешно, но ключи для активации он не получил ни на экране, ни по почте. Уже нежелю как не может добиться правда. L3 уже настаивает на обновление прошивок в AMM и cвиче, лишь бы показать какую-то активность. Сказали что в L2 где-то там с чем-то разбираются.
    Нашелся баг в Tivoli Performance Manager. L3 требует установки Interim Fix, хотя по жизни хорошим тоном было ставить только Fix Pack и IF только если есть данная проблема. IF на который настаивают вообще ничего общего с проблемой не имеет, но без установки его дальше говорить отказываются.
    Нашелся баг в софте Tivoli Network Manager. С трудом через месяц войны с L3 добрался до L2, а там сказали, что это не баг, а я хочу новую фичу, и идите вы на… Tivoli Request For Enhancement (RFE).

  • #17037

    Andriy
    Участник

    support как support. бывает хуже, бывает лучше. я с ними, обычно, только по high-end общаюсь, который сам руцями трогать права не имею. либо для своевременного подвоза запчастей…

  • #17038

    Pavel Alexei
    Участник

    Типа на киевском фронте все спокойно 🙂

    или это мне так в последнее время не везет?

  • #17039

    Andriy
    Участник

    Типа на киевском фронте все спокойно 🙂

    или это мне так в последнее время не везет?

    дело не в этом.
    во-первых, мне приходится, помимо support’а IBM общаться еще с некоторым количеством вендоров. саппорт IBM — не самое печальное что может быть на свете.
    во-вторых, я сам сижу на саппорте (не в IBM, конечно). и отлично знаю, что иногда может скрываться за кастомерским «поддержка — тупые му..ки» 🙂

    справедливости ради, замечу, что с софтовой их поддержкой не общался, поэтому полной картины могу не знать. хардварная — вполне меня устраивает 🙂

  • #17041

    andrewk
    Участник

    борьба с саппортом ведется очень просто.
    1. Любой PMR открывается с Severity 1. При этом требуется, чтобы каждые 30 мин перезванивали и сообщали о статусе.
    2. Вечером в 17-18 ч Severity понижается до 2 (чтобы по ночам не звонили), а на следующий день повышается до 1 (чтобы не расслаблялись)
    3. Если проблема не решается в течение недели и нет никаких видимых подвижек по ее решению — открывается CritSit с обязательными ежедневными конференциями.
    После пары критситов Вы становитесь самым нелюбимым клиентом местного IBM Support, но все последующие проблемы начинают решать оперативнее, потому что уже знают — нефиг с Вами связываться, пусть лучше у L2/L3 голова болит 🙂

  • #17042

    Pavel Alexei
    Участник

    Andrew: респект и уважуха 🙂
    В лоб скопировать не получится, но общая идея понятна.

    Japh: Не хватило, чтоб еще запчасти неделями таскали. Хотя, в моей практике и такое было. Где-то кто-то там «прошляпил» и мы сами проснулись что-то через месяц, когда клиент намекнул, что дескать мы неправы.
    Только гарантийные обязательства, это скорее показательно для локального сервиса, а не IBM.
    Там вот что твориться мне непонятно. Когда пару раз контроллеры V7000 перегружались и с месяц мурыжили запросами на логи и всякими догадками, потом все отправили в L2, где все успешно умерло еще на пару месяцев с последующим ответом (наверное почти полгода прошло), что баг лечится прошивкой коя вышла в этот промежуток.
    Когда на баг с SNMP в IMM2 ответили, что стандарный сапорт не покрывает такие проблемы. Когда на PMR, связанный с работой SLB в BNT L2/7, только через неделю (видимо кого-то нашли кто взялся за сапорт) попросили диагностик лог от свича и еще через неделю сказали, что дескать то, чего мы хотим не работает в этом дивайсе (хотя у меня большое попозрение что никто глубоко не влезал и не проверял).
    Cколько у меня такого насобиралось. И главное, что стыдно перед клиентами. Страна, что большая деревня, везьде админы знакомые или друзья.

    P.S. Еженедельно получаю анонсы на RETAINS и новости по прошивкам. Честно, иногда в дрожь берет, и молюсь чтоб такое у моих клиентов не случилось. Как всегда, джигиты бэкапов не делают, а даже если и делают, не все задумываются куда их развернуть если есть проблемы с первоисточником.

  • #17045

    Alex
    Участник

    Всё правильно, фашистский способ andrewk (с разными вариациями), — единственный. Ну и эскалация вообще.

    Нет у больших вендоров стимула обслуживать кастомеров на пятёрку. Ну куда, скажем, соскочит человек, если у него одного только железа плюс софта на пару десятков миллионов и всё это в составе единого решения?

    При этом hardware саппорт у всех ничего, возможно потому, что гораздо проще его обсчитать и заложить в бизнес-процессы. Вот она деталь, вот логистика, вот инженер, который деталь поменяет, постаравшись ничего не уронить, — всё достаточно просто.

    В software же полным-полно тонких мест и возможностей волынить (все просьбы прошитьсянакатить до последнего без малейшего анализа проблемы — именно отсюда). Тут бить только эскалацией. Без этого Кумары будут заламывать руки в просьбах собрать «ещё логов», «перепрошиться», и, главное, всегда будут иметь возможность ткнуть в ответ на вопрос главного, что мячик де на стороне клиента.

  • #17048

    uxTuaHgp
    Участник

    Soft сапорт ужасен — действительно ощущение такое, что Кумарам поставлена задача измотать клиента до добровольного закрытия инцидента.
    Тянут резину, занимаются футболом, запрашивают в час по чайной ложке логов, за неимением чего либо предлагают закрыть инцидент.

    Если речь заходит о явных багах в коде — все сводится именно к такому сценарию.
    То ли разработка с поддержкой в сговоре пытается не потерять KPI из-за найденных у клиента ошибках.

    Может быть кейсы закрываются, а баги потом как бы сами разработчики находят и за премиальные фиксят?

  • #17050

    Alex
    Участник

    Может быть кейсы закрываются, а баги потом как бы сами разработчики находят и за премиальные фиксят?

    Да нееет, в такой огромной конторе как ибэмэ такого вида сговор просто невозможен. Особенно с учётом того, что девелоперы сидят в одном месте, а первая линия может сидеть наполовину в Индии.

    Тут проще всё: во-первых, уровень грамотности первой-второй линии за счёт неоднократной «оптимизации ресурсов» и бесконечного аутсорсинга упал ниже плинтуса. Собственно, это много где так.

    Также мотивация первой и второй линии поддержки наверняка никак не завязана впрямую на клиентский фидбек. Понятно, что от негативного фидбека при очень настойчивом клиенте (пример andrewk) плюха прилетит, но если будешь рвать попу — больше не заплатят.

    А у клиента бизнес, в конце-концов он или что-то перезагрузит (после перепрошивки), или плюнет — и проблема в глазах поддержки решит сама себя. Соответственно, идеальная модель поведения с точки зрения Кумара — набрать тикетов на среднестатистический уровень (чтобы не выделяться) и сидеть пинать балду, перекидывая их на клиента с глупыми вопросами, когда подходит экспирейшен.

  • #17052

    Michael
    Участник

    Отседова:«Представители IBM говорят, что во многом в падении ключевых цифр виноват североамериканский рынок, который оказался подвержен негативным настроениям и многие клиенты здесь сокращали заказы, либо вовсе отказывались от контрактов на модернизацию или обслуживание ИТ-инфраструктуры

    Немного не в тему, конечно, но теперь я более ясно представляю, что скрывается за словосочетанием «негативные настроения на рынке» 😛

  • #17055

    Sever
    Участник

    «Представители IBM говорят, что во многом в падении ключевых цифр виноват североамериканский рынок, который оказался подвержен негативным настроениям и многие клиенты здесь сокращали заказы, либо вовсе [b]отказывались от контрактов на модернизацию или обслуживание ИТ-инфраструктуры[/b].»

    Немного не в тему, конечно, но теперь я более ясно представляю, что скрывается за словосочетанием «негативные настроения на рынке» 😛

    Из итогов третьего квартала 2012:

    Revenue by Geography
    Americas’ revenue was down 3 percent, with declines in both the US and Canada.
    In North America, Software was up 4 percent, Services was down, and we had a
    double-digit decline in hardware. With revenue performance relatively consistent
    with last quarter, EMEA was stable. Looking at the performance by country,
    Germany and Spain grew; the UK was flat, while France and Italy declined.
    Turning to Asia Pacific, last quarter I said that I expected our business in Japan to
    stabilize. This quarter our revenue in Japan was flat year to year, so certainly an
    improvement over the last several quarters. We had good performance in both
    Europe and Japan, given the environment.
    In our growth markets countries, which we refer to as GMU, the BRICs had
    another good quarter, combined they were up 11 percent. We had double-digit
    growth in Russia which was up 11 percent, India up 13 percent and China up 19
    percent. Brazil however, was down 3 percent. Looking beyond the BRICs,
    Australia and Mexico were down double digits this quarter, while most of the other
    countries continued to do well. In fact, this quarter 35 of the growth markets
    countries grew at a double-digit rate, reflecting ongoing broad-based strength.

    http://www.ibm.com/investor/3q12/presentation/3q12prepared.pdf

    В России и СНГ можно сколько угодно ругать сервис, терпеть двухкратные по сравнению с америкой цены, но продолжать покупать IBMовское железо в больших количествах.

  • #17058

    Pavel Alexei
    Участник

    ну что и как продается, часто далеко от каких-то технических вопросов.
    В лучшем случае это потому, что софт рулит только на этой платформе (как у тебя например).
    Сл. по порядку переференции брэнда. Тут все время вспоминается фраза из Проштоквашино — «Ну я тебя выбираю. Тебя я давно знаю, а этого кота вижу впервые». Хотя этот же персонал потом выдал другую фразу — «Эх, был бы у меня такой кот, может я бы даже и не женился».
    А чаще всего продается, потому что продавцы шустрее окозались. Я когда на них смотрю, все время Галыгина вспоминаю, с его «Копай!!!!». Только у них оно звучит как «Продай!!!!»

  • #17061

    Pavel Alexei
    Участник

    В супорте тоже люди с юмором.
    Как посоветовал Andrew поднял уровень северити на проблему с ключами для активации доп. 10 портов в Blade свиче до уровня 1. Через 3 часа (это после более недели ругани) прислали ключ. Все обрадовались, но недолго. Сунули ключ в зубы свичу и у нас отвисли челюсти — ключ активирует вместо 10 портов, только 5!. Я даже не знал что вообще такое бывает или было когда-то.
    Думаю завтра будут настаивать на закрытие этого PMR (ключи то мы получили) и открытие другого (почему вместо 10 портов, ключ добавил только 5).

  • #17063

    Alex
    Участник

    Ни в коем случае!! Есть ненулевая вероятность, что при открытии нового PMR придётся всё объяснять заново новому Кумару. Это не считая того, что новый PMR — новые сроки в рамках внутреннего SLA.

    Да и за какие такие заслуги закрывать старый? Долбать надо в рамках открытого за их факапы. Причём чем проще объяснение клиента, тем лучше, учитывая, что туда рано или поздно посмотрит начальник Кумара. «Предложенный ключ не работает!!», — и дальше уже мелким шрифтом соизволить объяснить причины про пять портов супротив десяти.

  • #17069

    Pavel Alexei
    Участник

    А есть ли у кого тесный опыт общения с аналогичным сапорт у других брэндов уровня enterpise? Конечно же не на уровне гарантийной замены деталей.
    Что «там» творится? HP, HDS, DELL, EMC….
    Из недавнего опыта, сталкивался с EMC/RSA, как говориться не фонтан. Правда сам RSA был поглощен, похоже интеграция прошла не так гладко, да продукт тоже был неродной для RSA.

  • #17070

    andrewk
    Участник

    был опыт общения с HP — было еще хуже. Долгое время над столом висело письмо с извинениями от московского HP за доставленные проблемы с сервисом.

  • #17072

    Alex
    Участник

    EMC Networker(бывший Legato). Плавающий баг проявлялся на бекапе нескольких терабайт, потому воспроизведение условий по щелчку пальцев Кумара выбесило после третьего раза. Привлечённый инженер помочь не смог. В результате напрягся и пофиксил сам.

  • #17081

    Pavel Alexei
    Участник

    нет в жизни счастья 🙁
    Я уж думал поменять провайдера 🙂

  • #17082

    Как показывает практика крупных интернет монстров дешевле накупить китайского барахла без сапорта — сломалось ну и черт с ним.

  • #17083

    Pavel Alexei
    Участник

    Как показывает практика крупных интернет монстров дешевле накупить китайского барахла без сапорта — сломалось ну и черт с ним.

    Согласен для рядовык случаев.
    В случае если надо обеспечить SLA, может оказаться не так. Даже если и мягко постелено на то место, куда падать в случае выхода из строя, может отказать и подушка безопасности. Правильно быть всегда готовым к стрессовым обстоятельствам, но делать из них ежедневное рядовое проишествие IMHO неправильно.

  • #17093

    Anton Bukhman
    Участник

    У меня не так давно был опыт общения с техподдержкой HP.
    Они почти официально заявили, что на наш HPUX невозможно поставить bash. *face_palm*
    У меня это заняло 10 минут (Гугление, скачивание, установка).
    Они зачем то решили сами скомпилить depot, не получилось. Я же слил уже готовый.

    С тех пор я прослыл «крутым чпуксером» и теперь занимаюсь и им тоже 🙁

  • #17094

    Alex
    Участник

    дешевле накупить китайского барахла без сапорта

    Это ж от бизнеса зависит. Мейнфрейм в сисплексе покупают не для того, чтобы перед ребятами было, чем понтануться. Отказ нескольких узлов гугл переживёт спокойно, в отличие от биржи в разгар торгов.

  • #17096

    andrewk
    Участник

    я каждый раз радуюсь, читая в новостях об очередном отказе Amazon EC2. Или google. А вот про Facebook ничего вроде не пишут, но почему-то там с завидной регулярностью теряются посты… Да, покупайте дешевое железо и делайте все на нем 🙂

  • #17098

    Andriy
    Участник

    я каждый раз радуюсь, читая в новостях об очередном отказе Amazon EC2. Или google. А вот про Facebook ничего вроде не пишут, но почему-то там с завидной регулярностью теряются посты… Да, покупайте дешевое железо и делайте все на нем 🙂

    капитан очевидность номекае нам, что никакой взаимосвязи тут нету.
    архитектура, изначально нацеленная на распределение по туевой хуче узлов — вполне себе может обойтись без дорогих железяк. ибо просто не надо. отказы — это не проблема железа, а проблема архитектуры и человеческий фактор.
    гуглы предпочитают вкладывать в девелоперов. энтерпрайз — в железо. в случае факапа — можно кидать предъявы к вендору (зачем собссно и нужен пресловутый саппорт). а с кнопконажимателя, который, зачастую, сидит на администрировании AIX’а или СХД на предприятии — что возьмешь? квалификация там, зачастую, такая, что железяка с ОСью работает вопреки, а не благодаря.

    и да — если вы не совсем в теме, не стоит уподобляться хаброюзерам и рассказывать про «гугл работает на дишовам самосборе, адин-адин». веб-проекты, там где надо, тоже вполне себе покупают брендовое железо. инфа 100% 🙂

  • #17099

    Andriy
    Участник

    Отказ нескольких узлов гугл переживёт спокойно, в отличие от биржи в разгар торгов.

    ну вообще-то, бирже никто не мешает спроектировать распределенную архитектуру, которая тоже переживет отказ пачки супермикр. и оно будет работать 🙂

  • #17102

    Pavel Alexei
    Участник

    ну вообще-то, бирже никто не мешает спроектировать распределенную архитектуру, которая тоже переживет отказ пачки супермикр. и оно будет работать 🙂

    Категорически не согласен. Дело не в архитектуре, а в области «автоматизации» — насколько она требовательна к отказоустойчивости.
    При распределенной архитектуре, выход из строя какого-то эллемента все равно приведет как какому-то простою. Причем чем более «распределенная» будет архитектура (в смысле не кол-ва узла, а глубизны/качества), чем больше будет время простоя, пусть и для меньшего кол-ва пользователей.
    Системы с честичной «распределенностью» (когда только front-end) разнесен рассматривать не будем, надо смотреть на системы типа hadoop, вплоть до разноса данных. Если кусочек «отвалиться», то и какой-то кусок «данных» отвалится, пока его не восстановят. Не всякая область готова на такую «автоматизацию». Можно сделать полное дублирование всего на уровне каждой ячейки, но думаю что такое решение потянет на очень дорого.

  • #17103

    andrewk
    Участник

    и да — если вы не совсем в теме, не стоит уподобляться хаброюзерам и рассказывать про «гугл работает на дишовам самосборе, адин-адин». веб-проекты, там где надо, тоже вполне себе покупают брендовое железо. инфа 100% 🙂

    так, к слову сказать, в моем резюме даже Яндекс в качесте работодателя есть 😉 но это так, к сведению. об уподоблении хаброюзерам и прочим 100% 🙂

  • #17104

    Andriy
    Участник

    [quote quote="japh" post=16351]
    и да — если вы не совсем в теме, не стоит уподобляться хаброюзерам и рассказывать про «гугл работает на дишовам самосборе, адин-адин». веб-проекты, там где надо, тоже вполне себе покупают брендовое железо. инфа 100% 🙂

    так, к слову сказать, в моем резюме даже Яндекс в качесте работодателя есть 😉 но это так, к сведению. об уподоблении хаброюзерам и прочим 100% :-)[/quote]

    ну значит должны быть в курсе, что и как.

  • #17105

    Andriy
    Участник

    Можно сделать полное дублирование всего на уровне каждой ячейки, но думаю что такое решение потянет на очень дорого.

    как правило, оно так и есть, впринципе. если отвал ячейки ведет за собой полную потерю данных.

  • #17107

    Alex
    Участник

    ну вообще-то, бирже никто не мешает спроектировать распределенную архитектуру, которая тоже переживет отказ пачки супермикр

    Дело не в распределённой архитектуре как таковой, а в том, что биржа, скажем, не может себе позволить терять данные. Если Вася отправил ордер на покупкупродажу позже Пети, то ситуация, когда ордер Васи исполнился, а Пете сказали «приходи попозже, потому что у нас тут нода легла» — катастрофа.

    Мир не ограничивается интернет-проектиками, в-общем.

  • #17109

    Andriy
    Участник

    [quote]ну вообще-то, бирже никто не мешает спроектировать распределенную архитектуру, которая тоже переживет отказ пачки супермикр

    Дело не в распределённой архитектуре как таковой, а в том, что биржа, скажем, не может себе позволить терять данные. Если Вася отправил ордер на покупкупродажу позже Пети, то ситуация, когда ордер Васи исполнился, а Пете сказали «приходи попозже, потому что у нас тут нода легла» — катастрофа.

    Мир не ограничивается интернет-проектиками, в-общем.[/quote]
    я то как раз в курсе 🙂 еще раз — архитектура с распределенными нодами вовсе не обязательно подразумевает потерю части данных при отказе ноды. совсем другой вопрос — проектирование таким образом, чтобы не только данные не потерялись, а еще и производительность не просела. и если для интернет проекта допустим, к примеру, более медленный логин десяти тыщ пользователей из десятка миллионов в свои ящики почтовые, то для биржи, конечно, недопустимо повышение времени отклика аппликухи для части пользователей. вот тут и встает в полный рост вопрос квалификации разработчиков и архитекторов.
    и да — вы думаете веб проекты деньги из воздуха берут? у них отвал «части» рекламных информров, к примеру, тоже потеря бабла. или отказ части баннерокрутилки. и ничего — решают же как-то? 😉

  • #17110

    andrewk
    Участник

    отвал части баннерокрутилки вызывает частичную потерю пары десятков тысяч баксов. отвал части транзакций на бирже или в банке может повлечь санкции на пару миллионов баксов. вообще же, большинство проблем, конечно, проистекают не из используемого железа, а именно из-за человеческого фактора, от которого никто не застрахован.

  • #17111

    Alex
    Участник

    совсем другой вопрос — проектирование таким образом, чтобы не только данные не потерялись, а еще и производительность не просела

    Кроме теорий и мечт о лучшей жизни есть ещё такая штука, как физика. Которая говорит нам, что не от хорошей жизни люди платят деньги за быстрый интерконнект. И даже при самых лучших системных архитекторах выдержать строгие требования ТЗ по некоторым проектам на какашечном оборудовании не представляется возможным.

  • #17112

    > И даже при самых лучших системных архитекторах выдержать строгие требования ТЗ по некоторым проектам на какашечном оборудовании не представляется возможным.

    А при плохих — p795 не спасет :). Проблема в том, что цена за саппорт у крутых железок не соответствует его качеству.

  • #17113

    Pavel Alexei
    Участник

    > Проблема в том, что цена за саппорт у крутых железок не соответствует его качеству.

    «Белые приходят — грябют. Красные приходят — опять грабют. Куда податься бедному крестьянину?»
    На самом деле, особо то и выбирать не приходится. Практически всегда железо «приходит» после выбора решения. Иногда вообще нет выбора, например как Equation который пока только на AS/400 крутится.
    Но даже если и есть выбор, как у Сбера с «его» Way4, поскольку система требует мощного back-end, выбор есть только между «сараем» от IBM или «сараем» от HP. Но поскольку история не знает сослагательного склонения, никто не знает, как бы сложилось если бы взяли не этот «сарай», а вон тот.
    И остается только учится в этих условиях выживать.

    Честно говоря, я уже подумывал сменить «провайдера», только вот будет ли мне от этого лучше? Опять же «тебя я знаю, а его в первый раз вижу». Будет ли новая жена покладистей, еще под большим вопросом 🙂 Жалко админов клиентов, да и себя тоже. Иногда что-то больно «падает», клиент смотрит на тебя как на бога и ждет что ты щелкешь пальцами и все заведется. А ты понимаешь что несмотря на какой-то «там» супорт, тебе особо надеятся не на кого и надо искать как заткнуть очередную дыру.

Для ответа в этой теме необходимо авторизоваться.