Когда недобросовестные продавцы пытаются вытащить побыстрее

Хотя основная задача ИТ-специалиста, работающего в компании, состоит в том, чтобы сделать так, чтобы технологическая сторона дела работала как можно более гладко, также было бы неплохо, если бы он следил за прибылью компании. Здоровый бизнес — это тот, который держит расходы под контролем и эффективно использует финансовые ресурсы. Когда расходы одного человека или отдела в компании выходят из-под контроля, могут пострадать все, кто работает на предприятии. Недавно я разговаривал с Бобом Коллинзом, ИТ-специалистом, который рассказал историю о том, как он помог бизнесу, с которым у него были договорные рабочие отношения, избежать ненужных расходов в полмиллиона долларов на обновление программного обеспечения. Да, вы меня правильно поняли — он сэкономил компании ПОЛМИЛЛИОНА ДОЛЛАРОВ. Сначала он добился этого благодаря тщательному техническому анализу обновления, которое, казалось, пошло не так, но он также сделал это, признав, что иногда вы будете сталкиваться с нечестными поставщиками, которым не всегда можно доверять в том, что они обещают и выполняют.

Боб вырос в маленьком городке США и имеет четыре степени: AS-Электроника, BA-Религия, BS-Психология и BS-Электротехника. Вся история работы Боба была связана с ИТ, и на протяжении многих лет он планировал, устанавливал и управлял всем, от центра обработки данных до настольных компьютеров, с нуля. Он специализируется на системном администрировании UNIX (UX, Solaris, AIX и Linux) и администрировании баз данных (Oracle до 12c и SQL Server до 2014). Боб также работал над аппаратным обеспечением для всех этих операционных систем и баз данных, так что он в значительной степени мастер на все руки, когда речь идет как об аппаратном, так и о программном обеспечении в области ОС и баз данных.

Боб начинает свой рассказ с небольшого количества справочной информации о себе, а затем переходит к мельчайшим вещам по устранению неполадок, которые обычно можно найти в грязных окопах ИТ. Я надеюсь, вам понравится история Боба, и вы научитесь не только его техническому усердию, но и его « («Доверяй, но проверяй!») отношение к поставщикам, с которыми работает ваша организация, включая обычно честных и иногда нечестных поставщиков. Давайте передадим слово Бобу.

Смена работы — это не всегда просто смена работы

Моя ИТ-карьера началась, когда вошел инженер, с которым я работал, и сказал мне: «Присаживайся!» Он продолжил рассказывать мне, что устраивается на работу в Калифорнию и уезжает на следующей неделе. Это было тогда, когда вы могли выключить систему, снять основные платы, почистить контакты ластиком, избавиться от остатков на плате, снова вставить ее в заднюю панель и снова запустить систему. Система будет работать как чемпион. Кроме того, у меня была степень в области электроники, что очень помогло. Проделал большую работу на уровне платы, а также на уровне ОС и базе данных. Этот опыт был благословением больше раз, чем я могу сосчитать.

До заключения контракта я работал на оператора сотовой связи. Я ушел из коммунального предприятия в качестве старшего аналитика информационных систем, работая администратором базы данных Oracle. Я перешел к оператору сотовой связи в качестве администратора базы данных (несколько продуктов) и системного администратора UNIX (несколько ОС). Привлечение было немедленным — гораздо более высокая заработная плата, лучшие льготы, меньше стресса и потрясающая рабочая среда.

На первом собрании сотрудников сотового провайдера меня представили, и я получил целый список проблемных мест, требующих серьезного внимания. Они варьировались от дисковых массивов до ОС и проблем с базами данных, больше, чем я могу упомянуть. Большинство людей сказали: «Мы рады, что теперь вы являетесь владельцем этих выпусков!» Я задавался вопросом, принимал ли я правильное решение больше, чем один раз!

Согласование уровней прошивки RAID

Операторы сотовой связи должны защищаться от мошеннического использования своих телефонов и систем. Есть сторонние компании, которые специализируются на этом. Проблема, которая встала перед нами на первое место, — это система обнаружения мошенничества (FDS). У него был собственный сервер и дисковый массив RAID. (Небольшое отступление — этот оператор сотовой связи был выбран «лучшим в своем классе» за свои системы и программное обеспечение. Это означало множество различных систем и множество различных вариантов программного обеспечения и ОС.) В течение недель/месяцев происходили всевозможные появляются ошибки в этой системе. Частота ошибок была ужасной, настолько большой, что дисковый массив фактически терял некоторые данные.

Опыт научил меня, что системы, использующие диски с реализованным RAID, должны иметь прошивку того же уровня или, по крайней мере, самого высокого уровня для этой версии диска. (Небольшой лакомый кусочек, который я узнал от специалиста EMC.) Проверка уровней прошивки показала, что они были повсюду! Некоторые из них устарели почти на 24 месяца, другие всего на несколько месяцев, а третьи были очень близки к текущим. С помощью производителя серверов мы приблизили все диски к нужным местам. После добросовестной перезагрузки системы я следил за ошибками около двух недель. Процент ошибок упал почти до нуля. Я думал, что с FDS покончено, но он снова будет преследовать меня.

Загадочные проблемы от апгрейда

Мы обслуживали массив серверов/дисков, но FDS обслуживала компания, разработавшая программное обеспечение FDS. С нами связались представители FDS, заявив, что им необходимо установить серьезное обновление своего программного обеспечения. Без проблем. Они прислали нам DVD, и я загрузил его, когда они были готовы.

Установка происходила в выходные дни, когда FDS обычно обрабатывал относительно мало данных. В течение следующих нескольких недель я заметил, что ЦП сервера большую часть времени был максимально загружен. Дисковый массив также демонстрировал интенсивное использование, близкое к 90-процентному использованию. Примерно через три недели с нами связались сотрудники FDS и заявили, что, по их мнению, нам необходимо обновить наш сервер и дисковый массив. Это было дорогое решение, порядка 500 000 долларов.

Устранение неполадок в базе данных, не заглядывая внутрь

Поскольку FDS была «защищенной» системой, у нас не было доступа к данным. Это было сделано, чтобы исключить любую возможность изменения данных с нашей стороны. Это также ограничило мою возможность проверить, что оборудование достигло конца срока службы. Я бы не «благословил» обновление на 500 000 долларов, не убедившись в необходимости. Мне нужен был способ подтвердить, что происходит в системе.

Я знал, что данные остались прежними, т. е. они использовали одни и те же элементы данных и типы. У меня были записи до обновления продукта, показывающие:

• Пропускная способность системы
• Загрузка процессора
• Использование памяти
• Использование диска, включая подкачку
• Использование сети

Я использовал эти элементы, чтобы установить базовый уровень, точку для оценки обновления продукта. Я начал наблюдать за системой, сравнивая использование обновления с «исходным» использованием. Внутри программного обеспечения FDS данные анализировались таким же образом. Нам сказали, что программное обеспечение FDS было переписано с использованием других алгоритмов для получения тех же результатов. Новые алгоритмы оказались «более эффективными».

После просмотра пунктов с 1 по 5 выше у меня были убедительные доказательства того, что делает система. Это вместе с данными, которые у меня были до обновления FDS, дали хорошее представление о том, что происходит. Можно было точно сказать, когда FDS начала анализировать «загрузку» данных. Используя дополнительное программное обеспечение, я смог «заглянуть» в процессы и посмотреть, что они делают.

Я обнаружил, что запросы были плохо закодированы. В некоторых случаях таблицам требовались индексы, так как полное сканирование выполнялось для таблиц, содержащих 500 000 строк, а в некоторых случаях и гораздо больше. В других индексы не обновлялись. Я обнаружил, что таблицы были плохо спроектированы, что приводило к множественным соединениям. Они даже близко не были нормализованы. Поскольку я смотрел процессы, я не мог ничего изменить, что предотвратило любое нарушение соглашения о программном обеспечении.

Корень проблемы

Когда я сложил все проблемы вместе, производительность была ужасной. Я создал отчет, показывающий результаты до обновления FDS и после обновления FDS. Я показал своему начальнику, что происходит. Он был не слишком доволен поставщиком программного обеспечения. Падение производительности составило около 400 процентов в отрицательную сторону. Когда мы отправили отчет поставщику программного обеспечения, они поняли, что им необходимо внести серьезные изменения. Насколько я помню, были какие-то «крепкие» слова.

Суть в следующем: продавец пытался навязать клиенту (нам), думая, что мы не найдем проблем. Было до боли очевидно, что программное обеспечение было плохо закодировано. Поставщику программного обеспечения пришлось переписать свое программное обеспечение. Мы (оператор сотовой связи) не остались в долгу перед ненужным обновлением оборудования на 500 000 долларов!

Уроки выучены

Урок для всех нас состоит в том, чтобы войти в любую ситуацию с открытым разумом и ясным видением. Используйте все ресурсы, которые у вас есть, чтобы проверить ситуацию. Не просто верьте всему, что вам говорят — да, вы столкнетесь с недобросовестными продавцами. Остановитесь и проверьте по пути. Наконец, никогда не переставайте задавать вопросы, если вы не знаете, и учитесь как можно больше. Затем действуйте с некоторой осторожностью. Известно, что вещи кусают нас, когда мы не смотрим.