По мере расследования проблемы вы сможете отнести ее причину к одной из двух категорий:

• ошибка/некомпетентность;

• непродуманность / недостаточное планирование.

Чтобы установить первопричину проблемы, часто используют итеративный сужающий подход «пять почему», разработанный основателем концерна Toyota. Он не всегда работает, потому что иногда первопричин несколько, но благодаря ему вы сможете начать с общей картины и перейти к более узким вопросам.

Если это была человеческая ошибка, определите, является ли она следствием недостаточного обучения. Прошел ли тот, кто ее совершил, необходимое обучение? Если да, были ли это просто неправильные действия или же какой-то сложный пограничный случай, к которому обучение не может подготовить? Как конкретно произошла эта ошибка: был ли исполнитель перегружен задачами, или его что-то отвлекло – и в результате он сделал то, чего не должен был делать? Были ли пропущены какие-то действия?

Ответив на эти вопросы, вы получите более широкое представление о том, в каком месте произошел сбой и какие шаги можно предпринять, чтобы предотвратить его в будущем. Можете ли вы внедрить дополнительную защиту в виде проверок и резервирования? Или достаточно провести дополнительное обучение и проверку знаний, чтобы убедиться: все знают, что делать?

Заметки с полей

Не то окно

Я работал с клиентом, когда однажды утром началась суматоха, сработали все сигналы тревоги, предупреждая о серьезном сбое на продакшене. Попытки войти на серверы (это было время, когда к серверам подключались по SSH) ничего не дали – серверы как будто исчезли. И так и было! Системный администратор случайно «удалил» продакшен кластер веб-серверов. Он открыл слишком много окон в терминале и думал, что работает с тестовыми серверами и удаляет ресурсы, которые больше не используются. После этого случая были введены дополнительные меры безопасности, но самой эффективной из них стало выделение окон терминала с подключением к продакшен-серверам невыносимо ярким цветом, чтобы их сразу было видно.

Составьте описание инцидента и его причин. Задокументируйте шаги по исправлению.

Если сотрудник вновь допустит такую ошибку, возможно, эта работа ему не подходит, особенно если другие в команде без проблем справляются с теми же задачами. Также изменения в команде могут понадобиться, если для какой-то позиции тот или иной навык является ключевым, а уровень владения этим навыком у текущего сотрудника недостаточный. Увольнение не следует рассматривать как наказание или возмездие, это просто признание факта, что человек не подходит для должности, на которую он был принят. Да, увольнять неприятно и некомфортно, но используйте этот инцидент в дальнейшем как часть процесса собеседования, чтобы оценить, как другие кандидаты справятся с подобной ситуацией.

Если же проблему можно было предотвратить более тщательным планированием – это другое дело. Невозможно предусмотреть любую случайность, но, несмотря на это, вы вправе ожидать от ответственных людей выполнения основных требований. Вот некоторые примеры:

• Взлом вашей системы, поскольку сотрудник, ответственный за безопасность, не настроил файервол или не обновил его вовремя.

• Потеря данных из-за того, что сотрудник, ответственный за базы данных, как следует не проверил работоспособность резервных копий.

• Прекращение оказания услуги из-за того, что сотрудник пропустил электронное письмо о проблеме с оплатой.

• Отказ оборудования из-за того, что у сотрудника, ответственного за оборудование, не было плана его обновления или обеспечения безотказной работы.

Мы всегда хороши задним умом, и то, что кажется очевидным после разбора, не всегда понятно или кажется важным до аварии. Удивительно, как часто самые простые и базовые вещи могли бы предотвратить катастрофу, если бы были сделаны, но вместо них всегда находилось что-то более важное.

Поскольку вы тут главный, спросите себя, не была ли ошибка следствием того, что вы не согласовали решение или не ответили на вопрос, который несколько месяцев пролежал на вашем столе. Если безопасник не смог установить файервол из-за того, что вы не согласовали оплату, то его вины здесь нет.

В любом случае задокументируйте событие и поговорите с ответственным за него. Если проблема будет повторяться – возможно, дело в сотруднике, и ее можно решить, проведя дополнительное обучение или, в крайнем случае, заменив сотрудника на более подходящего.