Организация рабочего места дежурной смены

Недавно столкнулся с задачей обеспечения рабочего пространства дежурной смены. Руководство приняло решение обеспечивать сопровождение 24/7. Наняли необходимое количество администраторов, которые обязались сидеть посменно (в т.ч. и ночью) и следить за работоспособностью систем.

Пока коллега занимался написанием процедур для дежурных на случаи аварийных сбоев, я стал разрабатывать их информационное обеспечение. Для начала рассматривался вариант держать по умолчанию открытый мониторинг и руками обновлять страницу для оперативных данных.

От такого решения сразу отказались, потому что сменщик мог забыть про Zabbix, либо увлечься партией в CS и пропустить момент аварии. Решили купить 2 экрана, повесить их на стену и передавать картинку с мониторинга на них. К экранам подключался обычный компьютер, в котором были открыты два окна браузера с автообновлением страницы. Для этого поставили дополнение к Chrome в виде Easy Auto Refresh: https://chrome.google.com/webstore/detail/easy-auto-refresh.

Инструмент до неприличия простой: ставится таймер автообновления и нажимается «Start».

На один экран выводился стандартный дашборд Zabbix и график температуры, на другой решили вывести сетевую карту с датчиками NetPing.
Черновик:

Поскольку устройство NetPing у меня является обычным оборудованием в zabbix и проверяется только его доступность, я вывел отдельно картинку под названием «триггер», который получает информацию с «источника данных».

Настройки триггера:

Добавление триггера на карту:

На выходе у меня видна связь NetPing с сенсорами и их состоянием (ОК, неОК). Второй была сетевая карта с оборудованием:

Таким образом у меня есть два экрана:

• Экран 1: дашборд с алертами, температурный график;
• Экран 2: сетевая карта с NetPing, сетевая карта с оборудованием

Оставалось решить вопрос с уведомлением. Отправку SMS-сообщений и email объявлять панацеей было нельзя (ведь сменщик мог просто-напросто уснуть), и было принято решение использовать также звуковое уведомление.

Для начала стоит сказать, что в Zabbix нет звукового уведомления по умолчанию, но есть запуск скрипта. Это дало отличный повод для изобретения велосипеда. Для начала скажу, что на компьютере, в котором открыты браузеры с экранам Zabbix стоит linux, что упрощает решение моей задачи по аудиоуведомлению. Я написал на сервере Zabbix ряд скриптов, которые выполняют до неприличия простую задачу: заходят на компьютер по ssh и запускают там другой, не менее простой скрипт: play_alarm.sh.

Черновик скрипта audio_notify.sh

#!/bin/bash -l
ssh user@monitorpc
/path_to_script/play_alarm.sh

Черновик скрипта play_alarm.sh

#!/bin/bash –l
Audioplay /path_to_alarm_file/alarm.wav

Настройка нового способа оповещения:

Я привязал этот способ к необходимым событиям, на которые обязательно надо реагировать, и проверил: в случае проблемы отсылались сообщения и почта, а также из колонок, подключенных к компьютеру, издавался ужасающий писк, скачанный из интернета. Получалось интересно, но на этом мои приключения не закончились – руководство посчитало, что писка недостаточно и что голосом нужно сообщать, что конкретно случилось.

Такую задачу решить было ненамного сложнее: я попросил симпатичную девушку из отдела кадров зачитать мне на микрофон текст в духе: «Внимание! Предупреждение о высокой температуре в серверной!», «Внимание! Утеряна связь с сетевым оборудованием! За подробностями обратитесь к сетевой карте Zabbix!», ну и так далее.

Для каждого типа проблемы создавался отдельный wav файл и отдельный скрипт на обоих машинах. Уникальные скрипты привязывались к конкретному типу события, и вместо обычного писка в комнате дежурной смены мелодичный женский голос сообщал, что все не так хорошо, как хотелось бы.

Резюме

Для обеспечения рабочего места дежурной смены мне понадобились:

1. Компьютер с установленной ОС Linux;
2. Колонки;
3. 2 LCD экрана 35";
4. Голос очаровательной кадровички.

На компьютере выводились 4 окна браузера с дашбордом, графиком температуры, сетевой картой и картой датчиков NetPing. На всё про всё мне понадобилось 3 часа с момента покупки необходимого оборудования.

P.S. Кстати, для тех ИТ отделов, которые находятся недалеко от серверной комнаты, можно ставить сигнализацию, подключенную к NetPing. Например, эту: http://www.netping.ru/products/sirena-ac10.

• Все устройства