Диск кончался. Оказалось — логи
Системные журналы заняли 4 ГБ и продолжали расти. Свободное место убывало, приложения были ни при чём.
4,0 ГБ → 31 МБ, рост остановлен, ни одного перезапуска
Читать разбор
Кейсы
Четыре разбора. Каждый — со своей страницей: контекст, что измерял, что сделал, чем проверил и что осталось незакрытым. Последний случай — разбор моей собственной ошибки.
Мониторинг с нуля, не трогая прод
Метрик не было вовсе, о состоянии сервисов судили по тому, открывается ли сайт.
Контур на отдельном сервере; прод не открыл ни одного нового порта
Читать разбор
Один сбой — одно уведомление
Два независимых наблюдателя писали об одном и том же, часть сообщений — без причины отказа.
Семь дублей выключено после доказательства покрытия
Читать разбор
Мониторинг, который врал
Наблюдатель потерял связь с сетью и объявил упавшими пять работающих сайтов.
Ложные тревоги этого класса прекратились
Читать разбор
И то, что остаётся после
Пример отчёта
В каждом случае результат — это не только починенная система, но и документ, который можно перечитать через полгода.