Один сбой — одно уведомление

Что было

Два независимых наблюдателя следили за одним и тем же. На каждый сбой приходило по два сообщения, часть — без причины отказа. Когда сообщений много, их перестают читать, и пропускают то самое.

В чём была ловушка

Соблазн — выключить дубли сразу. Но два наблюдателя покрывали разное: у одного были проверки, которых у другого не было. Выключив «дубль» вслепую, можно было обменять шум на слепоту.

Что сделал

Сначала для каждого сигнала показал письменно, кто за него отвечает после изменения: какое правило, какой порог, какая задержка и куда доставляется. И только там, где покрытие доказано, выключил дубль.

Чем проверил

Тремя сценариями: живым отказом, синтетическим событием и негативным — когда сообщение приходить НЕ должно. Третий важнее первых двух: без него нельзя отличить работающее правило от срабатывающего всегда.

Что стало

Семь дублирующих уведомлений выключено; покрытие каждого сигнала было показано до отключения, а не после.

Общее правило, которое я с тех пор применяю ко всем таким задачам: сокращать уведомления можно только после того, как выписано, кто отвечает за каждый сигнал. Иначе это не уменьшение шума, а уменьшение зрения.