Диск кончался. Оказалось — логи

Что было

Системные журналы заняли 4 ГБ и продолжали расти. Когда место кончается, сервер перестаёт справляться внезапно и целиком: перестают писаться данные, падают сервисы, которые с логами не связаны вовсе.

Что измерял

Сначала — куда именно уходит место, по каталогам, а не по догадке. Потом — с какой скоростью растёт каждый источник. Без второго числа нельзя понять, есть ли у вас неделя или сутки.

Что сделал

Нашёл источник роста и поставил жёсткие лимиты журналов, а рядом — ротацию, которая действительно выполняется, а не числится в настройках. Проверил, что ротация отработала, а не только что задача запустилась.

Чем проверил

Размером каталога до и после, состоянием таймера ротации и тем, что счётчики перезапусков приложений остались нулевыми. Последнее важно: чинить диск, уронив по дороге сервис, — не починка.

Что стало

4,0 ГБ → 31 МБ. Рост остановлен, лимиты держат, ни одно приложение не перезапускалось.

Отдельный вывод, который дороже самой починки: «место кончается» — это почти никогда не про диск. Это про то, что никто не смотрел на скорость роста, пока не стало поздно.