DOZOR 8 из 8 систем в норме Войти

ВозможностиОт сигнала до разбора в одном сервисе.

DOZOR следит за сайтами, API и серверами, будит дежурного при сбое, собирает команду в инциденте и сам обновляет страницу статуса.

проверки

Проверки каждые 30 секунд из трёх городов

Три проверки подряд выше порога значат инцидент. Один медленный ответ ночью никого не разбудит.

  • Сайты и API по HTTP
  • SSL-сертификаты: предупреждаем за 14 дней до конца срока
  • Cron-задачи по сигналу «я жив»
  • Порты, DNS и свободное место на серверах
checks · payments-api
03:11:34  msk-1  GET /api/pay/health  200  183ms03:11:34  nsk-1  GET /api/pay/health  200  641ms03:11:34  fra-1  GET /api/pay/health  200  230ms03:12:04  msk-1  GET /api/pay/health  200  812ms03:12:04  nsk-1  GET /api/pay/health  200  846ms03:12:04  fra-1  GET /api/pay/health  200  903ms03:12:04  3 из 3 выше порога 800ms  INC-2042 открыт03:12:05  звоним: Анна Котова, дежурная
дежурства

Звонок получает тот, кто дежурит по графику

Дежурная по графику получает звонок робота, push и сообщение в Telegram. Не ответила за 5 минут, звонок уходит резервному. Ещё через 10 минут звонят тимлиду.

  • График смен перетаскиванием
  • Проверка, что никто не дежурит две ночи подряд
  • Поменяться сменой можно в кабинете, тимлиду придёт уведомление
0 минАнна Котовазвонок, push, Telegramприняла в 03:13:20
+5 минИлья Марковзвонок, резерв
+15 минРинат Сафинзвонок и SMS, тимлид
инциденты

Команда собирается в одной карточке

Чат, график и последние релизы лежат рядом. Созвон собирать не нужно, скриншоты из пяти вкладок пересылать тоже.

  • Статус и важность инцидента
  • Затронутые сервисы и релиз рядом с началом сбоя
  • Подсказка по логам и релизам прямо в чате
АК
Анна Котова

Взяла. Смотрю платежи, похоже на ночной релиз.

DOZOR

В 03:02 выкатили payments-api v4.18. После этого таймауты к базе выросли в 6 раз. Вероятная причина: новый запрос без индекса. Быстрый вариант: откат на v4.17.

ИМ
Илья Марков

Откатываю.

Статусоткатываем
ВажностьSEV-2, задеты оплаты
СервисыAPI платежей, Корзина
Релиз рядомv4.18 · 03:02
страница статуса

Покупатели видят честный статус

Страница статуса обновляется сама, подписчики получают письмо. Поддержке не приходится отвечать каждому в чате.

Открыть пример страницы статуса
Северный ветерстатус сервисов
Все системы работаютОткрытых инцидентов нет.
Сайт
Каталог
Оплата
Уведомления
разбор

Утром на столе черновик разбора

DOZOR собирает хронологию из алертов, чата и релизов. Тимлиду остаётся дописать выводы и назначить задачи.

  • Время до реакции и до починки
  • Хронология по минутам
  • Задачи со сроками
INC-2042 · разбор

Медленная оплата после релиза v4.18

до реакции
46 с
до починки
7 мин
задето оплат
3,1 %
  1. Выкатили payments-api v4.18
  2. Три проверки выше 800 мс, открыт инцидент
  3. Анна Котова приняла звонок
  4. Статус для клиентов обновлён
  5. Откат на v4.17, задержка в норме

Что сделать

  • Вернуть индекс на orders.created_at
  • Добавить нагрузочный тест в сборку платежей
  • Порог p95 для оплаты снизить до 600 мс
интеграции

Telegram, почта, вебхуки, телефония

Сигналы уходят туда, где команда их увидит. Подключается всё в кабинете администратора.

Все интеграции
Telegramканал «Дежурство»
Телефониязвонки и SMS
Почтаписьма подписчикам статуса
Вебхукисобытия инцидентов

INC-2042: 46 секунд до реакции, 7 минут до починки.

Этот инцидент уже лежит в кабинете тимлида вместе с чатом, графиком, релизом v4.18 и черновиком разбора.

Открыть инцидент INC-2042