Без регистрации. Выберете роль и окажетесь в кабинете тестового магазина «Северный ветер».
›Дашборд›Обзор
prod
АКАнна Котовадежурная до 20:00
Плановые работы
Обновление базы заказов
12 октября, 02:00-03:00 МСК. Подписчики страницы статуса получат письмо заранее.
Новое
ИИ-разбор причины сбоя
Логи, метрики и последние релизы в одной сводке за минуту до того, как вы откроете консоль.
Дежурства
Смена передаётся в 20:00
Следующий дежурный: Илья Марков. Чек-лист передачи смены уже собран.
Задержка API · p95
live
184мс-4%
Порог 800 мс · последние 15 минут
На дежурстве
3 на связи · эскалация через 5 мин
Аптайм · 30 дней
99,982%
Telegram подключён
Алерты уходят в канал «Дежурство»
Инцидент INC-2041 решён за 14 мин
Следующий шаг: написать разбор и обновить статус
Активные инциденты (0)
Всё спокойно. 8 сервисов из 8 работают.
Новый алертAPI платежей · p95 > 800 мс
Ночь, 03:12. В интернет-магазине «Северный ветер» начинает тормозить оплата. Покупатели ещё не заметили. Вот что происходит дальше.
03:12:04
Оплата отвечает за 812 мс вместо 180
DOZOR проверяет API платежей каждые 30 секунд из трёх городов. Три проверки подряд выше порога значат инцидент. Один медленный ответ ночью никого не разбудит.
Что ещё проверяет. Сайты и API по HTTP, SSL-сертификаты за 14 дней до конца срока, cron-задачи по сигналу «я жив», порты, DNS и свободное место на серверах.
checks · payments-api
03:12
DOZOR
INC-2042 · API платежей p95 812 мс, 3 из 3 городов
ЭскалироватьПринять
03:12:34
Анна просыпается от звонка, а не от письма
Дежурная по графику получает звонок робота, push и сообщение в Telegram. Не ответила за 5 минут, звонок уходит резервному. Ещё через 10 минут звонят тимлиду.
0 минАнна Котовазвонок, push, Telegramприняла в 03:13:20
+5 минИлья Марковзвонок, резерв
+15 минРинат Сафинзвонок и SMS, тимлид
Смены на этой неделе
Поменяться сменой можно в кабинете, тимлиду придёт уведомление.
03:14:10
Команда собралась в одной карточке инцидента
Чат, график, последние релизы и ИИ-разбор лежат рядом. Не нужно собирать созвон и пересылать скриншоты из пяти вкладок.
АК
Анна Котова
Взяла. Смотрю платежи, похоже на ночной релиз.
ИИ-разбор
В 03:02 выкатили payments-api v4.18. После этого таймауты к базе выросли в 6 раз. Вероятная причина: новый запрос без индекса. Быстрый вариант: откат на v4.17.
ИМ
Илья Марков
Откатываю.
DOZOR
p95 вернулся к 182 мс. Проверки из трёх городов в норме.
Статусрасследуем
ВажностьSEV-2, задеты оплаты
СервисыAPI платежей, Корзина
Релиз рядомv4.18 · 03:02
p95 за 20 минут
03:15:00
Покупатели видят честный статус, а не ошибку оплаты
Страница статуса обновилась сама, подписчики получили письмо. Поддержке не приходится отвечать каждому в чате.
Оплата работает медленноЗнаем о проблеме и уже чиним. Обновлено в 03:15.
90 дней назадсегодня
03:41:00
Утром на столе черновик разбора
DOZOR собирает хронологию из алертов, чата и релизов. Тимлиду остаётся дописать выводы и назначить задачи.
INC-2042 · разбор
Медленная оплата после релиза v4.18
до реакции
46 с
до починки
7 мин
задето оплат
3,1 %
Выкатили payments-api v4.18
Три проверки выше 800 мс, открыт инцидент
Анна Котова приняла звонок
Статус для клиентов обновлён
Откат на v4.17, задержка в норме
Что сделать
Вернуть индекс на orders.created_at
Добавить нагрузочный тест в сборку платежей
Порог p95 для оплаты снизить до 600 мс
Зайдите в кабинет под любой ролью
У каждой роли свой экран и свои кнопки. Данные тестовые, всё, что поменяете, сохранится только в вашем браузере.
Ночью ему нужен один экран и две кнопки
Лента алертов с группировкой: десять одинаковых сигналов приходят одним. Карточка инцидента с чатом, графиком и ИИ-разбором. Своя статистика: сколько смен, сколько подъёмов ночью, среднее время реакции.
Время реакции и починки по сервисам и неделям. График смен перетаскиванием, с проверкой, что никто не дежурит две ночи подряд. Разборы с задачами и сроками.
Команда и права: кто видит какие сервисы. Интеграции: Telegram, почта, вебхуки, телефония. Журнал действий: кто и когда поменял порог или график. Тариф и счета для бухгалтерии.