MLCW Dashboard
ГлавнаяО проектеРезультатыАномалииСравнениеSnapshot

О проекте

Мониторинг бортовых медиасистем - Анализ временных рядов и обнаружение аномалий


Цель проекта

Разработать систему автоматизированного мониторинга поведения бортовых медиасистем на основе анализа Apache access-логов. Система должна оперативно выявлять аномальные ситуации, анализировать паттерны потребления контента и предоставлять командам QA/NOC конкретные рекомендации по проверке проблемных зон.

Основные задачи:
  • Выявление аномалий

    Автоматическое обнаружение резких всплесков трафика, нехарактерных сценариев использования и потенциальных проблем

  • Анализ паттернов

    Изучение потребления контента (игры, видео, журналы, карты полётов) для оптимизации сервиса

  • Прогнозирование

    Построение моделей для предсказания нагрузки и планирования ресурсов

  • Отчётность

    Формирование понятных отчётов и карточек кейсов для технических команд


Методология
1. Сбор и обработка данных

• Парсинг Apache access-логов с извлечением временных меток, URI, статус-кодов, user-agent

• Нормализация и агрегация данных в 5-минутные интервалы

• Обогащение признаками: категории контента, типы устройств, сегменты URI

2. Модели прогнозирования

SARIMAX — базовая статистическая модель с учётом сезонности

GAF+CNN — преобразование временных рядов в изображения (Gramian Angular Field) и обработка свёрточными нейросетями

Transformer — архитектура трансформера для анализа временных последовательностей

3. Обнаружение аномалий

• Анализ остатков моделей (z-score ≥ 3)

• Isolation Forest для мультивариантного анализа

• Выявление интервалов с аномально высоким трафиком

4. Визуализация и отчёты

• Интерактивные графики прогнозов и фактических значений

• Карточки кейсов с детальной информацией об аномалиях

• Сравнительные метрики моделей (MAE, RMSE, MAPE)


Зачем это нужно?

Бортовые медиасистемы работают в особых условиях: нестабильные каналы связи, ограниченные возможности поддержки, специфические сценарии обновления контента. Ручной анализ логов после каждого рейса — трудоёмкий и медленный процесс.

Автоматизированная система позволяет:


Технологический стек
Python

Обработка данных, моделирование

PyTorch

Нейросетевые модели

Next.js

Веб-интерфейс

Material-UI

UI компоненты

Statsmodels

SARIMAX модель

scikit-learn

Isolation Forest