ИИ-Аналитика
Система BI с интегрированным ИИ: сбор данных из десятков источников, ML-прогнозы, real-time дашборды, умные алерты, контроль ключевых метрик и сложная ролевая модель доступа. Построена с нуля за 4 месяца.
Компания нарастила объём данных, но потеряла в скорости принятия решений
Клиент — дистрибьютор с оборотом в 15 млрд ₽ в год. К концу 2023 года данные существовали в 8 несвязанных системах: ERP, CRM, складская WMS, финансовая система, электронная коммерция, логистический трекер, система бонусов и маркетплейсы. Отчёты собирались вручную аналитиками в Excel, на их подготовку уходило до 4 дней. Руководство принимало решения на основе истории, а не текущей динамики.
Бизнес нуждался в едином источнике правды: актуальном, автоматизированном и доступном разным департаментам на разных уровнях агрегации.
- Данные в силосах ERP, CRM, WMS, финансы — каждая система жила отдельной жизнью. Сопоставление требовало ручной сводки.
- Ручная подготовка отчётов На еженедельный пакет отчётов уходило 32 человеко-часа аналитиков. Ошибки в формулах — до 7% показателей.
- Нет прогнозирования Бизнес реагировал на события, которые уже произошли. Ни один отчёт не давал прогноз на будущие периоды.
- Одинаковый доступ для всех Сотрудники видели чужие данные без ограничений. Не было разделения по регионам, отделам и уровням.
Как устроена система
Построили трёхуровневую архитектуру: слой ingestion для сбора данных, data warehouse для хранения и моделирования, и слой визуализации с ИИ для прогнозирования и алертинга.
40+ источников данных: API ERP и CRM, SQL-реплики, Kafka-стримы событий, CSV-выгрузки из legacy-систем, вебхуки маркетплейсов. Airflow оркестрирует 180+ ETL-пайплайнов с расписанием от 5 минут до суток.
ClickHouse для аналитических запросов и хранения сырых данных. Схема данных построена по методологии Data Vault 2.0 с хабами, линками и сателлитами. Медленно меняющиеся размерности (SCD Type 2) позволяют восстанавливать состояние на любую дату.
Python + scikit-learn / Prophet для временных рядов. Модели прогнозируют спрос, оборачиваемость и выручку на 30, 60 и 90 дней. Автоматическая ретрейн-модель каждые 7 дней на новых данных.
DBT управляет 380+ моделями трансформации: агрегации по SKU, клиентам, регионам; расчёт маржинальности, LTV, CAC; построение витрин для дашбордов. Версионирование и тесты на качество данных встроены в CI/CD.
FastAPI предоставляет REST + WebSocket для real-time виджетов. Keycloak управляет ролевой моделью: 12 ролей, 40+ permission-гранул, row-level security фильтрует записи на уровне базы данных.
React-фронтенд с 25+ дашбордов и 140+ виджетов. WebSocket-подписки для real-time обновлений. React Query кэширует запросы, снижая нагрузку на DWH. Адаптивный дизайн под десктоп и планшеты.
Что умеет система
6 ключевых функциональных блоков, объединённых в единую платформу.
Сбор и консолидация данных
Автоматизированный сбор из 40+ источников с единым словарём данных. Контроль качества на каждом этапе: null-check, диапазонные проверки, referential integrity. Bad-data lineage — отслеживание ошибок до источника.
Real-time дашборды
25+ дашбордов по направлениям: продажи, закупки, маржинальность, логистика, склад. WebSocket-обновление ключевых метрик каждые 30 сек. 140+ виджетов: KPI, тренды, drill-down таблицы, географические карты.
ML-прогнозы
Модели прогнозируют спрос, выручку и оборачиваемость на 30/60/90 дней. Учитывают сезонность, промо-акции и региональные события. Backtesting показывает точность прогноза вывода в среднем 94.2%.
Умные алерты
Правила и ML-детекция аномалий: резкие падения продаж, отклонения от прогноза, нехватка остатков. Доставка в Telegram, email и системный тикет. Smart-alerts группируют связанные события, чтобы не спамить.
Контроль метрик
Каскад KPI: от компании до отдела и сотрудника. Визуальное отслеживание выполнения плана, отклонений и трендов. Автоматический расчёт маржи с учётом себестоимости по FIFO и валютных переоценок.
Доступ по ролям
12 ролей: от аналитика до CEO. Row-level security ограничивает данные по региону, дивизиону и уровню агрегации. Аудит просмотров и экспортов. Интеграция с корпоративным Active Directory для SSO.
Как мы это делали
Четырехмесячный проект разбили на чёткие фазы с промежуточными результатами.
Discovery
3 недели аудита источников данных, интервью с 20+ стейкхолдерами, проектирование целевой архитектуры. Определили 40 интеграций, 180 ETL-потоков и матрицу 12 ролей.
Data Platform
5 недель развёртывания DWH, построение Data Vault, написание DBT-моделей. Параллельно запустили Airflow и настроили мониторинг качества данных.
ML & Analytics
4 недели обучения моделей прогнозирования, валидация точности на истории. Разработка 25 дашбордов, настройка алертов и drill-down навигации.
Launch & Scale
4 недели пилота с финансовым блоком, обучение 80 пользователей, доработка по обратной связи. Постепенный rollout на все департаменты.
Чего достигли
на 30-дневном горизонте
еженедельных отчётов
в единой системе
с ролевым доступом
Бизнес-эффект
Руководство получило возможность принимать решения на основе актуальных данных вместо недельных лагов. Прогнозы спроса снизили уровень дефицита на складах на 18% и позволили оптимизировать закупки. Благодаря row-level security каждый региональный директор видит только свои данные — конфиденциальность на уровне корпоративных стандартов.
Технический результат
Среднее время отклика дашборда — 1.2 секунды при 300+ одновременных пользователях. DWH обрабатывает 45 млн записей в сутки. CI/CD pipeline разворачивает обновления за 8 минут. Модели прогнозирования автоматически обучаются каждую неделю на новых данных без участия Data Scientist.
Стек проекта
Аналитическое хранилище и метаданные. ClickHouse для OLAP, PostgreSQL для каталогов и конфигов.
180+ пайплайнов и 380+ моделей трансформации. Версионирование, тесты и документация в коде.
Прогнозирование временных рядов и детекция аномалий. Автоматический ретрейн каждые 7 дней.
Высокопроизводительный REST и WebSocket API. Автоматическая валидация и генерация документации.
SSO, 12 ролей, row-level security. Интеграция с корпоративным Active Directory.
25+ дашбордов, 140+ виджетов. Real-time обновления и кэширование запросов.
Хотите похожую систему для вашего бизнеса?
Расскажем, как ИИ-аналитика подойдёт под ваши данные и процессы. Подготовим оценку архитектуры, сроков и стоимости — бесплатно.