Хранилище данных

Хранилище данных (data warehouse) — это отдельная база, куда из всех систем магазина (сайт, аналитика, реклама, CRM, склад, учёт) регулярно собирают данные в едином виде для отчётов и анализа. Оно нужно, когда цифры из разных систем приходится сводить вместе, а таблицы уже не справляются.

Простыми словами

Сайт, CRM, рекламные кабинеты и учётная система каждая имеют собственные данные и собственные определения. Хранилище собирает их в одном месте, где «заказ», «клиент» и «выручка» имеют одно значение. От обычной базы магазина оно отличается назначением: база обслуживает ежедневную работу сайта, а хранилище предназначено для анализа, чтобы тяжёлые отчёты не тормозили магазин.

Как это выглядит технически

Google описывает BigQuery как полностью управляемое облачное хранилище данных с аналитическими инструментами: данные хранятся в колоночном формате, оптимизированном под аналитические запросы, и работают с SQL и Python без управления инфраструктурой. Начать можно бесплатно, через бесплатный уровень или песочницу; платятся анализ (запросы) и хранение (документация Google Cloud). Есть и другие хранилища; название здесь лишь пример того, как это выглядит на практике.

Связь с GA4

GA4 может выгружать сырые, несемплированные данные событий в BigQuery. Экспорт бесплатный в рамках песочницы, иначе возможны расходы; для стандартного ресурса лимит — 1 млн событий в день; потоковый экспорт дополнительно стоит $0,05 за гигабайт (справка Google Analytics). В хранилище эти данные можно хранить дольше и объединять с данными заказов и рекламы, чего сам интерфейс GA4 не делает.

Когда хранилище нужно

Пояснения ниже — практические критерии, а не требования из источника.

• Для одного отчёта приходится вручную сводить 3–4 источника, и это занимает часы каждую неделю.
• Цифры в CRM, аналитике и учёте расходятся, и никто не может объяснить почему.
• Нужны данные за период дольше, чем хранит аналитика (см. GA4: до 14 месяцев для исследований).
• Нужны сегменты по поведению и покупкам вместе (RFM, когорты).
• Хотите дать ИИ-помощнику чистые данные (ИИ для анализа).

Когда не нужно

• Магазин небольшой, источников 1–2, и хватает готовых отчётов и таблицы.
• Нет человека, который будет поддерживать потоки данных: хранилище без владельца быстро становится ещё одним источником расхождений.
• Проблема не в объёме, а в том, что нет определений метрик. Сначала договоритесь о них.

Пример (условный)

Магазин с тремя источниками: GA4, CRM и рекламные кабинеты. Каждую неделю маркетолог тратит два часа на ручное сведение расходов и заказов по кампаниям. После подключения хранилища данные по кампаниям собираются автоматически, а отчёт в дашборде обновляется ежедневно. Экономия времени и меньшее количество ошибок — главная выгода, а не «лучшая аналитика».

Типичные ошибки

• Собирать все данные «на всякий случай» без вопросов, на которые они отвечают.
• Не описать, что означает каждое поле.
• Не учесть персональные данные: доступ к хранилищу должен быть ограничен (Персональные данные в Украине).
• Не следить за стоимостью запросов: платятся за анализ и хранение.

FAQ

Хранилище данных и база данных — это одно и то же? Нет. База обслуживает работу магазина, хранилище собирает данные из многих систем для анализа.

Нужно ли хранилище малому магазину? Обычно нет, пока есть 1–2 источника и готовые отчёты.

Это платно? Есть бесплатный уровень или песочница (например, в BigQuery), но за хранение и запросы сверх лимита платят.

Чем хранилище отличается от CDP? CDP собирает данные о клиентах для маркетинга, хранилище — для анализа любых данных: см. CDP.

Связанные термины

• CDP
• GA4 для магазина
• Дашборд владельца магазина
• API и интеграции
• ERP

Источники

• Google Cloud, Introduction to BigQuery — docs.cloud.google.com/bigquery/docs/introduction
• Google Analytics Help, BigQuery Export — support.google.com/analytics/answer/9358801
• Google Analytics Help, Data retention — support.google.com/analytics/answer/7667196