DWH или Data Lake: что выбрать среднему бизнесу

Когда компания начинает накапливать данные из разных систем, почти сразу появляется вопрос: где всё это хранить и как потом использовать?

Данные приходят из 1С, CRM, сайта, интернет-магазина, Битрикс24, рекламных кабинетов, коллтрекинга, складской системы, телефонии, мобильного приложения и Excel-файлов, которые до сих пор живут у отдельных сотрудников.

Сначала всё это можно собирать вручную. Потом появляются регулярные отчёты. Затем бизнес хочет видеть воронку продаж, маржинальность, остатки, повторные покупки, эффективность менеджеров, прогноз спроса и реальную картину по клиентам.

И вот тут возникает выбор: строить DWH или Data Lake?

На практике для среднего бизнеса этот вопрос часто звучит сложнее, чем должен. Главное — не выбирать модную архитектуру, а понять, какие задачи нужно решать сейчас и какие данные действительно будут использоваться.

Что такое DWH

DWH, или Data Warehouse, — это хранилище данных, подготовленное для аналитики и регулярной отчётности.

Если говорить проще, DWH — это место, где данные уже приведены к понятной структуре. Например:

• продажи очищены от дублей;

• клиенты сопоставлены между 1С, CRM и сайтом;

• заказы имеют единые статусы;

• товары связаны с категориями;

• выручка, себестоимость и маржа считаются по утверждённым правилам;

• отчёты строятся на одинаковых показателях, а не на разных версиях Excel.

DWH хорошо подходит для управленческой аналитики. Руководитель открывает дашборд и видит не «сырые выгрузки», а понятные бизнес-показатели: продажи, прибыль, конверсию, задолженность, остатки, выполнение плана, эффективность каналов.

Главная ценность DWH — порядок. Данные проходят обработку, проверку и нормализацию до того, как попадают в отчёты.

Что такое Data Lake

Data Lake, или озеро данных, — это хранилище, куда можно складывать данные в более свободном виде.

Туда могут попадать не только таблицы, но и логи сайта, события пользователей, JSON-файлы, выгрузки из API, история действий, файлы, документы, данные с датчиков, события мобильного приложения и другие источники.

Data Lake полезен, когда компания пока не знает заранее, какие именно данные понадобятся для анализа. Например, бизнес хочет сохранить историю поведения пользователей на сайте, чтобы позже изучать путь клиента, строить ML-модели или искать нестандартные закономерности.

Если DWH — это аккуратно организованный склад с подписанными полками, то Data Lake — это большое хранилище, куда можно быстро складывать разные типы данных, а структуру задавать позже.

Это даёт гибкость, но требует дисциплины. Без правил, каталогизации и ответственных за качество данных озеро быстро превращается в болото: данные вроде есть, но никто не понимает, какие из них актуальные, откуда они взялись и можно ли им доверять.

Главное отличие: порядок до загрузки или после

Основная разница между DWH и Data Lake — в подходе к подготовке данных.

В DWH данные обычно сначала очищаются, преобразуются и приводятся к структуре, а уже потом используются в аналитике.

В Data Lake данные можно сначала сохранить в исходном виде, а разбираться с ними позже — под конкретную задачу.

Критерий	DWH	Data Lake
Тип данных	В основном структурированные	Структурированные, полуструктурированные и неструктурированные
Основная задача	Регулярная отчётность и BI	Гибкое хранение, исследование данных, ML, большие объёмы
Подход	Сначала структура, потом анализ	Сначала сохраняем, потом определяем применение
Пользователи	Руководители, аналитики, финансы, продажи	Data-инженеры, аналитики, data scientists
Риск	Слишком жёсткая модель данных	Потеря порядка и качества данных
Для чего лучше	Дашборды, KPI, управленческие отчёты	Логи, события, эксперименты, нестандартная аналитика

Какие задачи лучше решает DWH

DWH стоит выбирать, если бизнесу нужна регулярная и надёжная отчётность.

Например:

• единая управленческая отчётность;

• сквозная аналитика продаж;

• отчёты по клиентам, товарам и менеджерам;

• контроль маржинальности;

• анализ дебиторской задолженности;

• план-факт;

• дашборды для руководителей;

• объединение данных из 1С, CRM, сайта и рекламных кабинетов.

Для среднего бизнеса это чаще всего первый и самый полезный шаг. Потому что обычно проблема не в том, что данных мало, а в том, что они разбросаны и противоречат друг другу.

В 1С одни статусы заказов. В CRM другие. В интернет-магазине третьи. В рекламном кабинете лиды считаются одним способом, в отделе продаж — другим. В итоге каждый отдел приносит свой отчёт, и совещание превращается в спор о цифрах.

DWH помогает договориться о единой логике данных. Это не просто техническое хранилище, а фундамент для управленческих решений.

Какие задачи лучше решает Data Lake

Data Lake стоит рассматривать, если у компании много разнородных данных или есть задачи, которые сложно заранее описать в виде отчётов.

Например:

• хранение логов сайта и событий пользователей;

• анализ поведения клиентов;

• подготовка данных для машинного обучения;

• хранение больших исторических архивов;

• сбор данных из множества API;

• работа с файлами, документами, изображениями или телеметрией;

• эксперименты с новыми гипотезами;

• построение рекомендательных моделей.

Data Lake особенно полезен, если бизнес хочет не только смотреть отчёты, но и исследовать данные: искать скрытые закономерности, прогнозировать спрос, анализировать пользовательские сценарии, строить сегментацию клиентов.

Но для среднего бизнеса Data Lake редко должен быть первым шагом. Если у компании ещё нет понятных справочников, единых показателей и базовой отчётности, озеро данных может создать больше хаоса, чем пользы.

Что выбрать среднему бизнесу

На мой взгляд, среднему бизнесу в большинстве случаев стоит начинать с DWH.

Причина простая: DWH быстрее даёт управленческий эффект. Руководители получают понятные отчёты, аналитики перестают вручную сводить Excel, отделы начинают смотреть на одни и те же цифры.

Data Lake нужен тогда, когда базовая аналитика уже выстроена или когда у бизнеса действительно есть большой поток разнородных данных, который нельзя удобно уложить в классическую модель хранилища.

Практичный подход такой:

Если задача — отчёты, KPI, продажи, финансы, клиенты и управленческие дашборды, начинайте с DWH.

Если задача — хранить много сырых данных, анализировать поведение, работать с логами, событиями и ML, нужен Data Lake.

Если нужны оба сценария, можно строить гибридную архитектуру: Data Lake для сырых данных и DWH для проверенной бизнес-аналитики.

Почему не стоит начинать с большой инфраструктуры

Одна из частых ошибок — строить слишком сложную data-платформу раньше, чем бизнес готов её использовать.

Компания покупает облачные сервисы, разворачивает хранилище, подключает инструменты обработки данных, настраивает пайплайны, а через полгода выясняется, что основной запрос бизнеса — обычные отчёты по продажам, остаткам и марже.

В итоге инфраструктура есть, расходы есть, а пользы мало.

Среднему бизнесу обычно не нужен «идеальный data-ландшафт» с первого дня. Ему нужен понятный путь:

1. Определить ключевые бизнес-вопросы.

2. Понять, какие источники данных нужны.

3. Собрать минимальную рабочую модель.

4. Настроить регулярное обновление.

5. Сделать первые дашборды.

6. Проверить, кто и как ими пользуется.

7. Потом масштабировать архитектуру.

Такой подход снижает риск переплатить за технологии, которые пока не дают ценности.

Как не переплатить за DWH или Data Lake

Главное правило — считать не объём данных, а ценность задач.

Не нужно хранить всё «на всякий случай», если непонятно, кто и зачем будет это анализировать. Не нужно строить сложный Data Lake, если компания пока не умеет пользоваться даже базовой отчётностью. Не нужно покупать дорогие BI-лицензии для всех сотрудников, если реально отчётами пользуются пять человек.

Чтобы не переплатить, стоит заранее ответить на несколько вопросов:

• какие решения бизнес хочет принимать на основе данных;

• какие отчёты нужны регулярно;

• какие источники действительно важны;

• как часто нужно обновлять данные;

• кто будет владельцем показателей;

• какие данные нужно хранить долго, а какие можно агрегировать;

• какие пользователи будут работать с отчётами;

• нужна ли аналитика в реальном времени или достаточно обновления раз в день.

Часто для старта достаточно небольшой архитектуры: несколько источников, слой загрузки данных, хранилище, базовые витрины и BI-дашборды. Это дешевле, быстрее и понятнее, чем сразу строить сложную платформу.

Пример для B2B-компании

Представим среднюю B2B-компанию: есть сайт на 1С-Битрикс, CRM, 1С, складская система и рекламные кабинеты.

Руководство хочет видеть:

• сколько заявок приходит с сайта;

• какие заявки доходят до оплаты;

• какие клиенты покупают повторно;

• какие товары дают маржу;

• какие менеджеры выполняют план;

• какие рекламные каналы окупаются;

• где теряются заказы.

Для такой задачи логичнее начать с DWH. Нужно собрать данные из 1С, CRM, сайта и рекламы, привести их к единой структуре и построить отчёты.

Data Lake может понадобиться позже, если компания захочет глубже анализировать поведение пользователей на сайте: клики, просмотры карточек, фильтры, поисковые запросы, брошенные корзины, сценарии выбора товаров. Тогда сырые события можно сохранять отдельно и использовать для продуктовой аналитики или ML-моделей.

Но начинать с озера только потому, что «так делают большие компании», в такой ситуации не нужно.

А что такое Lakehouse

Есть ещё один подход — Lakehouse. Это архитектура, которая пытается объединить преимущества DWH и Data Lake: гибкость хранения сырых данных и удобство аналитики поверх структурированных слоёв.

Для среднего бизнеса это может быть перспективным вариантом, особенно если компания уже работает с облачными технологиями и хочет не разделять инфраструктуру на несколько независимых систем.

Но Lakehouse тоже не отменяет главного: нужны понятные источники, правила качества данных, владельцы показателей и реальные бизнес-задачи. Без этого любая архитектура будет просто дорогим хранилищем файлов и таблиц.

Как мы подходим к выбору архитектуры

Мы не начинаем с вопроса «DWH или Data Lake?». Мы начинаем с другого: какие решения бизнес хочет принимать быстрее и точнее?

После этого смотрим на источники данных, качество информации, текущие отчёты, ручные операции, интеграции и ограничения по бюджету.

Для одних компаний правильным первым шагом будет DWH и несколько понятных витрин данных. Для других — сбор сырых событий в Data Lake. Для третьих — гибридный вариант, где озеро используется для хранения и экспериментов, а хранилище — для проверенной управленческой отчётности.

Наша задача — не внедрить самую модную архитектуру, а построить такую систему данных, которая будет приносить пользу бизнесу и не станет лишней статьёй расходов.

Короткий вывод

DWH и Data Lake не конкурируют напрямую. Это разные инструменты для разных задач.

DWH нужен, когда бизнесу важны порядок, отчётность, единые показатели и управленческие дашборды.

Data Lake нужен, когда нужно хранить большие объёмы разнородных данных, работать с событиями, логами, файлами, ML и исследовательской аналитикой.

Для среднего бизнеса чаще всего разумнее начинать с DWH, а Data Lake подключать тогда, когда появляются задачи, которые действительно требуют гибкости и хранения сырых данных.

Правильная архитектура данных — это не самая сложная архитектура. Это та, которая отвечает на вопросы бизнеса, экономит время команды и помогает принимать решения на основе фактов.