Data Lake vs Data Warehouse: отличия и способы применения

Что такое Data Lake?

Перед тем, как сравнивать технологии, для полного понимания нужно разобраться в том, что они вообще из себя представляют. Первым на очереди у нас будет Lake. “Озеро” — это централизованное хранилище данных в исходном виде. Стоит отметить, что оно поддерживает десятки разных форматов. В том числе в нем можно хранить и структурированные, и полуструктурированные, и вообще неструктурированные данные. Главная его цель заключается в обеспечении гибкости информации для использования в аналитических и машинных моделях.

Преимущества 

Технология может хранить информацию в изначальном виде, из чего и вытекают ее плюсы:

1. С помощью Lake можно хранить любые данные, будь это лог-файлы, изображения или таблицы и текстовые документы. 
2. Современные продукты на ее основе предлагают возможности хранения неограниченных объемов информации с оптимизацией затрат. 
3. Озеро можно легко интегрировать с инструментами анализа. 
4. В нем намного дешевле хранить неструктурированные данные, чем, например, в высокопроизводительных системах.

Ограничения 

Обратная сторона медали технологии заключается в ее недостатках и ограничениях, среди которых можно выделить отсутствие строгих схем, влекущее за собой усложнение обработки данных, потеря управления над ними вследствии потери контроля над процессом наполнений хранилища и рисков, связанных с конфиденциальностью и нормативными требованиями.

Что такое Data Warehouse?

Следующая технология — Data Warehouse — представляет собой централизованное хранилище данных КХД. ПО используется в случае с обработкой структурированной информации. Оно использует заранее заготовленную схему работы, поэтому может быть введена в эксплуатацию сразу после загрузки. В основном используется для поддержки разных бизнес-приложений.

Преимущества

1. Несмотря на объемы сведений, одна из главных отличительных особенностей этой технологии считается высокая скорость аналитических операций и сложных запросов. 
2. Это проверенный инструмент для работы с корпоративной аналитикой; большинство продуктов легко интегрируются с ним, что впоследствии позитивно сказывается на скорости принятия решений на основе обрабатываемых сведений. 
3. Процесс ETL (Extract, Transform, Load), используемый в Warehouse, обеспечивает данным чистоту, целостность и соответствие бизнес-правилам. 
4. Инструменты управления Warehouse содержат расширенные функции администрирования и управления доступом.

Ограничения хранилищ

1. Многих отпугивают значительные вложения, которые потребуются при построении и поддержки системы, поэтому этот вариант не так часто выбирают маленькие компании. 
2. Поработать с полуструктурированными и неструктурированными данными не получится, потребуется их предварительная обработка. Есть и альтернативный сценарий, заключающийся в интеграции с Lake. 
3. Архитектура системы ограничивает масштабирование такого продукта, поэтому, в случае увеличения объема информации, подобное решение становится дорогостоящим. 
4. Warehouse меньше приспособлен к работе в режиме реального времени, так как для него требуется заранее спроектированная схема работы.

Ключевые отличия Data Lake и Data Warehouse

Мы рассматриваем два инструмента, которые, на первый взгляд, используются для решения одних и тех же задач, но, при этом, их подходы отличаются. Чтобы более четко выделить эту разницу, мы сделали для вас таблицу Data Lake vs Data Warehouse. 

Комбинированный подход Lakehouse

Еще не так давно две эти технологии работали параллельно. Хранилища данных использовали для транзакционных и структурированных потребностей в аналитике, а озера для аналитики биг дата. Lake и Warehouse создавали силосы, дублирование сведений и увеличивали общую стоимость владения. 

Однако, как бы нам не хотелось, чтобы бизнес оставался стабильной и простой вещью, сегодня требуются новые, более технологичные подходы, чтобы оставаться на плаву. Так вопрос силосов и дублирования решается объединением двух технологий в комплексный сценарий — Data Lakehouse.

Озеро-хранилище отлично справляется с возложенной на него задачей и преодолевает разрыв между двумя подходами. Оно поддерживает ACID-транзакции, предлагает компаниям низкую стоимость хранения единицы данных, поддерживает неструктурированную и потоковую информацию, а также открытые форматы. 

Вместе с тем предлагает свои преимущества: в первую очередь, конечно, сокращает дублирование и, вместе с тем, делает управление ими более эффективным.

Примеры применения для решения бизнес-задач

Мы уже успели разобраться в том, что у каждого из подходов, как и у их гибрида, есть собственные достоинства (вместе с ними, конечно же, и ограничения). В связи с этим может возникнуть резонный вопрос, касающийся выбора архитектуры для выполнения конкретных задач. Давайте рассмотрим самые “ходовые” направления бизнеса и поговорим о том, какая технология лучше всего встроится в процесс работы. 

В ритейловой отрасли сейчас активно используется озера для анализа поведения клиентов и прогнозирования спроса; они помогают собирать сведения из множества источников. После этого полученная информация может передаваться в Warehouse, где уже впоследствии формируются отчеты по продажам.

Финансовый сектор тоже переходит на гибридную модель: в банках Warehouse используют для формирования отчетов. Lake, в свою очередь, анализирует транзакционные данные, это позволяет выявлять и экстренно реагировать на мошеннические операции. 

Медицинская отрасль прежде всего характеризуется огромнейшими объемами сведений: здесь и записи пациентов, и сведения носимых устройств, и многое другое. Вся эта информация хранится в исходном формате, и с помощью Lake, Warehouse сотрудники учреждений используют это для создания сводной отчетности. 

В производственных компаниях используются сведения с IoT-устройств, систем ERP, различных датчиков; нетрудно догадаться, что, чаще всего, именно Lake используется для их сбора. Ее “побратим” анализирует эффективность цепочек поставок и может прогнозировать потребности в материалах. Конкретно для транспортных компаний использование сдвоенного подхода имеет один жирный плюс — они могут сочетать долгосрочный анализ с обработкой в реальном времени; на сегодняшний день подобное достоинство уже не просто преимущество, а необходимость для всех, кто хочет оставаться конкурентоспособным на рынке. 

Последний на сегодня сектор достаточно разнообразный — это медиа. Несмотря на разницу в предлагаемых продуктах, абсолютно все медиа-сервисы строятся на одном базовом принципе — персонализация контента. Этот подход помогает привлекать новую аудиторию и удерживать старую. Большая часть современных крупных медиа-сервисов и стриминговых платформ использует LakeHouse. Озеро хранит терабайты информации о клиентских просмотрах, рейтингах, оценках и предпочтениях. Эти ценные сведения — основа для обучения алгоритмов платформ, которые впоследствии выстраивают рекомендации, используя персонализированный подход. Хранилище здесь тоже используется для создания отчетности; при этом оно использует совершенно разные метрики (одна из них, к примеру, удержание пользователей). 

Если вы изучили тонны информации обо всех обсуждаемых нами технологиях, но не пришли к какому-то конкретному знаменателю и до сих пор не знаете, чему именно отдать предпочтение, не торопитесь выбирать наугад. Возможно, вам стоит еще раз проанализировать свой бизнес, изучить его потребности, объемы информации и определиться с необходимой скоростью ее обработки. 

Далее ответьте себе на вопрос: что моей компании приоритетнее — гибкое хранение и эксперименты с данными или точность и согласованность отчетности? В зависимости от ответа, выбирайте Lake в первом случае или Warehouse во втором. 

Может быть, для вас важно все и сразу, такое вполне вероятно: если дать однозначный ответ не получается, попробуйте присмотреться к гибридному подходу, который мастерски сочетает в себе самое лучшее от двух архитектур.