Microsoft Azure — введение в фабрику данных Azure

Фабрика данных Azure, широко известная как ADF, представляет собой инструмент ETL (извлечение-преобразование-загрузка) для интеграции данных из различных источников различных форматов и размеров вместе, другими словами, это полностью управляемое решение для интеграции данных без сервера для приема, подготовка и преобразование всех ваших данных в нужном масштабе.

По мере того, как объем данных увеличивается с каждым днем по всему миру, многие предприятия и предприятия переходят на использование облачных технологий, чтобы сделать свой бизнес масштабируемым. Из-за роста адаптации к облаку для интеграции необходимы надежные инструменты ETL в облаке. Фабрика данных Azure выделяется по сравнению с другими инструментами ETL благодаря таким функциям , как простота использования, экономичное решение, мощная и интеллектуальная служба без кода.

Архитектура Фабрики данных Azure:

На рисунке ниже показана архитектура процесса проектирования данных с использованием фабрики данных Azure.

Ниже перечислены различные компоненты фабрики данных Azure.

1. мероприятия
2. Трубопроводы
3. Связанные услуги
4. Наборы данных
5. Потоки данных
6. Среды выполнения интеграции

Все эти компоненты работают вместе во время выполнения, помогая извлекать и преобразовывать исходные данные.

Прежде чем понять, что такое конвейер, необходимо понять, что такое деятельность.

• Действия: действия в конвейере определяют действия, выполняемые с данными. Например, действие копирования данных может считывать данные из одного места в хранилище BLOB-объектов и загружать их в другое место в хранилище BLOB-объектов.
• Конвейер: Конвейер — это логическая группа действий, которые вместе выполняют задачу. Например, Pipeline может иметь набор действий, которые берут данные из ADLS и выполняют некоторое преобразование данных с использованием U-SQL, а также загружают данные в базу данных SQL.
• Связанные службы. Связанные службы используются для подключения к другим источникам с помощью фабрики данных Azure. Связанные службы действуют как строки подключения для ресурсов, к которым можно подключиться. Например, подключение AWS S3 к фабрике данных Azure.
• Наборы данных: наборы данных — это просто точки или ссылки на данные, которые мы хотим использовать в нашей деятельности в качестве входных или выходных данных.
• Потоки данных : функция потоков данных в фабрике данных Azure позволит пользователям разрабатывать графическую логику преобразования данных, которую можно выполнять как действия в конвейерах ADF.
• Среды выполнения интеграции. Среда выполнения интеграции (IR) предназначена для вычисления инфраструктуры, используемой ADF для предоставления таких возможностей, как поток данных, перемещение данных, диспетчеризация действий и выполнение пакетов служб SSIS в различных сетевых средах.

Цены на фабрику данных Azure:

• Без предоплаты
• Нет платы за прекращение
• Платите только за то, что используете

1. Конвейеры данных: помогает интегрировать данные из облачных и гибридных источников данных в любом масштабе. – Цены начинаются от 72 046 фунтов стерлингов за 1000 занятий в месяц.
2. Службы интеграции SQL Server: помогает легко перенести существующие локальные проекты служб интеграции SQL Server в полностью управляемую облачную среду. -Цены на узлы среды выполнения интеграции служб SQL Server Integration Services начинаются от 60 498 фунтов стерлингов в час.