Как создать Apache Kafka Producer с помощью Conduktor?

Опубликовано: 9 Января, 2023

Kafka Producers собираются записывать данные в темы, а темы состоят из разделов. Теперь производители в Kafka будут автоматически знать, к какому брокеру и разделу писать, на основе вашего сообщения, и в случае сбоя брокера Kafka в вашем кластере производители автоматически восстановятся после него, что делает Kafka устойчивым и что делает Kafka настолько хорошо используемой сегодня. . Итак, если мы посмотрим на диаграмму, чтобы иметь данные в наших разделах тем, у нас будет производитель слева, отправляющий данные в каждый из разделов наших тем.

Итак, откуда производитель знает, как отправить данные в раздел темы? Для этого мы можем использовать Message Keys . Таким образом, наряду со значением сообщения мы можем отправить ключ сообщения, и этот ключ может быть любым, что вы хотите, это может быть строка, это может быть любое число, и получается, что если вы не отправите ключ, ключ имеет значение null, тогда данные будут отправлены в циклическом режиме, чтобы сделать это очень простым. Это означает, что ваше первое сообщение будет отправлено в раздел 0, затем ваше второе сообщение будет отправлено в раздел 1, затем в раздел 2 и так далее. Вот почему он называется циклическим перебором, но если вы отправите ключ вместе со своим сообщением, все сообщения с одним и тем же ключом всегда будут отправляться в один и тот же раздел . Итак, это очень важное свойство Кафки.

Note: Please read this article, Apache Kafka Producer, to know more about Kafka Producer.

Итак, в этой статье мы обсудим, как создать Apache Kafka Producer с помощью Conduktor. Кратко говоря о Conduktor, Conduktor — это полнофункциональное собственное настольное приложение, которое подключается непосредственно к Apache Kafka, чтобы обеспечить прозрачность управления кластерами, приложениями и микросервисами Kafka. В конечном итоге это помогает компаниям максимально эффективно использовать имеющиеся у них инженерные ресурсы и сводит к минимуму потребность в глубоком внутреннем опыте.

Пошаговая реализация

Шаг 1: Создайте свои темы в Conduktor Tool

Обратитесь к этой статье « Как создавать темы Kafka с помощью Conduktor Tool» и создавайте свои темы в Conduktor Tool .

Шаг 2: Создание данных без ключа

Теперь перейдите на вкладку «Производитель» , как показано на изображении ниже.

На экране появится всплывающее окно, как на изображении ниже. Здесь перейдите на вкладку «Данные» , а затем выберите тему, в которой вы хотите создавать свои сообщения. Давайте сначала создадим несколько сообщений без какого-либо ключа. Внутри Value вы должны предоставить сообщение, которое хотите опубликовать. И, наконец, нажмите кнопку «Создать в тему» , и справа вы увидите, что сообщение было успешно опубликовано. Пожалуйста, обратитесь к изображению ниже, если вы где-то застряли.

Если вы нажмете кнопку «Создать в тему» много раз, то сообщение будет опубликовано много раз. Итак, здесь вы можете увидеть номер раздела и смещение. Хотя мы не предоставили никакого ключа, данные отправляются в циклическом режиме, как мы обсуждали выше.

Теперь, если вы видите, размер нашей темы был увеличен. Пожалуйста, сравните его со скриншотом шага 2.

Вы также можете сделать следующее жестко при создании Apache Kafka Producer с помощью Conduktor.

  • Вы можете изменить сериализатор в соответствии с тем, что вам нужно
  • Генерация случайных данных
  • Создать новый шаблон и т. д.

Обратитесь к изображению ниже для того же и исследуйте самостоятельно.

Шаг 3: Создайте данные с помощью ключа

Теперь давайте создадим некоторые данные с помощью ключа. Укажем ключ в поле «Ключ» и нажмем кнопку «Производить в тему» . Здесь вы можете видеть, что все данные были созданы в том же разделе, в котором мы предоставили ключ, отличается только смещение. Пожалуйста, обратитесь к изображению ниже, если вы где-то застряли.

Шаг 4. Автоматическое создание данных

Если вы хотите отправлять данные автоматически, вам нужно перейти на вкладку «Поток» и выбрать автоматический режим. Вы также можете выбрать временной интервал. Затем нажмите кнопку «Начать производство» . Пожалуйста, обратитесь к изображению ниже, если вы где-то застряли.

И вы можете видеть, что данные будут производиться автоматически. Если вы хотите остановить производство, просто нажмите кнопку «Остановить производство» .