Wenn Sie einen bestehenden Kafka-Cluster haben und Datensätze aus Ihren Kafka-Themen in Echtzeit an Geräte wie Webbrowser und Mobiltelefone liefern möchten, ist PubNub Kafka Sink Connector die Lösung. Dieser Leitfaden führt Sie durch den Prozess der Einrichtung des PubNub Kafka Sink Connectors.

Einrichten eines lokalen Test-Kafka-Clusters (optional)

Der PubNub Kafka Sink Connector nutzt Kafka Connect, ein Framework, das speziell für die Bereitstellung von Daten aus Kafka-Themen an sekundäre Systeme wie Hadoop, Elastic und PubNub entwickelt wurde. Zu Demonstrationszwecken haben wir einen gesamten Kafka-Cluster in einer einzigen Docker-Kompositionsdatei zusammengefasst. Sie enthält alles, was Sie zum Einrichten Ihres Dockers, der komponierten YAML-Dateien, des Kafka-Brokers und des Clusters selbst benötigen. Zusätzlich haben wir zu Testzwecken einen Producer beigefügt, der automatisch Daten in ein Topic auf Ihrem lokal laufenden Kafka-Cluster produziert.

Klonen Sie das Repository https://github.com/pubnub/pubnub-kafka-sink-connector und führen Sie den Befehl docker compose up aus, um diese Images auf Ihrem lokalen System zu starten. Dies kann eine Weile dauern, da Kafka selbst eine Menge zu bieten hat.

Docker Compose wird auch das PubNub Kafka Sink Connector-Paket erstellen. Der Einfachheit halber haben wir ein Image beigefügt, das das Maven-Paket für uns baut. So lässt es sich schnell und einfach mit dem Kafka Connect Framework in Ihr Kafka Connect importieren. Sobald das Builder-Image die Erstellung des Connector-Pakets abgeschlossen hat, ist es bereit für die Bereitstellung. Sie wissen, dass es bereit ist, wenn in regelmäßigen Abständen die Benachrichtigungsmeldungen für Verbraucher erscheinen, die zeigen: Verbraucher | {"timestamp":1705690559} in einer Reihe von Datensätzen. Dies bedeutet, dass unser Testdatencontainer erfolgreich arbeitet und wir bereit sind, den Sink Connector zu installieren.

Einrichten des PubNub Sink Connectors

Der Sink Connector ist die Brücke, die auf dem Kafka-Connect-Framework zwischen den Kafka-Themen und den Datensätzen in diesen Themen zu Ihren Geräten läuft. Alles, was Sie benötigen, sind die Informationen zum Connector-Paket, die sich in der PubNub Sink Connector JSON-Datei befinden. Senden Sie diese Datei an Kafka Connect, wo Kafka Connect ausgeführt wird, und es beginnt mit dem Kopieren von Daten aus den konfigurierten Topics direkt auf Ihre End-Zielgeräte.

Sie müssen die JSON-Datei examples/pubnub-sink-connector.json mit Ihren PubNub-API-Schlüsselinformationen konfigurieren. Sie finden Ihre API-Schlüssel unter https://admin.pubnub.com/. Diese Informationen werden verwendet, um die Endergebnisse an Ihre Zielgeräte zu liefern. Sie können Ihre Themen und Muster festlegen und dann den Befehl zur Bereitstellung des Sink Connectors ausführen.

Führen Sie den folgenden Befehl aus, um den Sink Connector bereitzustellen:

curl -X POST \
    -d @examples/pubnub-sink-connector.json \
    -H "Content-Type:application/json" \
    http://localhost:8083/connectors

Ihr Konnektor läuft jetzt und alle Daten, die an das konfigurierte Kafka-Topic gesendet werden, werden sofort an jedes Gerät kopiert, das mit dem PubNub SDK abonniert ist.

Validierung des Sink-Connectors

Sie können überprüfen, ob der Konnektor läuft, indem Sie die Nachrichten überprüfen, die an ein Webbrowser-Gerät geliefert werden. Sobald Nachrichten in das Kafka-Topic gestellt werden, werden sie sofort in die PubNub-Infrastruktur kopiert, die für die zuverlässige Zustellung dieser Nachrichten an Ihre Zielgeräte verantwortlich ist. Der folgende Screenshot zeigt, wie die Daten sofort in eine Webbrowser-Anwendung strömen, sobald ein Ereignisdatensatz im Kafka-Topic empfangen wird.

Aufbau des PubNub Kafka Sink Connectors

Wenn Sie bereit für die Produktion sind, können Sie PubNub Kafka Sink Connect mit dem Maven build Befehl erstellen. Stellen Sie sicher, dass Sie alle Abhängigkeiten installiert haben, wie Java 11 oder höher und eine neue Version von Maven. Führen Sie mvn clean package aus, um alle mit dem Paket verbundenen Tests auszuführen und einige Pakete zu kompilieren, darunter eine jar-Datei und eine zip-Datei. Dies ist das Paket, das im Kafka Connect Framework verwendet werden wird.

Video-Walkthrough für die Installation des PubNub Kafka Sink Connector

In diesem Video wird eine geführte Installation des PubNub Kafka Sink Connectors gezeigt.

Die Einrichtung des PubNub Kafka Sink Connectors ist einfach, und es ist wichtig, die Schritte sorgfältig zu befolgen. Sollten Sie dabei auf Probleme stoßen, wenden Sie sich an uns unter support.pubnub.com, wir helfen Ihnen gerne weiter.

Wie kann PubNub Ihnen helfen?

Dieser Artikel wurde ursprünglich auf PubNub.com veröffentlicht.

Unsere Plattform hilft Entwicklern bei der Erstellung, Bereitstellung und Verwaltung von Echtzeit-Interaktivität für Webanwendungen, mobile Anwendungen und IoT-Geräte.

Die Grundlage unserer Plattform ist das größte und am besten skalierbare Echtzeit-Edge-Messaging-Netzwerk der Branche. Mit über 15 Points-of-Presence weltweit, die 800 Millionen monatlich aktive Nutzer unterstützen, und einer Zuverlässigkeit von 99,999 % müssen Sie sich keine Sorgen über Ausfälle, Gleichzeitigkeitsgrenzen oder Latenzprobleme aufgrund von Verkehrsspitzen machen.