Si vous disposez d'un cluster Kafka existant et que vous cherchez à fournir des enregistrements de données de vos sujets Kafka à des appareils tels que des navigateurs web et des téléphones mobiles en temps réel, PubNub Kafka Sink Connector est la solution. Ce guide vous guidera à travers le processus de configuration de PubNub Kafka Sink Connector.

Mise en place d'un Cluster Kafka local de test (optionnel)

Le PubNub Kafka Sink Connector s'appuie sur Kafka Connect, un framework développé spécifiquement pour fournir des données à partir de sujets Kafka vers des systèmes secondaires tels que Hadoop, Elastic et PubNub. À des fins de démonstration, nous avons inclus un cluster Kafka entier dans un seul fichier composé Docker. Il comprend tout ce dont vous avez besoin pour configurer votre Docker, les fichiers YAML composés, le courtier Kafka et le cluster lui-même. En outre, nous avons inclus un producteur à des fins de test qui produit automatiquement des données dans un sujet sur votre cluster Kafka fonctionnant localement.

Clonez le dépôt https://github.com/pubnub/pubnub-kafka-sink-connector et exécutez la commande docker compose up pour démarrer ces images sur votre système local. Cela peut prendre un certain temps, car il y a beaucoup de choses à faire avec Kafka.

Docker Compose va également construire le package PubNub Kafka Sink Connector. Nous avons inclus une image qui construira le paquet Maven pour nous à des fins de simplicité. Cela permet de l'importer rapidement et facilement dans votre Kafka Connect en utilisant le framework Kafka Connect. Une fois que l'image du constructeur a fini de construire le paquetage du connecteur, il est prêt à être déployé. Vous saurez qu'il est prêt lorsque les messages de notification du consommateur apparaîtront à intervalles réguliers, indiquant : consumer | {"timestamp":1705690559} dans une série d'enregistrements. Cela signifie que notre conteneur de données de test fonctionne correctement et que nous sommes prêts à installer le connecteur Sink.

Déployer le PubNub Sink Connector

Le Sink Connector est le pont qui fonctionne sur le framework Kafka Connect entre les sujets Kafka et les enregistrements de ces sujets sur vos appareils. Tout ce dont vous avez besoin est l'information sur le package du connecteur, qui se trouve dans le fichier JSON de PubNub Sink Connector. Envoyez ce fichier à Kafka Connect lorsque Kafka Connect est en cours d'exécution, et il commencera à copier les données des sujets configurés directement sur vos appareils cibles finaux.

Vous devez configurer le fichier JSON examples/pubnub-sink-connector.json avec les informations de votre clé API PubNub. Vous pouvez trouver vos clés API sur https://admin.pubnub.com/. C'est ce qui sera utilisé pour fournir les résultats finaux à vos appareils cibles. Vous pouvez définir vos thèmes et vos modèles, puis exécuter la commande pour déployer le Sink Connector.

Exécutez la commande suivante pour déployer le connecteur de puits :

curl -X POST \
    -d @examples/pubnub-sink-connector.json \
    -H "Content-Type:application/json" \
    http://localhost:8083/connectors

Votre connecteur est maintenant opérationnel et toutes les données envoyées au sujet Kafka configuré seront instantanément copiées vers n'importe quel appareil souscrit avec le SDK PubNub.

Valider le connecteur Sink

Vous pouvez valider que le connecteur fonctionne en vérifiant les messages livrés à un navigateur web. Dès que les messages sont placés sur le sujet Kafka, ils sont immédiatement copiés sur l'infrastructure PubNub, qui est responsable de la livraison fiable de ces messages à vos appareils cibles finaux. La capture d'écran suivante montre un flux de données dans une application de navigateur web instantanément dès qu'un enregistrement d'événement est reçu dans le sujet Kafka.

Construire le connecteur PubNub Kafka Sink

Lorsque vous êtes prêt pour la production, vous pouvez construire PubNub Kafka Sink Connect en utilisant la commande Maven build. Assurez-vous que toutes les dépendances sont installées, telles que Java 11 ou une version supérieure et une nouvelle version de Maven. Exécutez mvn clean package pour lancer tous les tests associés au package et compiler quelques packages, dont un fichier jar et un fichier zip. C'est ce paquet qui sera utilisé dans le Kafka Connect Framework.

Vidéo d'installation du connecteur PubNub Kafka Sink

Dans la vidéo, une installation guidée du PubNub Kafka Sink Connector est démontrée.

L'installation de PubNub Kafka Sink Connector est simple et il est important de suivre attentivement les étapes. Si vous rencontrez des difficultés en cours de route, contactez-nous à support.pubnub.com, et nous serons heureux de vous aider.

Comment PubNub peut-il vous aider ?

Cet article a été publié à l'origine sur PubNub.com

Notre plateforme aide les développeurs à construire, fournir et gérer l'interactivité en temps réel pour les applications web, les applications mobiles et les appareils IoT.

La base de notre plateforme est le réseau de messagerie en temps réel le plus grand et le plus évolutif de l'industrie. Avec plus de 15 points de présence dans le monde, 800 millions d'utilisateurs actifs mensuels et une fiabilité de 99,999 %, vous n'aurez jamais à vous soucier des pannes, des limites de concurrence ou des problèmes de latence causés par les pics de trafic.