Confluent Kafka
Confluent Kafka ist eine auf Apache Kafka basierende Plattform, die entwickelt wurde, um Unternehmen eine leistungsstarke und skalierbare Lösung für das Streaming von Daten in Echtzeit zu bieten. Apache Kafka selbst ist ein verteiltes Streaming-Protokoll, das in erster Linie für die Verarbeitung und Integration großer Mengen von Echtzeit-Datenströmen entwickelt wurde. Es ermöglicht die nahtlose Übertragung von Daten zwischen verschiedenen Systemen und Anwendungen, indem es als ein zentraler Daten-Hub fungiert, in dem Nachrichten (Datenströme) gespeichert und an verschiedene Konsumenten verteilt werden können.
Confluent Kafka wird im Falle von LineMetrics für IoT-Szenarien verwendet, bei denen große Mengen von Sensordaten in Echtzeit erfasst und an Confluent Kafka übermittelt werden.
Integration
Damit Daten von der LineMetrics Cloud in eine Confluent Kafka Queue eines Kunden übermittelt werden können, müssen die notwendigen Zugriffs - Informationen des jeweiligen Confluent Kafka Cluster durch den Kunden bereitgestellt werden. Die notwendigen Authentifizierungsinformationen sind in der 'Cluster Overview' vom Confluent Kafka Portal ersichtlich:
Authentifizierungsinformation | Beschreibung |
| Boostrap Server | Der Bootstra Server findet sich in Confluent Kafka im Menü unter 'Cluster Overview' - 'Cluster Settings': |
API Key und API Secret | API Keys und API Secrets können im Menü unter 'Cluster Oveview' - 'API Keys' angelegt werden: |
Topic | Das Topic ist der Name des Clusters und kann unter 'Cluster Overview' - 'Cluster Settings' ermittelt werden: |
SASL Methode | Grundsätzlich ist bei der Verwendung der Cloud Confluent Kafka Lösung die SASL Methode immer PLAIN. Sofern der Kunde einen eigenen Confluent Kafka Server hat, kann auch ein andere Authentifizierungsmechanismus verwendet werden: SASL authentication in Confluent Platform | Confluent Documentation |
Unterstützte Formate
Folgende Formate stehen bei der Integration über den Azure Event Hub zur Verfügung. Bei der Anlage der Integration muss angegeben werden, welches Format verwendet werden soll.
Format | Beschreibung |
| Die Informationen zum Gerät werden einmalig als 'DataProviderInfo' übermittelt. Die Messwerte werden danach laufend als 'DataStreamValue' übertragen. | |
| Das ExtendedDataStreamValue Format enthält neben den Messwerten auch die notwendigsten Details zum jeweiligen Gerät. |