Apache Kafka

Apache Kafka ist eine verteilte Event-Streaming-Plattform. Jay Kreps, Neha Narkhede und Jun Rao entwickelten sie 2011 bei LinkedIn, um die Anforderung der Firma an latenzarme Verarbeitung von Milliarden Events pro Tag zu erfüllen. 2012 wurde Kafka zum Apache-Top-Level-Projekt und wird heute von der Mehrheit der Fortune-100-Unternehmen für Echtzeit-Datenpipelines und Event-getriebene Architekturen eingesetzt.

Das aktuelle Release ist Kafka 4.2. Nachrichten werden in Topics organisiert, die für parallele Verarbeitung in Partitionen aufgeteilt sind. Consumer Groups verteilen das Lesen von Partitionen auf mehrere Consumer. Seit Kafka 4.0 verwendet die Cluster-Metadaten-Schicht ausschliesslich KRaft (Kafkas eingebauten Raft-Konsens), wodurch die bisherige ZooKeeper-Abhängigkeit entfällt. Kafka Streams ist eine Client-Bibliothek für Stream-Processing-Anwendungen, und Kafka Connect bietet ein Framework zur Integration von Kafka mit externen Datenbanken und Services.

Die offizielle Dokumentation behandelt Broker-Konfiguration, Client-APIs und Betrieb. Der Quellcode liegt auf GitHub unter der Apache-2.0-Lizenz.