Apache Flink

Apache Flink ist eine Stream-Processing-Engine für zustandsbehaftete Berechnungen über Datenströme. Das Projekt entstand 2010 als Forschungsprojekt Stratosphere an der TU Berlin, trat 2014 in den Apache Incubator ein und wurde im selben Jahr zum Top-Level-Projekt. Anders als Apache Spark, das Streams in Micro-Batches verarbeitet, verarbeitet Flink jedes Ereignis einzeln bei Ankunft und erreicht echte Echtzeit-Latenz im Millisekundenbereich.

Das aktuelle Release ist Flink 2.0. Die Engine bietet Exactly-once-Verarbeitungsgarantien durch einen Checkpointing-Mechanismus, der periodisch den Operator-Zustand sichert, ohne die Pipeline zu stoppen. Flinks Event-Time-Verarbeitung nutzt Watermarks, um ungeordnete und verspätete Daten korrekt zu behandeln. Das Framework verwaltet Terabytes an State pro Anwendung mit Keyed State in einem eingebetteten RocksDB-Backend. Flink unterstützt auch Batch-Verarbeitung und bietet ein SQL-Interface für Streaming- und Batch-Abfragen.

Die offizielle Dokumentation behandelt die DataStream-API, die Table/SQL-API und das Deployment. Der Quellcode liegt auf GitHub unter der Apache-2.0-Lizenz.