Streaming Processing

Streaming Processing, zu Deutsch Datenstromverarbeitung, ist ein Prozess der Verarbeitung von Daten in Bewegung. Dabei werden Informationen direkt verarbeitet, wenn sie erzeugt bzw. erhalten werden. Bei den meisten Daten handelt es sich um endlose Ströme: Ergebnisse von Sensoren, Aktivitäten von Benutzern auf Webseiten, finanzielle Transaktionen etc. Vor der Streamverarbeitung speicherte man diese Daten meist in Datenbanken oder dem Filesystem. Um diese zu verarbeiten, musste man nach dem Speichern erneut darauf zugreifen.

Dies ist beim Streaming Processing nicht mehr der Fall. Sämtliche Zugriffe und Verarbeitungen durch Programme erfolgen unaufhörlich. Sobald ein man ein Ereignis empfängt, reagiert man unmittelbar darauf.

Unterschied zwischen Streaming Processing und Batch Processing

Im Bereich von Big Data bezeichnet man diese unterschiedlichen Ideen als Batchverarbeitung und Streamingverarbeitung. Dabei ermöglicht das Batch Processing, große Mengen an zuvor gespeicherten Daten zu verarbeiten, was allerdings im Gegensatz zur Streamverarbeitung viel Zeit in Anspruch nimmt.

Hingegen verarbeitet der Streamingprozess die einzelnen Datenelemente unmittelbar vor der Archivierung. Dies geschieht nahezu in Echtzeit. Somit kann man mit diesem Vorgehen große Datenmengen verarbeiten, wobei die Komplexität allerdings geringer ist. Schließlich würde ein zu komplizierter Verarbeitungsschritt zu einer Verzögerung im Datenstrom führen.

Näherungswerte in der Praxis

Oftmals erwartet man bei der Streamingverarbeitung keine exakten Ergebnisse. Dementsprechend genügt manchmal ein Näherungswert. Wertet man beispielsweise Sensorenergebnisse aus einem Kernkraftwert laufend aus, so sind die Nachkommastellen der Temperatur nicht so bedeutend wie die Tatsache, dass eine Temperaturüberschreitung stattfindet, auf welche man unmittelbar reagieren muss.

Da die Streamingverarbeitung ein immer wichtiger werdendes Segment im Umfeld von Big Data ist, passt sich die Technik dieser neuen Herausforderung entsprechend an. Eine dieser neuen Technologien ist beispielsweise Spark.

Diese Begriffe könnten Sie auch interessieren