Batch Processing

Batch Processing, zu Deutsch Batchverarbeitung oder Stapelverarbeitung, ist ein Begriff aus der Datenverarbeitung. Die Bezeichnung Stapelverarbeitung stammt aus der Anfangszeit der Computertechnologie.

Damals speicherte man Programme auf Lochkarten. Im Folgenden arbeitete man diese als Kartenstapel (englisch batch) nacheinander ab. Später lösten modernere Lösungen diese Speichermedien ab und ermöglichten so ein interaktives Arbeiten.

Im Gegensatz zur Stapelverarbeitung steht die „Dialogverarbeitung“. Bei letzterer erfolgt ein ständiges Hin und Her zwischen Programm und Benutzer. Dabei führt das Programm immer genau einen Vorgang durch und wartet auf die nächste Eingabe. Die Stapelverarbeitung arbeitet hingegen alle vorher bereitgestellten Vorgänge ohne Eingriff durch einen Benutzer ab.

Batch Processing und Streaming Processing im Big Data Umfeld

Basierend auf diesen beiden unterschiedlichen Herangehensweisen unterscheidet man auch im moderenen Big Data Umfeld zwischen Batchverarbeitung und Streamingverarbeitung. Dabei bezeichnet man jene Prozesse als Batchverarbeitungen, bei denen man vorab gespeicherte Daten zu einem späteren Zeitpunkt verarbeitet. Ein praktisches Beispiel hierfür wären Tagestransaktionen eines Finanzunternehmens, welche in einem nächtlichen Programmlauf analysiert und intertpretiert werden. Die Batchverarbeitung arbeitet dabei mit großen Blöcken von Daten und über einen längeren Zeitraum. Zum Beispiel könnten der erwähnte Nachlauf mehrere Stunden dauern.

Hingegen findet Streamingverarbeitung statt, noch bevor man die Daten abspeichert. Bei dieser Verarbeitung geht es darum, einzelne Datenelemente nahezu in Echtzeit zu analysieren und sofort Ergebnisse der Analyse bereitzustellen. Hierbei ist es manchmal schon ausreichend, ein Näherungsergebnis zu präsentieren. Währenddessen müssen bei der Batchverarbeitung alle Ergebnisse exakt sein.

Diese Begriffe könnten Sie auch interessieren