Dynamische Lastverteilung und Ausfallsicherheit für die verteilte Datenstromverarbeitung (Bachelor Thesis, Finished)
Author
Description
ie Ausbreitung von Sensortechnologien und Sensornetzwerken und deren Anwendung in eingebetteten Systemen, wie zum Beispiel in der Fernüberwachung im Kontext des Gesundheitswesens oder des Notfall-Managements, erfordert die verteilte, aber zugleich ausfallsichere Verwaltung und Verarbeitungen von kontinuierlichen Strömen von Sensordaten (Data Stream Management). Die Ausfallsicherheit von Datenstromanwendungen ist besonders dann besonders gefordert, wenn Datenströme (unter anderem auch) auf mobilen Geräte, die sich durch limitierte Ressoucren auszeichnen, verwaltet und verarbeitet werden. Das OSIRIS System der DBIS Gruppe behandelt diese Problematik auf eine ressourceneffiziente Weise, mittels der "Streaming-Erweiterung" (Streaming Enabled OSIRIS, kurz: OSIRIS-SE). Das OSIRIS-SE-System unterstützt insbesondere den ECOC (Efficient Coordinated Operator Checkpointing) Algorithmus, der eine verlustfreie, verzögerungslimitierte und zuverlässige Datenstromverwaltung garantiert. Die Grundsteine des ECOC, nämlich das synchrone und asynchrone Checkpointing Verfahren, sind jedoch mit verschiedenen Problemen behaftet. Auf der einen Seite beeinträchtigt das synchrone ECOC erheblich den Datenstromdurchsatz des Systems. Damit lässt sich der Algorithmus nicht auf Szenarien anwenden, in denen ein hoher Datendurchsatz (bei ggf. gleichzeitiger Mobilität der Benutzer und damit nötigen Rekonfigurationen des Systems) gefordert wird. Auf der anderen Seite bietet das asynchrone ECOC keine Konsistenz zwischen den zustandsteilenden Datenstromoperatoren. Dies gilt insbesonders für zustandsbehaftete Datenstromoperatoren die kontinuierliche Ströme anhand von "Fenstern" in Relationen umwandeln und diese verwalten. Denn wenn die asynchronen Checkpoints auf mehr als nur einen Datenstromoperator ausweitet werden, so kann das asynchrone ECOC nicht mehr die Konsistenz der Operatorzustände (d.h. der verwalteten Fenster) im Falle von Netzwerküberlastungen oder Operatorausfällen garantieren. Da aber für den Algorithmus konsistente Operatorzustände für eine korrekte Operatorausfallbehandlung sowie -Lastverteilung abolsut nötig sind, lässt sich das asynchrone ECOC nicht auf Szenarien anwenden, in denen verlustfreie Datenstromverarbetung, bei gleichzeitig hohem Durchsatz, gefordert wird. Das Ziel dieser Bachelorarbeit ist es, OSIRIS-SE zu erweitern, um eine effizientere und durchsatzsteigendere Datenstromverwaltung ermöglichen. Dabei soll der Fokus dieser Arbeit ausschliesslich auf dem asynchronen Checkpointing Verfahren liegen.