Datenstromverarbeitung für die Zukunft

05.07.2019 | Anna Ettlin, Katharina Emry

Vasiliki Kalavri wusste nichts über Informatik, bevor sie an der Universität einen Programmierkurs besuchen musste. Heute ist sie Postdoctoral Fellow am Departement Informatik der ETH Zürich. Dr. Kalavri und ihr Team bauen Strymon, ein leistungsstarkes System zur Verarbeitung von Datenströmen, das schneller, flexibler und autonomer ist als bestehende Systeme.

Überwachung der Leistung von Rechenzentren is eine der vielen Anwendungsmöglichkeiten von Strymon, des fortschrittlichen Datenstromverarbeitungssystems, an dem Dr. Kalavri und ihr Team arbeiten.
Überwachung der Leistung von Rechenzentren is eine der vielen Anwendungsmöglichkeiten von Strymon, des fortschrittlichen Datenstromverarbeitungssystems, an dem Dr. Kalavri und ihr Team arbeiten.

Im ersten Programmierkurs, den Vasiliki (Vasia) Kalavri besuchte, verstand sie gar nichts. In der Schule hatte sie Mathematik und Physik gemocht und sich daher entschieden, Elektrotechnik an der Nationalen Technischen Universität Athen zu studieren. Auf dem Lehrplan stand auch die Informatik, mit der Vasia Kalavri noch nie zuvor zu tun hatte. «Ich besass einen Computer, aber ich benutzte ihn nur für Dinge wie Textbearbeitung», erinnert sie sich. «Ich hatte noch nie zuvor programmiert. Es war mir völlig fremd. Ich wollte es verstehen – auch aus Trotz.»

Aus diesem Trotz wurde schnell Faszination und Kalavri machte nach dem Bachelorstudium einen Master in Informatik. Anschliessend erhielt sie ein Erasmus-Mundus-Doktoratsstipendium auf dem Gebiet der verteilten Systeme, das es ihr ermöglichte, ihren Doktortitel an der Königlichen Technischen Hochschule in Stockholm und der Université catholique de Louvain in Belgien zu erlangen. Kalavri entschied sich für eine akademische Laufbahn und suchte nach Forschungsgruppen, die ihre beiden Hauptinteressengebiete kombinieren: Datenstromverarbeitung und Graphenanalyse. Die Systems Group des Departements Informatik der ETH Zürich weckte ihr Interesse und so bewarb sie sich – erfolgreich – um ein Postdoctoral Fellowship an der ETH, welches exzellente Nachwuchswissenschaftlerinnen und -wissenschaftler für jeweils zwei Jahre unterstützt.

Ein Projekt mir Zukunft

Das Projekt, das Vasia Kalavri nach Zürich brachte, heisst Strymon und ist ein System zur Verarbeitung von Datenströmen. «Die Datenstromverarbeitung ist die kontinuierliche Verarbeitung von Daten, sobald diese im System ankommen», erklärt Kalavri. «Es ist kein neues Konzept: Datenstromverarbeitung existiert schon seit vielen Jahren. Neu sind das grosse Volumen und die hohe Geschwindigkeit der Daten, die wir heute produzieren. Schliesslich ist fast alles im World Wide Web ein Datenstrom.»

Um die enormen Datenmengen bewältigen zu können, sind neue, leistungsfähigere Systeme zur Datenstromverarbeitung gefragt. Strymon, das in der Systems Group entwickelt wurde, ist eines davon. Es ist um eine Grössenordnung schneller und viel flexibler als die meisten kommerziell erhältlichen Systeme. Das hat dem Projekt das Interesse von Industriepartnern wie Google, VMware und dem Reisetechnologieunternehmen Amadeus gesichert. Solche Technologieunternehmen setzen Datenstromverarbeitung in unterschiedlichsten Bereichen ein, von der Überwachung der Leistung von Rechenzentren bis hin zur Betrugserkennung bei Online-Zahlungen.

Schematic of how Strymon can be used for real-time data center analytics.
Die Geschwindingkeit von Strymon ist eine seiner grössten Stärken gegenüber den meisten herkömmlichen Datenstromverarbeitungssystemen. Damit kann Strymon etwa die Leistung von Rechenzentrel in Echtzeit überwachen und sogar die Auswirkungen von Updates und Konfigurationsanpassungen simulieren.

Seit ihrer Ankunft an der ETH hat Vasia Kalavri einen Teil der Projektleitung übernommen und die Entwicklung einer Open-Source-Version von Strymon vorangetrieben, welche Anwender aus Wissenschaft und Industrie an ihre Bedürfnisse anpassen können – ein erster wichtiger Meilenstein für das Projekt. Seither arbeitet das Strymon-Team daran, das System autonomer zu machen. «Strymon ist ein verteiltes System: Es läuft auf vielen Computern gleichzeitig», erklärt Kalavri. «Die Arbeitslast – also die Menge der eingehenden Daten – ist nicht immer vorhersehbar. Das System muss bereit sein, jede beliebige Datenmenge zu verarbeiten. Aber wir wollen auch nicht, dass es wertvolle Rechenressourcen verschwendet, wenn das Datenvolumen gering ist.» Im vergangenen Jahr hat das Team Strymon «beigebracht», Veränderungen des Datenvolumens zu erkennen und seine Ressourcennutzung entsprechend anzupassen. «Wir wollen auch, dass Strymon sich automatisch von Störungen erholt, vor allem, weil es eben verteilt ist. Wenn einer der Computer ausfällt, soll Strymon die Arbeit, die es gerade ausführt, auf andere Computer übertragen können, ohne Daten zu verlieren oder das System zu verlangsamen», führt Kalavri aus.

Obwohl Interesse seitens der Industriepartner vorhanden ist, gibt es noch keine konkreten Pläne, Strymon zu einem kommerziellen Projekt zu machen. «Dazu müsste jemand aus dem Team seine akademische Karriere auf Eis legen und sich auf die kommerzielle Entwicklung konzentrieren», sagt Kalavri.

Einzigartiger Teamgeist und schönes Wetter

Kalavri selbst, die sowohl die Forschung als auch die Lehre mag, will von der akademischen Welt noch keinen Abschied nehmen. Da die zwei Jahre ihres Postdoctoral Fellowship an der ETH Zürich im Dezember 2019 enden, hat sie eine Assistenzprofessur am Department of Computer Science der Boston University angenommen.

«Der Zusammenhalt in der Systems Group war für mich eine einzigartige Erfahrung.»Vasiliki Kalavri

In der Zwischenzeit freut sich Vasia Kalavri darauf, ihre Arbeit an Strymon bis Ende Jahr fortzusetzen. «Ich arbeite sehr gerne an der ETH», sagt sie. «Der Zusammenhalt in der Systems Group war für mich eine einzigartige Erfahrung. An vielen anderen Universitäten arbeiten die meisten Studierenden allein, mit nur einem Betreuer. Hier arbeiten Studierende, Postdocs und Professoren zusammen, sodass wir Forschungsprobleme schneller und effektiver angehen können. Und wir haben sehr fleissige Studierende.» Auch Zürich und die Schweiz sind der jungen Forscherin ans Herz gewachsen. «Bevor ich hierherkam, hatte ich die Vorstellung, dass die Schweiz langweilig und das Wetter schlecht sein würde», lacht sie. «Aber die Menschen hier sind sehr freundlich und das Wetter ist toll – besonders im Vergleich zu Stockholm!»

JavaScript wurde auf Ihrem Browser deaktiviert