Ich habe 2013 angefangen, Informatik an der Uni Stuttgart zu studieren. Mich haben schon früh Algorithmen, insbesondere auch für Maschinelles Lernen, interessiert. Nachdem ich bemerkt habe, dass hinter diesen Algorithmen sehr viel Mathematik steckt, habe ich beschlossen, 2015 ein Parallelstudium in Mathematik anzufangen. An der Uni Stuttgart ist das zum Glück möglich und es ist auch möglich, sich einige Module für beide Studiengänge anerkennen zu lassen. Ich habe dann 2016 meinen Bachelor in Informatik abgeschlossen und 2019 meinen Bachelor in Mathematik sowie meinen Master in Informatik. Seit 2020 promoviere ich am Fachbereich Mathematik bei Prof. Steinwart. Ich bin auch Teil des Exzellenzclusters für Daten-integrierte Simulationswissenschaft (SimTech) und der International Max Planck Research School for Intelligent Systems (IMPRS-IS), die zur Cyber-Valley-Initiative des Landes Baden-Württemberg gehört.
Woran forschen Sie denn?
Ich untersuche (künstliche) neuronale Netze, eine breite Klasse an Verfahren aus dem maschinellen Lernen, welches wiederum ein Teilgebiet der künstlichen Intelligenz (KI) ist. Das Schöne an neuronalen Netzen ist, dass sie äußerst flexibel sind. Man kann Eingaben unterschiedlicher Art in verschiedensten Weisen miteinander verrechnen, solange man nur irgendwie Ableitungen berechnen kann. Ein Überbegriff dafür ist „Differentiable Programming“. Meistens können diese Ableitungen automatisch durch Software wie PyTorch oder Tensorflow berechnet werden. Mithilfe der Ableitungen können Optimierungsverfahren dann oftmals ein neuronales Netz dazu zu bringen, eine vorgegebene Aufgabenstellung sehr gut zu lösen. Eine definierende Eigenschaft neuronaler Netze ist es, dass sie die Eingabe nicht in einem, sondern in mehreren aufeinanderfolgenden Schritten in ein Ergebnis umwandeln. Im letzten Jahrzehnt gab es den Trend, die Anzahl dieser Schritte zu erhöhen, man spricht dann vom „Deep Learning“. Die Flexibilität und der nichtlineare Aufbau bedeuten auch, dass neuronale Netze mathematisch nicht einfach zu untersuchen sind. Außerdem ist es nicht immer klar, wann und warum eine gewisse „Architektur“ eines neuronalen Netzes besser funktioniert als eine andere. Mit meiner Forschung möchte ich unter anderem einen Beitrag dazu leisten, dies besser zu verstehen.
Ich möchte auch untersuchen, wie neuronale Netze in der Simulationswissenschaft angewandt werden können. Simulationen sind in Wissenschaft und Industrie weit verbreitet – es kann alles Mögliche simuliert werden: Wetter, Untergrundströmungen, Muskeln, Luftwiderstand, Verkehr, chemische Reaktionen, die Entstehung von Galaxien und viel mehr. Methoden des maschinellen Lernens können hier hilfreich sein, um die teilweise sehr viel Rechenpower benötigenden Simulationen zu beschleunigen oder um unbekannte Umgebungsparameter zu identifizieren.
Wie hilft Mathematik dabei?
Zunächst einmal liefert die Mathematik eine Sprache, um über die verschiedenen Methoden des maschinellen Lernens zu sprechen und eine grobe Vorstellung davon zu bekommen, wie sie funktionieren. Wichtig sind hier solide Grundkenntnisse in linearer Algebra, Analysis und Wahrscheinlichkeitstheorie. Zur genaueren Analyse der Verfahren sind fortgeschrittene Kenntnisse sehr nützlich. Zum Beispiel konnte ich in meiner Masterarbeit Kenntnisse über gewöhnliche Differentialgleichungen, Konzentrationsungleichungen, Blockmatrizen und Weiteres einbringen. Damit konnte ich für ein bestimmtes Szenario beweisen, dass neuronale Netze mit hoher Wahrscheinlichkeit schlecht funktionieren – sogar dann, wenn man sie mit beliebig vielen Neuronen ausstattet. Glücklicherweise lässt sich dieses Szenario in der Praxis leicht umgehen, aber es zeigt ein Problem auf, das man nicht vernachlässigen sollte.
Was gefällt Ihnen an der Forschung?
Mir gefällt die Freiheit, die ich dabei habe. Ich kann kreativ sein und mir viele verschiedene Ansätze ausdenken, um verschiedene Probleme zu lösen. Ich kann meine Ideen durch mathematische Rechnungen oder dem Schreiben von Computerprogrammen teils schnell überprüfen und dabei weitere Einsichten bekommen. Ich mag es gerne, an kniffligen Fragen herumzuknobeln und dabei möglichst elegante Lösungen zu finden. Im Gegensatz zum Lösen von Sudoku-Rätseln o. ä. hat man es hier mit äußerst vielfältigen Problemen zu tun, die immer wieder neue Lösungswege erfordern, den eigenen Horizont erweitern und dabei auch oft praktisch relevant sind. Zusätzlich erfahre ich durch das Lesen neuer wissenschaftlicher Artikel viel über den aktuellen Stand der Forschung. Nicht zu vernachlässigen ist natürlich auch, dass ich die Chance habe, neue Erkenntnisse zu veröffentlichen und dadurch möglicherweise die Welt ein Stück besser zu machen.
Kann man in der Informatik viele Kenntnisse aus der Mathematik anwenden und umgekehrt?
Mathematik ist in sehr vielen Disziplinen nützlich, so auch in der Informatik. In der theoretischen Informatik fragt man sich zum Beispiel, welche Probleme man prinzipiell mit Computern lösen kann und wenn ja, wie effizient. Hier tauchen Algebra, Zahlentheorie, Graphentheorie und Kombinatorik auf. Ähnlich sieht es in der Informationssicherheit (Security) aus. Auf der anderen Seite hat man es in der künstlichen Intelligenz, Bildverarbeitung oder Simulation oft mit linearer Algebra, Analysis und Wahrscheinlichkeitstheorie zu tun. Und selbst in mathematikferneren Gebieten wie dem Software Engineering oder der Mensch-Computer-Interaktion braucht man für die Durchführung von Studien grundlegende Statistik-Kenntnisse.
In den anwendungsnäheren mathematischen Disziplinen, etwa der Numerik oder der Statistik, sind umgekehrt Programmierkenntnisse gefragt, teilweise sind auch fortgeschrittene Informatikkenntnisse hilfreich – zum Beispiel hilft ein Verständnis über den Aufbau von Computern dabei, mathematische Computerprogramme schneller zu machen. Aber auch in anderen Gebieten der Mathematik können Computer nützlich sein, um neue Erkenntnisse zu gewinnen.
Auch wenn die Physik vermutlich noch größere Überschneidungen mit der Mathematik hat als die Informatik, gibt es trotzdem viele Synergien, die ich in meinem Studium auch nutzen konnte.
Was können Sie für das Studium empfehlen?
Während des Studiums gibt es zahlreiche Möglichkeiten, außerhalb des normalen Curriculums noch weitere studiumsbezogene Aktivitäten zu verfolgen. Auch wenn es unmöglich ist, alle davon wahrzunehmen, kann ich nur empfehlen, über den Tellerrand zu schauen und einige dieser Möglichkeiten auch zu nutzen. Zum Beispiel habe ich als Werkstudent und wissenschaftliche Hilfskraft gearbeitet, mir Vorlesungen aus anderen Studienfächern angeschaut, an Wettbewerben teilgenommen oder bei der Bewerbung der Uni Stuttgart als Exzellenzuniversität mitgewirkt. Außerdem hat es mir Spaß gemacht, bei Ferienakademien der Universität teilzunehmen. Dort kann man sowohl in einem Kurs ein neues Thema kennen lernen als auch in den Bergen wandern, an sportlichen Aktivitäten teilnehmen und sich mit anderen Studierenden sowie Dozentinnen und Dozenten austauschen. Ich hatte zudem das Glück, beim Heidelberg Laureate Forum junge Forschende aus der ganzen Welt und einige der bekanntesten Forscher aus der Mathematik und Informatik kennen zu lernen. Dabei lernt man schnell, dass diese Preisträger auch sehr menschlich und nahbar sind. Insgesamt habe ich durch meine Teilnahme an verschiedenen Veranstaltungen sehr viel gelernt und auch Kontakte geknüpft, die mir nun bei der Forschung nützlich sind.
Vielen Dank für das Gespräch.
David Holzmüller
Preisträger der Robert Bosch GmbH für herausragenden B.Sc. Abschluss am Fachbereich
Mathematik