Inhalt: In dieser Vorlesung diskutieren wir die mathematischen Grundlagen von ‘machine learning’. Man unterscheidet hier grob zwei Klassen von Methoden: Mit 'supervised learning' sind üblicherweise Methoden gemeint, die aus gegebenen Input-Daten x1, …, xn und dazugehörigen Output-Daten y1, …, yn eine Abbildung y = f(x) schätzen, welche Input- und Output-Daten miteinander verknüpft. Bei 'unsupervised learning' hat man die Output Daten nicht zur Verfügung. Stattdessen kann man versuchen, Struktur in den Input-Daten zu finden. Diese Struktur kann geometrischer Natur sein (liegen die Input-Daten auf einer Untermannigfaltigkeit?), oder topologischer Natur (welche Input-Daten sind ‘ähnlich’? Gibt es interessante Untergruppen? Wie sind diese miteinander verbunden?).

Wir werden in der Vorlesung die mathematischen Grundlagen verschiedener machine learning Methoden erarbeiten. Unser Fokus wird sein zu verstehen warum (und in welchem Sinne) diese Methoden funktionieren. Wir werden unser Verständnis anhand vieler numerischer Beispiele vertiefen. Schwerpunkte: Vapnik–Chervonenkis Theorie, Kernel Regression, Support Vector Machines, Lernen von Mannigfaltigkeiten, Spectral Clustering.

 

Literatur

 

Statistical Learning Theory:

  • Vapnik. Statistical Learning Theory, Wiley 1998
  • Devroye, Györfi, Lugosi. A Probabilistic Theory of Pattern Recognition, Springer 1996
  • Bousquet, Boucheron, Lugosi. Introduction to Statistical Learning Theory, Springer 2004
  • Rojas. Neural Networks - a Systematic Introduction, Springer 2006 (Kap. 3+4)
  • Rupp. Machine Learning for Quantum Mechanics in a Nutshell, Wiley 2015

Kernel Methoden:

  • wird nachgetragen.

Unsupervised Learning:

  • Coifman, Lafon. Diffusion maps, Appl and Comput Harmon 21(1), 2006.
  • Hein, Audibert, von Luxburg. From graphs to manifolds, Springer 2005.
  • Von Luxburg, A tutorial on spectral clustering. Statistics and Computing 17(4), 2007

 

Zusätzliche Informationen

 

Voraussetzungen: Eine Teilnahme an der Vorlesung 'maschinelles Lernen' vom WS 16/17 ist hilfreich, aber nicht erforderlich.